AI 환각이란 — 모델이 '모르겠다'고 답하지 않도록 훈련된 이유
An AI hallucination is a confident, well-formed statement that is simply false. Research published in 2026, including work from OpenAI and a paper in Nature, points at the scoring method rather than the model: when a benchmark grades only whether an answer is right, saying 'I don't know' scores the same as being wrong, so guessing is the strategy that wins
AI 환각은 언어모델이 사실이 아닌 내용을 자신 있는 문장으로 만들어 내는 현상이다. 2026년 발표된 연구들은 원인을 모델의 결함이 아니라 평가 방식에서 찾는다 — 정답 여부만 채점하면 모르겠다는 답이 오답과 같은 0점을 받기 때문에, 모르는 문제에서도 찍는 쪽이 점수에 유리해진다
3줄 요약
- 정의 — 문법과 형식은 멀쩡한데 내용이 사실이 아닌 답. 틀렸다는 신호가 문장에 남지 않는 것이 특징이다
- 원인 — 정확도만 채점하는 평가에서는 기권이 오답과 같은 점수다. 모델은 찍도록 학습된다
- 차이 — 2026년 측정에서 프론티어 모델의 환각률은 과제에 따라 크게 갈렸다. 사실 확인형은 낮고 자유 서술형이 가장 높았다
핵심 질문
- AI 환각이 뭐야
- 언어모델이 사실이 아닌 내용을 사실인 것처럼 만들어 내는 현상이다. 영어로는 hallucination, 한국어로는 환각 또는 할루시네이션으로 쓴다. 핵심은 '틀렸다'는 것이 아니라 **틀렸다는 신호가 문장에 남지 않는다**는 것이다. 사람은 확신이 없으면 말끝이 흐려지거나 '아마'가 붙는데, 모델의 틀린 답은 맞는 답과 문장 형태가 똑같다. 존재하지 않는 논문 제목, 실제와 다른 판례 번호, 없는 함수 이름이 모두 매끄러운 문장으로 나온다. 이 지면이 매 기사에 「확인하지 못한 것」을 따로 적는 이유가 여기에 있다.
- 왜 모른다고 말하지 않아?
- 그렇게 하면 점수가 깎이기 때문이다. 2026년 오픈AI 연구진의 논문과 네이처에 실린 연구가 같은 지점을 지적한다 — 모델을 평가하는 벤치마크 대부분이 **정답 여부만** 채점한다. 이 방식에서 '모르겠다'는 답은 틀린 답과 똑같이 0점이다. 반면 찍어서 맞으면 1점이다. 즉 **모르는 문제에서 기권하면 손해이고 찍으면 이득**인 구조다. 시험에서 오답 감점이 없으면 빈칸을 남기지 않는 것과 정확히 같은 계산이다. 모델은 이 채점표에 맞춰 최적화됐고, 그 결과가 자신 있는 오답이다.
- 얼마나 자주 틀려?
- 과제 종류에 따라 크게 갈린다. 2026년 보고들을 종합하면 프론티어 모델의 환각률은 대체로 3~19% 구간으로 측정됐고, 37개 모델을 대상으로 한 다른 벤치마크에서는 15~52%로 더 넓게 나왔다. 갈리는 이유는 과제다 — 사실 확인형 질문에서는 낮고(대략 4~13%), 자유 서술형에서는 40~80%까지 올라간다는 측정이 보고됐다. 반대로 **검색으로 근거를 붙여 주는 방식에서는 2% 아래로 떨어진다**는 오픈AI 자체 평가도 있다. 숫자 자체보다 이 패턴이 중요하다 — 근거를 주면 줄고, 열린 질문일수록 는다.
AI에게 물어보면 답이 나온다. 문장은 매끄럽고, 근거처럼 보이는 것도 붙어 있고, 어조는 자신 있다.
그런데 내용이 사실이 아니다.
이것을 환각(hallucination)이라고 부른다. 그리고 2026년의 연구들은 이 현상의 원인을 뜻밖의 곳에서 찾았다 — 모델이 아니라 채점표다.
1. 환각의 정의는 '틀림'이 아니다
| 단순한 오류 | 환각 | |
|---|---|---|
| 문장 형태 | 어색하거나 끊긴다 | 정상이다 |
| 확신의 정도 | 흔들린다 | 높다 |
| 알아채기 | 쉽다 | 어렵다 |
| 예 | 문법이 깨진 출력 | 존재하지 않는 논문 제목, 없는 판례 번호, 실재하지 않는 함수 이름 |
핵심은 틀렸다는 것이 아니라 틀렸다는 신호가 문장에 남지 않는다는 것이다.
사람이 확신 없이 말할 때는 표시가 난다. 말끝이 흐려지고, '아마', '제 기억으로는' 같은 완충 표현이 붙는다. 모델의 틀린 답은 맞는 답과 문장 형태가 똑같다. 그래서 읽는 사람이 구별할 단서가 없다.
2. 원인은 채점표에 있다
2026년, 오픈AI 연구진의 논문과 네이처에 실린 연구가 같은 지점을 짚었다.
문제는 모델을 평가하는 방식이다. 벤치마크 대부분이 정답 여부만 채점한다.
| 모델의 답 | 정답일 때 점수 | 오답일 때 점수 |
|---|---|---|
| 확실히 아는 것을 답함 | 1 | — |
| "모르겠다" | 0 | 0 |
| 모르지만 찍음 | 1 | 0 |
이 표를 모델의 입장에서 읽으면 결론이 하나뿐이다.
기권은 반드시 0점이고, 찍기는 0점 아니면 1점이다. 그러므로 언제나 찍는 것이 유리하다.
오답 감점이 없는 시험에서 빈칸을 남기지 않는 것과 정확히 같은 계산이다. 모델은 이 채점표에 최적화됐고, 그 결과물이 자신 있는 오답이다.
이 관점의 중요한 함의는 이것이다. 환각은 모델이 고장 나서 생기는 것이 아니라, 시킨 대로 잘한 결과다.
3. 얼마나 자주 나타나나
숫자는 과제에 따라 크게 갈린다.
| 측정 대상 | 보고된 환각률 |
|---|---|
| 프론티어 모델 전반 (2026) | 대략 3~19% |
| 37개 모델 대상 다른 벤치마크 | 15~52% |
| 사실 확인형 질문 | 대략 4~13% |
| 자유 서술형 생성 | 40~80% |
| 검색으로 근거를 붙인 과제 | 2% 미만 |
숫자의 폭이 넓은 이유는 벤치마크마다 문항 구성과 채점 기준이 다르기 때문이다. 서로 다른 벤치마크의 값을 나란히 비교하는 것은 적절하지 않다.
읽어야 할 것은 절대값이 아니라 패턴이다. 표의 마지막 두 줄이 그것이다.
- 열린 질문일수록 늘어난다. 답의 범위가 넓으면 모델이 채워 넣을 여지도 넓다.
- 근거를 주면 급격히 줄어든다. 검색으로 출처를 붙이면 2% 아래로 떨어진다는 평가가 있다.
4. 확장 추론이 줄이기는 한다
모델이 답하기 전에 더 오래 생각하도록 하는 설정(확장 추론)에서 환각률이 내려간다는 보고가 있다.
| 모델 | 기본 | 확장 추론 |
|---|---|---|
| GPT-5.5 Pro | 8.3% | 4.2% |
| Claude Opus 4.7 | 9.4% | 5.1% |
| DeepSeek V4 | 12.7% | 10.4% |
세 번째 줄이 중요하다. 모델마다 개선폭이 다르다. 앞의 둘은 거의 절반으로 줄었지만 세 번째는 2.3%포인트 줄었을 뿐이다. "생각을 더 시키면 절반이 된다"는 요약은 일부 사례에만 맞는다.
(위 수치는 2차 매체가 정리한 요약이며, 원 벤치마크의 설계를 이 지면이 대조하지 못했다.)
5. 왜 완전히 없어지지 않나
세 가지 이유가 겹친다.
| 이유 | 내용 |
|---|---|
| 채점 구조 | 정확도만 재는 한 찍기가 유리하다. 평가를 바꾸지 않으면 유인이 남는다 |
| 학습 자료의 한계 | 학습 데이터에 없는 사실은 '없다'가 아니라 '비슷한 것'으로 채워진다 |
| 확률적 생성 | 다음 토큰을 확률로 고르는 구조라, 그럴듯함과 사실은 다른 축이다 |
두 번째와 세 번째는 구조에서 나오는 것이라 당장 바꾸기 어렵다. 그런데 첫 번째는 바꿀 수 있다. 채점에 기권 항목을 넣고, 틀린 답에 감점을 주면 유인이 뒤집힌다. 2026년 연구들이 제안하는 방향이 이것이다.
6. 쓰는 사람이 할 수 있는 것
| # | 방법 | 왜 듣나 |
|---|---|---|
| 1 | 출처를 함께 요구한다 | 근거를 붙이는 과제에서 환각률이 크게 떨어진다 |
| 2 | 자료를 직접 넣어 준다 | 모델이 채워 넣을 빈칸을 줄인다 |
| 3 | 열린 질문을 좁힌다 | 자유 서술형이 가장 위험한 구간이다 |
| 4 | "모르면 모른다고 하라"고 명시한다 | 채점표를 프롬프트에서 부분적으로 뒤집는 효과가 있다 |
| 5 | 숫자·고유명사·인용은 원문에서 확인한다 | 환각이 가장 자주 나타나는 자리다 |
| 6 | 답이 매끄럽다는 것을 신뢰의 근거로 쓰지 않는다 | 매끄러움과 사실은 상관이 없다 |
다섯 번째가 실무에서 가장 자주 걸리는 지점이다. 논문 제목, 판례 번호, 통계 수치, 인용문 — 검증하기 가장 번거로운 항목이 정확히 환각이 가장 잘 나는 항목이다.
7. 자주 나오는 물음
Q. 더 큰 모델을 쓰면 해결되나? 줄기는 하지만 없어지지는 않는다. 2026년 측정에서 프론티어 모델도 0%가 아니었다.
Q. 모델이 '확신도'를 알려 줄 수는 없나? 확률값을 낼 수는 있지만, 그 값이 실제 정확도와 잘 맞는지는 별개의 문제다. 이 지면은 최신 모델의 확신도 보정 수준을 확인하지 못했다.
Q. 검색을 붙이면 안전한가? 크게 줄지만 새로운 실패가 생긴다. 검색이 잘못된 문서를 가져오면 모델은 그 문서를 근거로 틀린 답을 만든다. 근거가 붙었다는 사실 자체가 정확성을 뜻하지 않는다.
Q. 한국어에서 더 심한가? 자료가 적은 언어·주제일수록 심해진다는 것이 일반적인 설명이다. 다만 한국어 대상의 체계적 비교 측정을 이 지면이 확인하지 못했다.
8. 확인하지 못한 것
- 본문의 모든 환각률 수치 — 2차 매체가 정리한 벤치마크 요약이며, 문항 구성·채점 기준·측정 시점을 원문으로 대조하지 못했다. 서로 다른 벤치마크의 숫자를 나란히 비교해서는 안 된다.
- '확장 추론이 절반으로 줄인다' — 소수 모델 사례에 기반한 요약이다. 표의 세 번째 줄이 그 한계를 보여 준다.
- 네이처 논문과 오픈AI 논문의 관계 — 두 연구의 실험 설계 차이와 결론이 겹치는 범위를 원문으로 대조하지 못했다.
- 확신도 보정 — 최신 모델이 자신의 확률값을 얼마나 정확히 매기는지 확인하지 못했다.
- 한국어 환각률 — 한국어를 대상으로 한 체계적 측정을 찾지 못했다.
출처
- OpenAI — Why language models hallucinate
- Kalai, Nachum et al. (OpenAI) — Why Language Models Hallucinate (arXiv)
- Nature — Evaluating large language models for accuracy incentivizes hallucinations
- Digital Applied — AI Hallucination Rate Benchmarks 2026: 5-Model Study
- SuprMind — Latest AI Hallucination Rates & Benchmarks for New AI Models, August 2026
- ModelsLab — LLM Hallucination Rates 2026: Best and Worst Models
- SQ Magazine — LLM Hallucination Statistics 2026