본문으로 건너뛰기
TEN Brief 하루 열 건, 확인된 것만 2026.08.23 EN

This article is also available in English →

테크 · 4분 · 에버그린

AI 환각이란 — 모델이 '모르겠다'고 답하지 않도록 훈련된 이유

An AI hallucination is a confident, well-formed statement that is simply false. Research published in 2026, including work from OpenAI and a paper in Nature, points at the scoring method rather than the model: when a benchmark grades only whether an answer is right, saying 'I don't know' scores the same as being wrong, so guessing is the strategy that wins

AI 환각은 언어모델이 사실이 아닌 내용을 자신 있는 문장으로 만들어 내는 현상이다. 2026년 발표된 연구들은 원인을 모델의 결함이 아니라 평가 방식에서 찾는다 — 정답 여부만 채점하면 모르겠다는 답이 오답과 같은 0점을 받기 때문에, 모르는 문제에서도 찍는 쪽이 점수에 유리해진다

아침 햇빛이 큰 창으로 드는 밝은 나무 책상 위에 펼쳐진 책과 가지런히 쌓인 종이, 화분

3줄 요약

  • 정의 — 문법과 형식은 멀쩡한데 내용이 사실이 아닌 답. 틀렸다는 신호가 문장에 남지 않는 것이 특징이다
  • 원인 — 정확도만 채점하는 평가에서는 기권이 오답과 같은 점수다. 모델은 찍도록 학습된다
  • 차이 — 2026년 측정에서 프론티어 모델의 환각률은 과제에 따라 크게 갈렸다. 사실 확인형은 낮고 자유 서술형이 가장 높았다

핵심 질문

AI 환각이 뭐야
언어모델이 사실이 아닌 내용을 사실인 것처럼 만들어 내는 현상이다. 영어로는 hallucination, 한국어로는 환각 또는 할루시네이션으로 쓴다. 핵심은 '틀렸다'는 것이 아니라 **틀렸다는 신호가 문장에 남지 않는다**는 것이다. 사람은 확신이 없으면 말끝이 흐려지거나 '아마'가 붙는데, 모델의 틀린 답은 맞는 답과 문장 형태가 똑같다. 존재하지 않는 논문 제목, 실제와 다른 판례 번호, 없는 함수 이름이 모두 매끄러운 문장으로 나온다. 이 지면이 매 기사에 「확인하지 못한 것」을 따로 적는 이유가 여기에 있다.
왜 모른다고 말하지 않아?
그렇게 하면 점수가 깎이기 때문이다. 2026년 오픈AI 연구진의 논문과 네이처에 실린 연구가 같은 지점을 지적한다 — 모델을 평가하는 벤치마크 대부분이 **정답 여부만** 채점한다. 이 방식에서 '모르겠다'는 답은 틀린 답과 똑같이 0점이다. 반면 찍어서 맞으면 1점이다. 즉 **모르는 문제에서 기권하면 손해이고 찍으면 이득**인 구조다. 시험에서 오답 감점이 없으면 빈칸을 남기지 않는 것과 정확히 같은 계산이다. 모델은 이 채점표에 맞춰 최적화됐고, 그 결과가 자신 있는 오답이다.
얼마나 자주 틀려?
과제 종류에 따라 크게 갈린다. 2026년 보고들을 종합하면 프론티어 모델의 환각률은 대체로 3~19% 구간으로 측정됐고, 37개 모델을 대상으로 한 다른 벤치마크에서는 15~52%로 더 넓게 나왔다. 갈리는 이유는 과제다 — 사실 확인형 질문에서는 낮고(대략 4~13%), 자유 서술형에서는 40~80%까지 올라간다는 측정이 보고됐다. 반대로 **검색으로 근거를 붙여 주는 방식에서는 2% 아래로 떨어진다**는 오픈AI 자체 평가도 있다. 숫자 자체보다 이 패턴이 중요하다 — 근거를 주면 줄고, 열린 질문일수록 는다.

AI에게 물어보면 답이 나온다. 문장은 매끄럽고, 근거처럼 보이는 것도 붙어 있고, 어조는 자신 있다.

그런데 내용이 사실이 아니다.

이것을 환각(hallucination)이라고 부른다. 그리고 2026년의 연구들은 이 현상의 원인을 뜻밖의 곳에서 찾았다 — 모델이 아니라 채점표다.

1. 환각의 정의는 '틀림'이 아니다

단순한 오류환각
문장 형태어색하거나 끊긴다정상이다
확신의 정도흔들린다높다
알아채기쉽다어렵다
문법이 깨진 출력존재하지 않는 논문 제목, 없는 판례 번호, 실재하지 않는 함수 이름

핵심은 틀렸다는 것이 아니라 틀렸다는 신호가 문장에 남지 않는다는 것이다.

사람이 확신 없이 말할 때는 표시가 난다. 말끝이 흐려지고, '아마', '제 기억으로는' 같은 완충 표현이 붙는다. 모델의 틀린 답은 맞는 답과 문장 형태가 똑같다. 그래서 읽는 사람이 구별할 단서가 없다.

2. 원인은 채점표에 있다

2026년, 오픈AI 연구진의 논문과 네이처에 실린 연구가 같은 지점을 짚었다.

문제는 모델을 평가하는 방식이다. 벤치마크 대부분이 정답 여부만 채점한다.

모델의 답정답일 때 점수오답일 때 점수
확실히 아는 것을 답함1
"모르겠다"00
모르지만 찍음10

이 표를 모델의 입장에서 읽으면 결론이 하나뿐이다.

기권은 반드시 0점이고, 찍기는 0점 아니면 1점이다. 그러므로 언제나 찍는 것이 유리하다.

오답 감점이 없는 시험에서 빈칸을 남기지 않는 것과 정확히 같은 계산이다. 모델은 이 채점표에 최적화됐고, 그 결과물이 자신 있는 오답이다.

이 관점의 중요한 함의는 이것이다. 환각은 모델이 고장 나서 생기는 것이 아니라, 시킨 대로 잘한 결과다.

3. 얼마나 자주 나타나나

숫자는 과제에 따라 크게 갈린다.

측정 대상보고된 환각률
프론티어 모델 전반 (2026)대략 3~19%
37개 모델 대상 다른 벤치마크15~52%
사실 확인형 질문대략 4~13%
자유 서술형 생성40~80%
검색으로 근거를 붙인 과제2% 미만

숫자의 폭이 넓은 이유는 벤치마크마다 문항 구성과 채점 기준이 다르기 때문이다. 서로 다른 벤치마크의 값을 나란히 비교하는 것은 적절하지 않다.

읽어야 할 것은 절대값이 아니라 패턴이다. 표의 마지막 두 줄이 그것이다.

  • 열린 질문일수록 늘어난다. 답의 범위가 넓으면 모델이 채워 넣을 여지도 넓다.
  • 근거를 주면 급격히 줄어든다. 검색으로 출처를 붙이면 2% 아래로 떨어진다는 평가가 있다.

4. 확장 추론이 줄이기는 한다

모델이 답하기 전에 더 오래 생각하도록 하는 설정(확장 추론)에서 환각률이 내려간다는 보고가 있다.

모델기본확장 추론
GPT-5.5 Pro8.3%4.2%
Claude Opus 4.79.4%5.1%
DeepSeek V412.7%10.4%

세 번째 줄이 중요하다. 모델마다 개선폭이 다르다. 앞의 둘은 거의 절반으로 줄었지만 세 번째는 2.3%포인트 줄었을 뿐이다. "생각을 더 시키면 절반이 된다"는 요약은 일부 사례에만 맞는다.

(위 수치는 2차 매체가 정리한 요약이며, 원 벤치마크의 설계를 이 지면이 대조하지 못했다.)

5. 왜 완전히 없어지지 않나

세 가지 이유가 겹친다.

이유내용
채점 구조정확도만 재는 한 찍기가 유리하다. 평가를 바꾸지 않으면 유인이 남는다
학습 자료의 한계학습 데이터에 없는 사실은 '없다'가 아니라 '비슷한 것'으로 채워진다
확률적 생성다음 토큰을 확률로 고르는 구조라, 그럴듯함과 사실은 다른 축이다

두 번째와 세 번째는 구조에서 나오는 것이라 당장 바꾸기 어렵다. 그런데 첫 번째는 바꿀 수 있다. 채점에 기권 항목을 넣고, 틀린 답에 감점을 주면 유인이 뒤집힌다. 2026년 연구들이 제안하는 방향이 이것이다.

6. 쓰는 사람이 할 수 있는 것

#방법왜 듣나
1출처를 함께 요구한다근거를 붙이는 과제에서 환각률이 크게 떨어진다
2자료를 직접 넣어 준다모델이 채워 넣을 빈칸을 줄인다
3열린 질문을 좁힌다자유 서술형이 가장 위험한 구간이다
4"모르면 모른다고 하라"고 명시한다채점표를 프롬프트에서 부분적으로 뒤집는 효과가 있다
5숫자·고유명사·인용은 원문에서 확인한다환각이 가장 자주 나타나는 자리다
6답이 매끄럽다는 것을 신뢰의 근거로 쓰지 않는다매끄러움과 사실은 상관이 없다

다섯 번째가 실무에서 가장 자주 걸리는 지점이다. 논문 제목, 판례 번호, 통계 수치, 인용문 — 검증하기 가장 번거로운 항목이 정확히 환각이 가장 잘 나는 항목이다.

7. 자주 나오는 물음

Q. 더 큰 모델을 쓰면 해결되나? 줄기는 하지만 없어지지는 않는다. 2026년 측정에서 프론티어 모델도 0%가 아니었다.

Q. 모델이 '확신도'를 알려 줄 수는 없나? 확률값을 낼 수는 있지만, 그 값이 실제 정확도와 잘 맞는지는 별개의 문제다. 이 지면은 최신 모델의 확신도 보정 수준을 확인하지 못했다.

Q. 검색을 붙이면 안전한가? 크게 줄지만 새로운 실패가 생긴다. 검색이 잘못된 문서를 가져오면 모델은 그 문서를 근거로 틀린 답을 만든다. 근거가 붙었다는 사실 자체가 정확성을 뜻하지 않는다.

Q. 한국어에서 더 심한가? 자료가 적은 언어·주제일수록 심해진다는 것이 일반적인 설명이다. 다만 한국어 대상의 체계적 비교 측정을 이 지면이 확인하지 못했다.

8. 확인하지 못한 것

  • 본문의 모든 환각률 수치 — 2차 매체가 정리한 벤치마크 요약이며, 문항 구성·채점 기준·측정 시점을 원문으로 대조하지 못했다. 서로 다른 벤치마크의 숫자를 나란히 비교해서는 안 된다.
  • '확장 추론이 절반으로 줄인다' — 소수 모델 사례에 기반한 요약이다. 표의 세 번째 줄이 그 한계를 보여 준다.
  • 네이처 논문과 오픈AI 논문의 관계 — 두 연구의 실험 설계 차이와 결론이 겹치는 범위를 원문으로 대조하지 못했다.
  • 확신도 보정 — 최신 모델이 자신의 확률값을 얼마나 정확히 매기는지 확인하지 못했다.
  • 한국어 환각률 — 한국어를 대상으로 한 체계적 측정을 찾지 못했다.

출처

  1. OpenAI — Why language models hallucinate
  2. Kalai, Nachum et al. (OpenAI) — Why Language Models Hallucinate (arXiv)
  3. Nature — Evaluating large language models for accuracy incentivizes hallucinations
  4. Digital Applied — AI Hallucination Rate Benchmarks 2026: 5-Model Study
  5. SuprMind — Latest AI Hallucination Rates & Benchmarks for New AI Models, August 2026
  6. ModelsLab — LLM Hallucination Rates 2026: Best and Worst Models
  7. SQ Magazine — LLM Hallucination Statistics 2026

검증

발행
최종 수정
교차 확인
서로 다른 출처 7건을 대조했다.
미검증
  • 본문의 환각률 수치(3~19%·15~52%·4~13%·40~80%·2% 미만, 그리고 모델별 확장 추론 전후 값)는 2차 매체가 정리한 벤치마크 요약이다. 이 지면은 각 벤치마크의 문항 구성·채점 기준·측정 시점을 직접 대조하지 못했다. 서로 다른 벤치마크의 숫자를 나란히 비교하는 것은 적절하지 않다
  • '확장 추론이 환각률을 대체로 절반으로 줄인다'는 요약은 소수 모델의 사례에 기반한 것으로, 모든 모델·모든 과제에 일반화되는지 확인하지 못했다
  • 네이처 논문과 오픈AI 논문의 결론이 어느 범위까지 일치하는지, 두 연구의 실험 설계 차이를 이 지면이 원문으로 대조하지 못했다
작성
발행 전 사람이 검수했다. 수집·교차확인·재작성 절차는 편집 원칙.

하루 열 건, 아침에 한 번

3줄 요약만 보내고 전문은 사이트에서 읽습니다. 하단에서 한 번의 클릭으로 언제든 해지할 수 있습니다.

관련