LLM은 왜 '거짓말'을 하는가 — 환각은 버그가 아니라 작동 방식의 부산물이다

ChatGPT에게 어떤 책의 줄거리를 물었더니 존재하지 않는 인물과 있지도 않은 결말을 술술 읊는다. 논문을 요약시켰더니 멀쩡해 보이는 인용을 달았는데, 그 논문은 세상에 없다. 사람들은 이걸 "AI가 거짓말한다"고 부른다. 업계 용어로는 '환각(hallucination)'이다.

그런데 '거짓말'이라는 말부터 빗나가 있다. 거짓말에는 '진실을 알면서 숨기려는 의도'가 필요한데, LLM에는 그런 게 없다. 그렇다면 왜, 그토록 자신 있게, 틀린 말이 나올까. 최근 프리프린트들을 따라가 보면 답은 의외로 일관된다. 환각은 고쳐야 할 고장이라기보다, 이 기계의 작동 방식에서 자연스럽게 따라 나오는 부산물에 가깝다.

사실을 '조회'하는 게 아니라 다음 단어를 '예측'한다

LLM의 기본 동작은 단순하다. 지금까지의 문맥을 보고 "다음에 올 가장 그럴듯한 단어"를 확률적으로 고르는 것이다. 데이터베이스에서 사실을 검색해 꺼내오는 것과는 근본적으로 다르다. 그래서 문법적으로 매끄럽지만 사실은 틀린 문장이 아주 자연스럽게 만들어진다.

흥미롭게도 사실 지식과 환각은 한 묶음으로 자란다. 한 프리프린트는 모델이 학습 중 사실을 습득하는 과정을 분석하면서 환각이 지식과 동시에 출현한다고 보고했다(arXiv:2503.21676). 사실을 외우게 하는 바로 그 메커니즘이 환각도 함께 데려온다는 것이다. 둘은 분리된 기능이 아니다. 다른 이론 연구는 이를 통계 추정의 문제로 보고, 환각을 "추정값을 그럴듯한 원인에 연결하지 못하는 실패"로 정의하면서 손실을 최소화한 최적의 추정기조차 여전히 환각한다는 것을 확률적 하한으로 보였다(arXiv:2509.21473). 학습을 아무리 잘 시켜도 구조적으로 일정 비율은 새어 나온다는 이야기다.

왜 모를 때 "모른다"고 안 하고 지어내나

가장 흥미로운 진단은 제목부터 "언어 모델은 왜 환각하는가"인 프리프린트에서 나온다. 비유가 절묘하다. 어려운 시험 문제를 만난 학생처럼, 모델은 확신이 없을 때 '모른다'고 인정하기보다 그럴듯한 답을 찍는다는 것이다(arXiv:2509.04664).

왜 그럴까. 이 연구에 따르면 학습과 평가 절차 자체가 '찍기'를 보상한다. 대부분의 벤치마크는 빈칸엔 점수를 안 주고 찍어서 맞히면 점수를 준다. 모델은 결국 '시험 잘 보는 기계'로 최적화되고, 불확실할 때 찍는 편이 점수에 유리해진다. 그래서 이 연구는 해법도 새 환각 지표를 더 만드는 게 아니라 불확실함에 벌점을 주는 기존 채점 방식을 바꾸는 사회·기술적 처방이어야 한다고 본다. 더 건조하게는, 사실과 거짓을 구별하지 못하는 한 환각은 '이진 분류의 오류'로서 자연스러운 통계적 압력으로 발생한다고 설명한다(arXiv:2509.04664). 신비로운 현상이 아니라 분류기가 틀리는 것과 같은 종류의 일이라는 관점이다. 다만 이는 아직 동료심사 전 단계의 주장이라는 점은 기억해 두자.

신화 점검: "AI가 거짓말한다"는 의인화다

여기서 우리 차별점을 짚자. "AI가 거짓말한다", "AI가 우리를 속인다"는 표현은 의인화다. 거짓말은 의도를 전제하는데, 앞서 봤듯 실제 기전은 의도와 무관한 확률적 예측과 통계적 압력이다.

물론 'AI의 기만(deception)'을 다루는 연구도 있다. 한 리뷰는 LLM의 기만적 행동을 전략적 기만·모방·아첨(sycophancy)·불성실한 추론의 네 유형으로 정리했다(arXiv:2403.09676). 하지만 이건 인간적 의미의 '거짓말'이라기보다 학습 과정의 편향과 보상 구조가 만들어내는 행동 패턴에 가깝다. 같은 맥락에서, 수어·시각 번역 모델의 환각을 분석한 연구는 모델이 실제 입력(영상)에 근거하기보다 '언어적 사전확률(language prior)'에 기댈 때 환각이 생긴다고 본다(arXiv:2510.18439). 속이려는 게 아니라, 보지 않고 그럴듯한 말로 빈칸을 메우는 것이다.

환각에도 종류가 있다

환각을 뭉뚱그리면 대책도 뭉뚱그려진다. 그래서 연구자들은 크게 두 갈래로 나눈다. 내재적(intrinsic) 환각은 주어진 입력·근거와 모순되는 경우이고, 외재적(extrinsic) 환각은 주어진 근거로 확인할 수 없는 내용을 지어내는 경우다(arXiv:2511.10837). 영상-언어 모델을 평가한 한 벤치마크도 같은 구분 위에 객체-관계·시간·의미 같은 하위 유형을 더한다(arXiv:2406.16338).

이 구분이 실용적인 이유는 탐지 기법이 종류마다 잘 듣는 게 다르기 때문이다. 답을 여러 번 뽑아 의미적 불일치를 보는 '의미 엔트로피(semantic entropy)' 계열은 외재적 환각엔 효과적이지만 내재적 환각엔 대체로 실패하는 반면, 입력 토큰에 대한 어텐션을 집계하는 방식은 내재적 환각에 더 맞는다고 보고된다(arXiv:2511.10837).

그래서 어떻게 다루나 — 그리고 그 한계

환각을 '없애기'가 어렵다면 관건은 '어떻게 다루나'다. 현재 접근은 대략 셋이다.

검색증강(RAG). 답하기 전에 외부 문서를 찾아 근거로 삼게 하는 방식이다. 한 연구는 RAG가 환각과 지식 노후화를 완화한다고 보면서도, 여러 출처를 종합해야 하는 복잡한 다단계 질문에서는 자주 흔들린다고 지적한다(arXiv:2510.22344). 어텐션 기반 기법을 더한 한 프리프린트는 표준 벤치마크에서 RAG 대비 환각률을 27.8% 줄였다고 보고하기도 했는데(arXiv:2604.04020), 이런 수치는 특정 벤치마크에 한정된 단일 프리프린트의 결과로 받아들이는 게 안전하다.

자기 검증·자기 일관성. 모델이 자기 답을 스스로 평가하게 하거나(arXiv:2402.09267), 작은 모델 여러 개로 문장 단위 사실성을 교차 검증한다(arXiv:2506.22486). 답을 여러 번 샘플링해 일치도를 보는 방식은 표본을 많이 뽑아야 한다는 비용 문제가 있어, 불확실성에 따라 표본 수를 적응적으로 조절하려는 시도도 나온다(arXiv:2603.22812).

구조화된 지식에 묶기. 지식 그래프 같은 외부 구조에 답을 검증해 통과한 주장만 내보내는 접근이다. 한 프리프린트는 이런 '라이선싱 오라클'이 사실 영역에서 거의 완벽한 기권 정밀도를 달성했다고 주장하면서도, 동시에 RAG와 파인튜닝은 성능을 높여줄 뿐 환각을 제거하지는 못했다고 보고한다(arXiv:2511.06073). 애초에 LLM은 블랙박스라 사실 지식을 안정적으로 담고 꺼내는 데 약하다는 지적과도 맞닿는다(arXiv:2306.08302).

모델이 크면 나아지나

자연스러운 기대는 "더 크고 똑똑한 모델이면 덜 틀리겠지"다. 부분적으로는 맞다. 장문 사실성을 벤치마크한 연구는 대체로 큰 모델이 더 나은 장문 사실성을 보인다고 보고했다(arXiv:2403.18802). 하지만 만능은 아니다. 영상-언어 벤치마크는 데이터와 파라미터를 키우면 기본적 시각 단서나 반사실 탐지는 좋아져도 외재적·사실적 환각을 잡는 데는 효과가 제한적이라고 지적한다(arXiv:2406.16338).

더 근본적인 회색지대도 있다. 한 이론 프리프린트는 형식적 틀에서 환각은 LLM의 타고난 한계이며 완전 제거는 불가능하다고 주장한다(arXiv:2401.11817). LLM은 모든 계산 가능한 함수를 학습할 수 없으므로 범용 문제 해결기로 쓰이는 한 필연적으로 환각한다는 논리로, 앞서 본 '최적 추정기도 환각한다'(arXiv:2509.21473)와 결이 같다. 이게 사실이라면 목표는 '0으로 만들기'가 아니라 '관리 가능한 수준으로 다루고 불확실성을 정직하게 드러내기'가 된다.

그래서 우리가 할 일

LLM의 환각은 신비도 악의도 아니다. 다음 단어를 확률적으로 예측한다는 작동 원리, 그리고 찍기를 보상해 온 학습·평가 방식에서 따라 나오는 통계적 부산물이다(arXiv:2503.21676; arXiv:2509.04664; arXiv:2509.21473). 그래서 "AI가 거짓말한다"보다 "AI는 모를 때도 그럴듯하게 메운다"가 더 정확하다.

실용적 결론은 단순하다. 의료·법률처럼 틀리면 위험한 영역(arXiv:2506.00448; arXiv:2604.04020)에서는 출력을 그대로 믿지 말고 인용·근거를 직접 확인하자. 도구가 검색증강이나 자기 검증을 붙였더라도 그건 완화일 뿐 보증이 아니다(arXiv:2510.22344; arXiv:2511.06073). AI가 자신 있게 말할수록, 그 자신감과 정확성은 별개라는 점만 기억하면 된다.

---

이 분야는 매우 빠르게 바뀌고 있으며, 위에 인용한 근거의 상당수는 동료심사 전 프리프린트(arXiv)다. 단정적 과학 사실이 아니라 현재 진행 중인 연구의 스냅샷으로 읽어 주시기 바란다.

---

근거 논문

작동 원리 · 환각의 통계적 뿌리

• arXiv:2503.21676 — 사실 학습 동역학, 환각은 지식과 동시에 출현
• arXiv:2509.04664 — "왜 환각하는가": 학습·평가가 찍기를 보상, 환각은 이진 분류 오류
• arXiv:2509.21473 — 손실 최소화 최적 추정기도 환각(확률적 하한)

의인화 · 기만 신화 점검

• arXiv:2403.09676 — LLM '기만' 유형 분류(전략적 기만·모방·아첨·불성실 추론)
• arXiv:2510.18439 — 환각은 입력 대신 '언어적 사전확률'에 기댈 때 발생(수어 번역)

환각의 종류(내재적/외재적)

• arXiv:2511.10837 — 내재적·외재적 구분, 탐지 기법이 유형별로 다르게 작동
• arXiv:2406.16338 — 영상-언어 환각 벤치마크, 하위 유형, 스케일링의 제한적 효과

탐지 · 완화 기법과 한계

• arXiv:2510.22344 — RAG는 완화하나 다단계 질문에서 흔들림
• arXiv:2604.04020 — 어텐션 기반 기법, RAG 대비 환각률 감소(단일 벤치마크)
• arXiv:2402.09267 — 자기 평가 기반 사실성 정렬(TruthfulQA 등)
• arXiv:2506.22486 — 작은 모델 다수로 문장 단위 사실성 검증
• arXiv:2603.22812 — 의미 엔트로피의 적응적 샘플링(비용 절감)
• arXiv:2511.06073 — 지식 그래프 검증(RAG·파인튜닝은 제거 못함)
• arXiv:2306.08302 — LLM은 블랙박스, 사실 지식 보관·접근에 취약

모델 크기 · 이론적 한계

• arXiv:2403.18802 — 큰 모델이 대체로 장문 사실성 더 우수
• arXiv:2401.11817 — 환각은 타고난 한계, 완전 제거 불가능(이론)

고위험 도메인

• arXiv:2506.00448 — 의료 대화 요약의 환각, 일반 도메인 탐지기의 한계