검색을 붙이면 환각이 사라지는가 — RAG가 고치는 것과 못 고치는 것

8,050개를 전부 대조했더니

2026년의 최상위 언어모델 세 개에게 웹 검색을 켜 준 채로 심장내과 리뷰 270편을 쓰게 한 연구가 있습니다. 연구진은 그 글들에 달린 참고문헌 8,050건을 하나도 빠짐없이 의학 논문 데이터베이스인 PubMed와 대조했습니다. 문제가 있는 참고문헌의 비율은 모델에 따라 11.5%에서 29.6%였습니다. 이 범위를 중간값으로 읽으면 틀립니다. 세 모델 중 둘이 29%대였고, 11.5%는 가장 낮은 한 모델의 값입니다.

더 눈여겨볼 것은 오류의 모양입니다. 오류의 77%는 오귀속이었습니다. 오귀속(misattribution)은 인용한 논문 번호가 실재하기는 하지만 다른 논문을 가리키는 오류입니다. 아예 존재하지 않는 문헌을 지어낸 경우는 0.6%로 드물었습니다. 초록은 이 비율의 분모를 따로 밝히지 않습니다 (DOI: 10.64898/2026.08.31.26361806, 프리프린트).

「AI의 오류 — 시험장 밖에서 틀리는 수험생」의 정의로, 환각은 AI가 그럴듯하게 들리지만 사실과 다르거나 주어진 자료와 어긋나는 내용을 만들어 내는 일입니다. 엉뚱한 논문을 가리키는 번호도, 없는 논문도 이 정의에 들어갑니다. 두 숫자를 붙여 놓으면 문장 하나가 나옵니다. 웹 검색을 켠 조건에서도 환각은 남았고, 남은 환각의 대부분은 없는 문헌을 지어낸 것이 아니라 실재하는 문헌을 엉뚱한 자리에 붙인 것이었습니다. 다만 초록에 적힌 조건은 검색을 켠 쪽뿐이라, 검색이 오류의 모양을 바꿨다고까지 말할 수는 없습니다.

여기서 다룰 처방은 검색증강 생성입니다. 「LLM은 왜 '거짓말'을 하는가 — 환각은 어디서 생기고, 줄이는 방법은 어디까지 듣는가」의 정의 그대로, 검색증강 생성(RAG)은 답하기 전에 외부 문서를 찾아 모델 앞에 놓고, 그 문서를 근거로 답하게 하는 방식입니다. 사내 규정 챗봇을 예로 들면, 질문이 들어오면 규정집에서 관련 대목 몇 조각을 꺼내 질문과 함께 모델에게 건네고, 모델은 원칙적으로 그 조각만 보고 답합니다. 「생성형 AI의 대답 — 한 조각씩 골라 이어 붙인 문장」이 짚었듯 언어 모델의 기본 절차에는 검색 단계가 없고, 검색은 따로 붙이는 장치입니다. 「AI의 오류」는 그 장치가 환각을 줄였을 뿐 없애지는 못했다고 적었고, 「LLM은 왜 '거짓말'을 하는가」는 검색을 붙여도 남는 문제를 이 글로 넘겼습니다. 이 글은 그 장치가 고치는 것과 못 고치는 것을 봅니다.

이 처방이 쓰이는 이유와 한계를 한 리뷰 논문이 함께 적습니다. 모델 안에서 학습으로 정해지는 숫자들, 곧 파라미터에 담긴 지식에 답하는 시점에 찾아온 바깥 근거를 보태 주기 때문에 실용적인 처방으로 제안됐다는 것입니다. 그리고 곧바로 덧붙입니다. RAG는 기본적으로 진실성도 출처 표기도 보장하지 않습니다 (DOI: 10.54254/2753-8818/2026.dl34055).

읽기 전에 세 가지를 밝혀 둡니다. 첫째, 이 글은 특정 제품이나 모델을 평가하지 않습니다. 앞의 연구가 밝힌 모델 이름도 옮기지 않습니다. 이 글이 쓰는 것은 오류의 모양입니다. 둘째, 인용하는 연구의 등급이 고르지 않고 한쪽으로 치우쳐 있습니다. 이 주제에는 동료심사를 거치지 않은 프리프린트가 많고, 이 글이 가장 크게 기대는 연구들도 대체로 프리프린트입니다. 심사를 거친 지면은 대개 보조로 쓰였고, 프리프린트는 그때마다 표시했습니다. 셋째, 검색해 온 문서가 지시처럼 작동해 모델을 조종하는 문제는 「남이 써 둔 문장이 내 지시가 될 때 — 프롬프트 인젝션」이 다룹니다. 여기서 보는 것은 검색해 온 문서가 틀렸거나 부족할 때 무슨 일이 일어나는가입니다.

처방은 실제로 듣는다

검색을 붙이면 나아진다는 근거는 임상에서 나왔습니다. 의사의 판단을 돕는 시스템에 검색증강 생성을 쓴 연구들을 체계적 고찰이 모았습니다. 체계적 고찰은 정해 둔 절차로 관련 연구를 빠짐없이 모아 검토하는 연구이고, 이 고찰은 그 보고 지침인 PRISMA를 따랐습니다. 2023년 1월부터 2025년 12월까지 발표된 연구 중 조건을 만족한 30편이 모였습니다. 비교한 연구들에서 검색을 붙인 접근은, 검색을 붙이지 않은 언어모델보다 답이 사실 근거에 더 잘 붙고 근거 없는 주장이 줄어든 것과 연관돼 있었습니다. 가이드라인과 프로토콜에 기대는 과제에서 특히 그랬습니다. 저자들은 이것을 통제된 조건에서의 실질적 진전이라고 부릅니다 (DOI: 10.21203/rs.3.rs-9741159/v1, 프리프린트). 통제된 조건에서는 검색이 실제로 듣는다는 뜻입니다.

개선이 어디서 오는지를 재는 첫 눈금은 검색 쪽에 있습니다. 재현율(recall)은 찾아왔어야 할 문서 가운데 실제로 찾아온 것의 비율입니다. 답에 필요한 조항이 규정집에 셋인데 둘만 꺼내 왔다면 재현율은 3분의 2입니다. 재현율이 낮으면 그다음 단계가 아무리 좋아도 답은 채워지지 않습니다.

실서비스에서 잰 값도 있습니다. 전 세계 규모의 디지털 인프라 사업자가 실제로 운영 중인 검색증강 플랫폼을 보고한 연구로, 여덟 개 출처에서 모은 검색 단위 334,818개(그중 11.7%가 이미지)를 다룹니다. 저자들이 잰 검색의 이득은, 문서 없이 모델이 기억만으로 답하게 한 경우보다 답의 관련도가 +0.25 높았다는 것입니다 (DOI: 10.2139/ssrn.7360668, 프리프린트). 이 수치에 붙은 단서는 뒤에서 다시 봅니다.

같은 임상 고찰의 결론에는 단서가 둘 더 붙어 있고, 이 글의 나머지는 그 단서를 따라갑니다. 첫째 단서는 평가 방식입니다. 평가는 대체로 지난 기록을 돌아보는 후향적 방식이었고 지표 중심이었으며 임상의 참여가 적었습니다. 환자에게 실제로 쓰면서 결과를 앞으로 추적한 전향적 임상 결과 연구는 한 건도 없었습니다. 둘째 단서는 실패의 종류입니다. 되풀이해 나타난 실패는 검색 오류, 근거를 불완전하거나 선택적으로만 반영한 통합, 그리고 검색해 온 맥락이 있는데도 남는 환각이었습니다. 저자들은 구조의 혁신에 임상 검증이 나란히 따라오지 못했다고 요약합니다 (DOI: 10.21203/rs.3.rs-9741159/v1). 통제된 조건에서 듣는다는 것과 진료 현장에 쓸 준비가 됐다는 것 사이에는 아직 검증되지 않은 거리가 있습니다.

논문들이 스스로 적어 둔 문제 진술

이 주제의 논문에는 「우리 방법이 환각을 N% 줄였다」는 보고가 아주 많습니다. 제조사가 자기 제품을 리뷰한 것과 같은 성격이라 성과 수치는 조심해서 읽어야 하고, 읽는 법은 뒤의 한 절에서 봅니다.

그런 논문에도 정직한 대목이 하나 있습니다. 문제 진술, 곧 자기 방법이 왜 필요한지 설명하려고 지금 있는 방식이 왜 부족한지를 먼저 적은 대목입니다. 아래 다섯 문장은 전부 그 논문들의 초록 첫머리에 적혀 있는 말이고, 성과가 아니라 동기입니다.

첫째, 표준 파이프라인에는 확인하는 부품이 없습니다. 파이프라인은 질문을 받아 문서를 찾고 답을 쓰기까지 이어진 처리 과정입니다. 여기에 실시간 환각 탐지·교정 장치를 붙이자고 제안한 논문은 초록 첫머리에 이렇게 적습니다. 검색과 생성이 기능적으로 끊겨 있어서, 표준 파이프라인 안에는 모델이 쓴 것이 실제로 검색해 온 것에서 따라 나오는지 검증하는 장치가 없습니다 (DOI: 10.2139/ssrn.7242858, 프리프린트 · 제안 구조이고 실증 검증은 후속 과제로 남겨 두었다고 저자들이 적습니다).

둘째, 인용마저 모델이 씁니다. 매번 같은 규칙으로 인용을 검사하는 결정론적 인용 검증을 제안한 논문의 첫 문장이 이것입니다. 검색증강 생성은 근거 없는 단언을 줄이지만 없애지는 못하는데, 흔한 구현에서는 모델이 답과 그 답의 출처를 함께 저술하기 때문입니다. 저자는 모델이 지어낸 인용과 검색된 기록에 딸려 온 인용을 서로 다른 것으로 갈라 놓자고 제안합니다 (DOI: 10.2139/ssrn.7322378, 프리프린트 · 저자 스스로 정형적 내용은 깊다기보다 정의적이고 기여는 구조적이라고 적습니다).

셋째, 관련 문서를 제대로 찾아와도 환각은 남습니다. 문장 단위 검색을 제안한 논문은 완화가 제거와 같지 않다고 적습니다. 그 논문이 본 기존 구현들은 답을 조립할 때, 모델이 사전학습에서 익힌 지식을 여전히 끌어 쓰게 둡니다. 사전학습은 엄청난 양의 글로 하는 첫 단계의 학습입니다. 그래서 관련 문서를 제대로 검색해 온 경우에도 환각이 남을 수 있습니다 (DOI: 10.2139/ssrn.7333058, 프리프린트).

넷째, 근거와 기억이 어긋나면 기억을 고르기도 합니다. 모델의 아주 작은 일부만 더 학습시켜 근거 쪽으로 보정하는 방식(저순위 보정)을 제안한 논문은 남는 환각을 둘로 가릅니다. 그럴듯하지만 근거 없는 단언을 지어내는 것, 그리고 검색해 온 근거가 학습으로 외운 내용과 어긋날 때 근거를 무시하고 외운 쪽의 편향을 따르는 것입니다 (DOI: 10.66917/ijaeic.a000015).

다섯째, 근거 자체가 깨끗하지 않습니다. 동적 기억 방식을 제안한 논문은 환각이 남는 조건을 셋으로 적습니다. 검색해 온 근거에 잡음이 섞였을 때, 근거끼리 모순될 때, 근거가 애초에 불충분할 때입니다. 그리고 검색 여부를 그때그때 정하는 기존 적응형 시스템들에는 생성 전에 검색 품질을 가늠하는 장치도, 근거들 사이의 모순을 잡아내는 장치도 없다고 덧붙입니다 (DOI: 10.2139/ssrn.6329665, 프리프린트).

이 다섯 문장은 서로 다른 팀이 서로 다른 방법을 내놓으며 적은 것인데, 같은 곳을 가리킵니다. 앞의 리뷰 논문이 오류가 생기는 자리로 꼽은 넷과도 겹칩니다. 질의를 만들 때, 문서를 찾을 때, 근거를 모을 때, 답을 근거에 붙일 때입니다. 그 리뷰는 RAG를 환각의 완결된 해법으로 다뤄서는 안 된다고 결론짓습니다. RAG의 값어치는 바깥 근거에 붙은 생성을 가능하게 만드는 데 있고, 그것을 보장하는 데 있지 않습니다 (DOI: 10.54254/2753-8818/2026.dl34055).

충실한데 틀린 답

회사 규정집에 「휴가는 2주 전에 신청」이라고 적혀 있는데, 그 규정이 지난달에 1주로 바뀌었고 규정집만 고쳐지지 않았다고 해 보겠습니다. 챗봇은 규정집을 그대로 옮겨 「2주 전」이라고 답합니다. 이 답을 평가하려면 축이 둘 필요합니다.

근거 충실성(faithfulness)은 모델이 쓴 문장이 눈앞에 놓인 문서에서 실제로 따라 나오는 정도입니다. 사실성(factuality)은 그 문장이 세상에서 실제로 참인 정도입니다.

방금 그 답은 근거에는 완벽하게 충실하고 사실은 틀렸습니다. 반대로 챗봇이 자기 기억으로 「요즘은 1주」라고 맞혀 버리면, 사실은 맞지만 주어진 근거에서는 따라 나오지 않습니다. 뒤에 나오는 점수마다 어느 축을 잰 것인지 확인하지 않으면 숫자를 잘못 읽게 됩니다.

지표를 만드는 쪽도 두 축을 가릅니다. 근거 커버리지를 재는 도구를 제안한 팀은 설계 목표를 이렇게 적습니다. 각 사실 주장이 검색해 온 맥락에 명시적으로 뒷받침되는지를, 겉으로 정답과 맞는지와는 독립적으로 잰다는 것입니다 (DOI: 10.36227/techrxiv.176784505.56675782/v1, 프리프린트 · 저자 자기 방법). 그 설계대로라면 틀린 문서를 충실히 옮긴 답은 충실하지만 틀렸고, 이 지표에서 만점을 받습니다.

앞의 리뷰가 평가 축을 넷으로 나눈 것도 같은 이유입니다. 사실성, 근거 충실성, 출처 표기 품질, 검색 적합도입니다. 축이 넷으로 따로 있다는 것은 하나를 고쳐도 나머지 셋이 그대로 남을 수 있다는 뜻입니다 (DOI: 10.54254/2753-8818/2026.dl34055).

눈금이 거꾸로 간다

채점에도 같은 문제가 걸립니다. 사람이 채점하기엔 답이 너무 많을 때, 채점을 다른 언어모델에게 맡깁니다. 「점수는 올랐다. 그런데 무엇이 올랐나」의 정의 그대로, 이렇게 채점을 맡은 언어모델을 모델 심판이라 부릅니다. LLM 심판이라고도 합니다. 답 하나를 놓고 「이 답이 근거에 붙어 있나」를 모델 심판에게 묻고 점수를 받아 적는 식입니다.

앞의 실서비스 연구가 꼽은 중심 발견도 이 모델 심판의 측정에 관한 것입니다. 이 논문은 답이 근거에 붙어 있는 정도를 근거성이라 부르는데, 앞에서 말한 근거 충실성과 같은 축입니다.

첫 번째 발견입니다. 답만 보고 채점하는 모델 심판은 근거성 판정에서 체계적으로 틀렸습니다. 애초에 답할 수 없는 질문에, 답할 수 있는 질문보다 더 높은 점수를 줬습니다.

그래서 모델 심판에게 검색해 온 맥락까지 보여 줬습니다. 그러자 지름길 하나는 없어졌지만 다른 지름길이 생겼습니다. 이 플랫폼에서 검색을 못하는 시스템은 지어내는 대신 답을 거부했는데, 맥락을 보는 모델 심판에게 거부는 손쉽게 근거에 잘 붙은 답으로 판정됩니다. 거부에는 근거와 어긋날 주장이 없기 때문입니다. 그 결과 모델 심판이 매긴 근거성이, 정답 라벨로 잰 실제 검색 품질과 거꾸로 갔습니다. 상위 1건 재현율이 11배까지 벌어지는 여러 설정에 걸쳐, 두 순위가 얼마나 같은 방향인지 재는 스피어만 상관이 −0.89였습니다. 순위가 거의 정반대였다는 값이고, 검색을 잘하는 설정일수록 근거성 점수가 낮았다는 뜻입니다.

저자들의 처방은 단순합니다. 근거성 점수는 옳은 거부와 근거에 붙어 옳게 낸 답을 구분하지 못하므로, 근거성 점수는 반드시 거부율과 함께 보고해야 합니다. 또 모델 심판을 다른 계열로 바꾸자 시스템들의 순위 자체가 흔들렸습니다. 심판 계열에 따라 순위가 얼마나 일치하는지 잰 켄달 타우가 0.10으로, 거의 맞지 않았습니다. 그래서 저자들은 자기가 잰 검색의 이득 +0.25조차 「그 모델 심판에 한정된 값」이라고 못 박습니다 (DOI: 10.2139/ssrn.7360668, 프리프린트).

모델 심판의 신뢰성은 에이전트, 곧 스스로 여러 단계를 밟아 일하는 프로그램의 실패 원인을 지목하는 과제에서도 시험됐습니다. 결함을 일부러 심은 에이전트 과제 두 가지에서 모델 심판 열 개를 시험한 연구입니다. 주 실험의 기록을 가장 자세히 보여 준 조건에서도, 표준 프롬프트로는 어느 심판도 두 원인을 가르는 여백(두 원인별 정확도의 차이) 0.16을 넘지 못했고, 프롬프트를 한 번 손보자 0.34로 올랐습니다. 모델을 쓰지 않는 결정론적 규칙은 같은 기록에서 두 원인을 갈라냈으므로, 원인을 가를 정보는 기록 안에 있었습니다. 저자들은 이 결과를 시험한 모델·프롬프트·과제 범위에서의 신뢰성 경고로 읽습니다 (DOI: 10.3390/make8090275). 이 시험은 「곱셈으로는 모른다 — 에이전트는 긴 작업의 어디에서 무너지는가」가 자세히 다룹니다.

어디서 깨지는가

못 찾아온 것과 찾아왔는데 안 쓴 것

검색의 실패는 둘로 갈립니다. 필요한 근거를 끝내 못 찾은 경우와, 관련 근거를 찾아왔는데 제대로 쓰지 않은 경우입니다. 이 구분을 쓴 연구는 검색을 스스로 되풀이하며 답을 찾는 검색 에이전트 여섯 개를, 사람이 문서마다 매긴 적합도 판정에 비춰 검색 단계마다 뜯어봤습니다 (arXiv:2608.01913, 프리프린트).

같은 연구에서 검색 노력과 답의 질은 약하게만 맞물렸습니다. 답 정확도는 검색 횟수나 소비한 맥락의 양보다, 찾아온 근거의 질과 더 잘 맞았습니다. 특히 그때까지 찾아온 문서를 모두 합쳐 잰 재현율, 곧 누적 재현율과 잘 맞았습니다. 그리고 유용한 근거는 흔히 일찍 나왔는데도 에이전트는 계속 찾는 경향이 있었고, 건지는 것이 적은 검색 단계가 길게 이어졌습니다 (arXiv:2608.01913, 프리프린트).

두 실패를 가르면 어디를 손볼지 가늠할 수 있습니다. 저자들이 내놓은 방향도 질의를 더 잘 만드는 일, 근거를 더 잘 고르고 맥락을 관리하는 일, 충분한 근거가 모였는지로 멈출 때를 정하는 일로 나뉩니다 (arXiv:2608.01913). 검색 오류와 생성 오류를 따로 떼어 재는 벤치마크를 만든 연구도 같은 자리를 겨눕니다. 벤치마크는 여러 AI 모델에게 같은 문제를 풀게 해 점수를 견주는 시험 문제 모음입니다. 다만 저자들은 그 결과를 2B에서 8B 사이, 곧 중소형의 오픈웨이트 모델에서 얻은 것으로 한정합니다. 오픈웨이트 모델은 파라미터를 공개한 모델입니다 (DOI: 10.1007/s10994-026-07121-y).

검색이 잘될지 미리 아는 방법도 시도됐습니다. 심사 지면에 실린 한 연구가 검색을 마친 뒤의 특징만으로 질의의 난이도를 예측하는 틀을 제안했습니다. 그 예측값이 실제 생성 품질과 맞물리는 정도는 0.22에서 0.48 사이였습니다. 검색이 잘될지 아는 것과 답이 좋을지 아는 것 사이에는 아직 거리가 있다는 뜻입니다. 그래도 그 예측에 맞춰 검색 깊이를 조절하자 생성 품질이 일관되게 좋아졌고, 검색이 잘 안 되던 질의에서 이득이 가장 컸습니다. 학습 없이 검색을 조절하는 기존 방식도 넘어섰습니다 (DOI: 10.1145/3827605).

찾아오는 양을 늘리는 데에도 한계가 있습니다. 한 소규모 실험에서는 뜻이 가까운 문서를 찾는 밀집 검색의 후보 문서를 무턱대고 늘리자, 재현율이 천장에 닿아 수확이 줄었습니다. 그 실험에서 제안한 방식의 가장 좋은 설정의 정확도는 62%였습니다 (DOI: 10.66245/jyi.v1.i1.002, 학생 저널에 실린 소규모 실험입니다). 맥락을 길게 넣는 것도 공짜가 아닙니다. 의생명 분야 RAG를 정리한 조사는 긴 맥락의 가운데에 놓인 정보가 묻히는 현상을 기술적 난점으로 적습니다 (DOI: 10.70121/001c.158711).

문서가 애초에 그 모양이 아니다

일본에서 임상연구의 윤리 심의를 돕는 검색 시스템에, 기관 매뉴얼 네 권을 손대지 않고 그대로 넣은 연구가 있습니다. 검색되어 나온 조각 594개의 품질을 모델 심판이 다섯 개 지표로 채점했더니, 다섯 지표의 중앙값이 모두 2.0 이하였습니다. 실용 기준(4점 이상)을 넘긴 조각은 20% 미만이었습니다. 상위에 오른 결과만 추려 봐도 기준을 넘긴 것은 절반 미만이었습니다. 한 지표만 예외였는데, 저자들이 'faithfulness'라 이름 붙인 항목입니다. 이것이 앞에서 말한 근거 충실성과 같은 뜻인지는 초록으로 확인할 수 없습니다. 이 채점은 다섯 번 반복해도 거의 같은 결과를 냈습니다(반복 채점끼리의 일치도인 급내상관 0.936). 검색된 조각 길이의 중앙값은 3,861자로, 설정한 500토큰을 크게 넘겼습니다. 토큰은 언어 모델이 글을 잘라 다루는 단위입니다. 저자들은 이것을 핵심 정보가 긴 조각 속에 희석된 신호로 읽습니다.

같은 연구는 한 단락을 구조와 서식만 정리해 다시 넣어 봤습니다. 다시 쓴 쪽은 모든 지표에서 만점을 받았습니다. 다만 다시 쓴 쪽은 여섯 조각뿐이었습니다. 594 대 6이라는 비대칭을 잊으면 안 됩니다. 저자들의 결론은, 검색 대상으로 들어가는 원래 문서의 품질이 검색 성능을 제약한다는 것입니다. 이것은 기존 문서를 올리기만 하면 된다는 가정에 대한 도전입니다 (DOI: 10.64898/2026.01.01.26343326, 프리프린트 · 1단계 기초 연구 · 1차 평가에서 평가자끼리의 일치도가 Fleiss 카파 0.269로 낮아 틀 자체를 다듬을 필요가 있다고 저자들이 적습니다).

다른 각도에서 잰 값도 있습니다. 의료·법률·금융 세 분야를 공통 절차로 재는 벤치마크를 만든 팀은, 법률 쪽에서 검색 대상 문서 모음, 곧 코퍼스를 합성 데이터에서 실제 호주 법률 코퍼스로 바꾸자 출처 표기 점수가 거의 0에서 0.678로 올랐다고 보고합니다. 같은 벤치마크에서 밀집 검색은 낱말이 겹치는 문서를 찾는 기존 방식인 BM25보다 종합 점수가 1.6%포인트 높았습니다. 두 값은 재는 대상이 다릅니다. 하나는 종합 점수의 증분이고 하나는 출처 표기 점수 하나의 절대 수준이라, 크기를 곧바로 견줄 수는 없습니다. 다만 저자들이 이 결과에 붙인 문장은 방향이 분명합니다. 실제 데이터는 타협할 수 있는 항목이 아니라는 것입니다 (DOI: 10.21203/rs.3.rs-9859942/v1, 프리프린트).

문서를 어떤 크기로 잘라 색인할지에도 단일 정답이 없습니다. 네 가지 크기를 통제 비교한 연구에서, 사실 하나만 담은 짧은 진술인 명제 단위로 잘게 자르면 한 벤치마크에서 문단 단위보다 상위 20건 재현율이 최대 6.8%포인트 높았습니다. 사실 하나를 묻는 질문의 정답률도 가장 높았습니다. 그러나 여러 문서를 이어 붙여야 답이 나오는 질문에서는 그 이점이 줄었고, 문단 단위가 비슷하거나 조금 나았습니다. 저자들의 결론은 어떤 조건에서나 앞서는 단일 크기는 없다는 것입니다 (DOI: 10.66372/jger.v3i1.6).

"우리 방법이 N% 줄였다"를 읽는 법

앞에서 미뤄 둔, 이 주제의 논문에서 흔한 문장 형태입니다. 지식 그래프를 붙인 방식이 첫 예입니다. 「LLM은 왜 '거짓말'을 하는가」의 정의로, 지식 그래프는 위키백과처럼 사실을 명시적으로 담아 둔 구조화된 지식 저장소입니다. 이 방식은 강한 RAG 기준선보다 정확 일치가 11.4% 올랐고 환각률이 18.2% 줄었다고 보고합니다 (DOI: 10.54097/e4991d70). 기준선은 새 방법과 견주려고 세운 비교 대상 방식이고, 정확 일치는 답이 정답과 그대로 같은 비율입니다. 저순위 보정 방식은 표준 RAG 기준선보다 사실 환각률이 43.7% 줄었다고 보고합니다. 충실성 점수는 0.642에서 0.891로, 정답과 겹치는 정도를 잰 점수인 F1은 11.8% 올랐다고 합니다 (DOI: 10.66917/ijaeic.a000015). 기술문서용 위험 통제 방식은 표준 RAG 기준선보다 환각률 43% 감소를 보고합니다 (DOI: 10.66238/ijcbs29).

세 문장 모두 저자들이 자기 방법을 자기 기준선과 견준 값입니다. 그래서 세 가지를 함께 물어야 합니다. 누가 쟀나, 무엇과 견줬나, 그리고 남은 것은 얼마인가. 셋째 물음의 답이 특히 잘 빠집니다. 앞의 세 보고 중 남은 절대량이 보이는 것은 하나뿐입니다. 충실성 점수 0.891은 1이 아닙니다. 나머지 둘은 줄어든 비율만 있고, 기준선의 수치는 초록에 적혀 있지 않습니다.

남은 양을 적어 둔 경우도 있습니다. 환자 사례 설명(비네트) 250건에 열두 가지 검색증강 방식을 걸어 본 연구에서, 모델이 제 답을 다시 점검하게 하는 자기반성형 설계가 환각률을 5.8%까지 낮췄습니다. 이 값은 성취의 숫자이기 전에 그 실험에서 남은 양의 숫자입니다. 같은 실험에서 검색 정확도가 가장 좋았던 설정은, 상위 5건 가운데 관련 문서의 비율(정밀도)이 0.68 이상이었습니다. 상위 다섯 건 중 관련 문서가 평균 셋 남짓 이상이었다는 뜻입니다 (DOI: 10.3390/electronics14214227).

절대 성능으로 받아 보면 눈금의 위치가 분명해집니다. 2025년의 한 프리프린트는 근거의 빈 곳을 찾아 되짚어 검색하는 방식으로, 여러 문서를 이어 붙여야 답이 나오는 질문 벤치마크인 HotpotQA에서 F1 0.453을 얻었습니다. 가장 강한 반복형 기준선보다 8.3점 높은 값이고, 저자들은 이것을 그 벤치마크들에서 이 계열 방법이 낸 최고 성적이라고 적습니다 (arXiv:2510.22344, 프리프린트). 「LLM은 왜 '거짓말'을 하는가」가 오른 폭으로 소개한 바로 그 결과입니다. 같은 결과를 절대값으로 읽으면, 이 계열의 최고 성적이 정답과의 겹침에서 절반에 못 미쳤다는 뜻입니다.

같은 HotpotQA를 공정한 코퍼스 검색 조건에서 쓴 다른 팀은, 최고 설정의 정확 일치가 11.5%, F1이 16.8%였다고 적습니다. 기준선보다 0.5%포인트 나아진 값입니다. 실험 조건이 달라 앞의 결과와 곧바로 견줄 수는 없습니다. 부품별로는 성패가 갈렸습니다. 근거들 사이의 모순을 잡는 부품은 검색 결과의 97.5%에서 모순을 찾아냈습니다. 반대로 이론적으로 그럴듯했던 다른 모듈은 작은 생성 모델에서 오히려 성능을 떨어뜨렸습니다 (DOI: 10.2139/ssrn.6329665, 프리프린트). 자기 방법을 내놓는 논문이 자기 모듈의 실패까지 적어 둔 경우입니다.

세 분야 공통 벤치마크에서는 여섯 가지 설정 중 최고 종합 점수가 0.585였습니다 (DOI: 10.21203/rs.3.rs-9859942/v1).

"43% 줄었다"와 "절대값 0.453"은 서로를 부정하지 않습니다. 같은 세계를 다른 자로 잰 것이고, 둘 다 있어야 문장이 완성됩니다. 줄인 비율만 옮기고 남은 양을 빼면 문장이 잘립니다. 이 글이 본 세 보고 가운데 둘은 초록에서부터 남은 양이 빠져 있었습니다.

답하지 않기라는 값

남은 길이 하나 있습니다. 판단 유보(abstention)는 주어진 근거로 답할 수 없을 때, 답을 지어내는 대신 모르겠다고 말하고 멈추는 것입니다. 규정집에서 관련 조항을 못 찾았을 때 「규정집에 해당 내용이 없습니다」라고 말하고 끝내는 식입니다.

유보는 실제로 듣습니다. 근거가 불충분하면 답을 거절하도록 만들자, 근거 없는 주장이 줄고 신뢰성이 올랐습니다. 글을 숫자 묶음으로 바꿔 비슷한 글을 찾게 하는 임베딩 모델 세 종류와 검색 깊이 세 단계에 걸쳐 시험한 결과입니다. 다만 정밀도와 거부 사이에 측정 가능한 트레이드오프가 함께 생겼습니다. 틀린 답이 줄어드는 만큼 답을 아예 받지 못하는 질문이 늘어난다는 뜻입니다. 저자들은 환각 방지가 검색 과정만의 일이 아니라 응답 통제와 평가의 일이기도 하다고 요약합니다 (DOI: 10.2139/ssrn.6702638, 프리프린트).

그런데 유보를 따로 잰 벤치마크에서, 시험한 시스템들은 유보하지 않았습니다. 대출 자격 심사와 보험 청구 판정을 다루는 통제된 벤치마크에서 여섯 가지 기억 구조를 견준 연구입니다. 여섯 구조 전부가 모든 사례에 답을 냈습니다. 이 논문은 유보를 네 평가 축 가운데 하나로 일부러 만들어 쟀는데도 그랬습니다. 저자들은 이것을 이 분야가 아직 겨냥하지 않은 축이라고 부릅니다. 같은 논문은 검색 기반 구조가 사실 정확도 축에서 무너졌다는 것, 그리고 자기들이 미리 등록해 둔 예측 하나가 데이터에서 크게 뒤집혔다는 것도 함께 적습니다 (arXiv:2604.19457, 프리프린트).

반대편 위험도 기록돼 있습니다. 자원이 부족한 환경을 위한 임상 질의응답 프로토타입을 만든 팀은, 표준 RAG가 높은 정확도를 냈지만 위험한 '예' 편향을 보였다고 적습니다. 물으면 웬만하면 그렇다고 답하는 것입니다. 그 팀의 방법은 정확도를 일부 내주고 그 과신을 줄이는 쪽을 골랐습니다 (DOI: 10.21203/rs.3.rs-8163345/v1, 프리프린트 · 프로토타입 · 저자 자기 방법).

유보가 제 몫을 하려면 하나가 더 필요합니다. 검색이 못 찾은 것과 애초에 코퍼스에 없는 것을 구분하는 일입니다. 둘은 사용자에게 해야 할 말이 다릅니다. 이 구분을 시도한 연구가 있습니다. 문서 속 개념들이 이어진 연결망의 구조를 진단해, 검색의 부족과 코퍼스 자체의 근거 희소를 갈라 보려 했습니다 (DOI: 10.64898/2026.02.18.26346545, 프리프린트 · 단일 사례 개념증명).

논리적 극단도 제안돼 있습니다. 아예 생성을 하지 않으면 환각은 0입니다. 문서를 문장 단위로 색인해 원문 문장을 그대로 돌려주고, 생성은 선택으로 두는 설계가 있습니다. 저자들은 이 설계가 환각을 줄이는 데 그치지 않고 없앤다고 적습니다 (DOI: 10.2139/ssrn.7333058, 프리프린트 · 정량 비교는 초록에 없습니다). 대가는 분명합니다. 돌려받는 것은 답이 아니라 검색 결과입니다.

여기서 앞 절의 문제가 돌아옵니다. 맥락을 보는 모델 심판에게 거부는 손쉽게 근거에 잘 붙은 답으로 판정됩니다. 유보를 늘리면 근거 충실성 지표는 좋아지고, 사용자가 받는 답의 수는 줄어듭니다. 지표 하나로는 이 둘이 구분되지 않습니다. 그래서 거부율을 함께 보고하라는 요구는 근거성 점수를 읽기 위한 최소 조건입니다.

그래서 무엇을 물어야 하는가

「이 시스템은 환각을 하는가」에는 한 마디로 답할 수 없습니다. 답할 수 있는 것은 다음 목록입니다.

① 그 답에 필요한 것이 코퍼스 안에 있는가. 없으면 ②~④는 물을 필요가 없고, 남는 물음은 ⑤ 하나입니다. 원래 문서의 품질이 검색 성능을 제약합니다 (DOI: 10.64898/2026.01.01.26343326, 프리프린트).

② 그것을 찾아왔는가. 재현율의 자리입니다. 답 정확도는 검색 횟수보다 누적 재현율과 맞습니다 (arXiv:2608.01913).

③ 찾아온 것을 실제로 썼는가. 활용의 자리이고, 찾아와 놓고 쓰지 않는 실패가 실재한다는 것은 사람이 매긴 적합도로 실측됐습니다 (arXiv:2608.01913, 프리프린트). 근거가 기억과 어긋날 때 기억 쪽을 고른다는 설명은 그 논문이 자기 방법의 동기로 적은 진술이지 측정이 아닙니다 (DOI: 10.66917/ijaeic.a000015).

④ 찾아온 것이 맞는가. 근거 충실성이 아니라 사실성의 자리입니다. 휴가 규정의 예처럼 문서가 틀리면 충실한 답도 틀리므로, 이 항목은 검색 성능만으로는 해결되지 않고 문서 쪽 관리가 함께 필요합니다.

⑤ 못 찾았을 때 무엇을 하는가. 유보의 자리이고, 유보율을 함께 보지 않으면 지표가 거꾸로 읽힙니다 (DOI: 10.2139/ssrn.7360668, 프리프린트).

여섯 번째도 있습니다. 누가 확인하는가. 인용 관행을 다섯 단계 계단으로 모형화한 논문이 이 자리를 짚습니다. 1단계는 원전을 직접 읽는 것이고, 3단계는 AI가 찾아 준 것을 사람이 확인하는 것이며, 5단계는 사람의 감독 없는 완전 자동 인용입니다. 저자가 지목하는 결정적 전이는 사람과 AI 사이가 아니라 3단계와 4단계 사이에 있습니다. 사람이 이상한 점을 알아채는 능력이 아직 작동하는 지점과 멈추는 지점 사이입니다. 그리고 그 전이는 바깥에서 보이지 않습니다. 제출된 원고의 어떤 특징도 저자가 얼마나 확인했는지를 드러내지 않습니다 (DOI: 10.2139/ssrn.6318660, 프리프린트 · 경험 연구가 아니라 행위 모형입니다).

이 지점이 구조적으로 어려운 이유는 둘째 문제 진술에 이미 있습니다. 모델이 답과 그 답의 출처를 함께 저술합니다. 그래서 한 제안은 모델이 지어낸 인용 대신 검색된 기록에 딸려 온 인용만 화면에 내보내자고 합니다. 그리고 그 검사 관문이 애매할 때는 통과시키는 대신 닫히는 쪽으로 실패해야 한다고 말합니다 (DOI: 10.2139/ssrn.7322378, 프리프린트).

여기서 냉소로 기울 이유는 없습니다. 이 글을 연 그 연구는 검증 절차도 붙여 봤습니다. 전문가가 판정을 붙인 참고문헌 270건에서, 언어모델로 만든 검증 절차가 문제 참고문헌 62건 중 60건을 잡았습니다. 문제 참고문헌을 문제라고 잡아낸 비율인 민감도가 96.8%, 멀쩡한 참고문헌을 멀쩡하다고 둔 비율인 특이도가 98.6%였고, 오귀속과 지어내기는 전부 잡혔습니다 (DOI: 10.64898/2026.08.31.26361806, 프리프린트). 무엇이 문제인지 분명히 정의되면 자동 검사도 만들 수 있다는 뜻입니다.

낙관으로 기울 이유도 없습니다. 그 검사는 인용 번호 수준의 검사입니다. 번호가 맞는 논문을 가리킨다는 것과 그 논문이 그 문장을 실제로 받친다는 것은 다른 명제입니다. 뒤의 것을 자동으로 판정하는 자리에 앉는 것도 결국 언어모델이고, 방금 96.8%를 낸 검증 절차부터가 언어모델이었습니다. 앞의 실서비스 연구에서 모델 심판은 답할 수 없는 질문에 더 높은 점수를 주고, 거부를 근거에 잘 붙은 답으로 읽었습니다. 이 검증 절차가 같은 지름길을 타는지는 초록에 나오지 않지만, 채점자가 언어모델이면 그 점부터 확인해야 합니다.

검색은 모델에게 볼 것을 줍니다. 본 것을 말하게 만들지는 않습니다.

검색이 고치는 것도 있습니다. 앞의 임상 고찰(프리프린트)에서, 검색을 붙인 접근은 통제된 조건에서 근거 없는 주장이 줄어든 것과 연관돼 있었습니다. 다만 보는 것과 말하는 것 사이에 다섯 항목이 있습니다. 코퍼스에 있는가, 찾아왔는가, 그것을 썼는가, 그게 맞는가, 없을 때 멈출 줄 아는가. 검색을 붙이는 일 하나로 저절로 참이 되는 항목은 그중에 없습니다. 그래서 이 처방은 끝나지 않은 처방입니다. 물어야 할 것은 검색을 붙였느냐보다 다섯 항목이 각각 어떤 상태인가이고, 그렇게 물을 때에만 답이 있는 질문이 됩니다.

근거 논문

프리프린트는 동료심사를 거치지 않은 원고입니다. 본문에서 그때마다 표시했습니다.

• "Citation reliability of frontier large language models in medical writing and its automated verification" (2026, 프리프린트) — DOI: 10.64898/2026.08.31.26361806 — 리뷰 270편의 참고문헌 8,050건 전수 대조. 문제 비율 11.5~29.6%(셋 중 둘이 29%대), 오귀속 77%, 조작 0.6%, 언어모델 검증기가 62건 중 60건 탐지.
• "Hallucination in Large Language Models and Retrieval-Augmented Generation" (2026) — DOI: 10.54254/2753-8818/2026.dl34055 — RAG는 진실성·출처 표기를 보장하지 않고, 오류는 질의·검색·통합·접지 네 자리에서 난다.
• "Retrieval-Augmented Large Language Models for Clinical Decision Support: A Systematic Review" (2026, 프리프린트) — DOI: 10.21203/rs.3.rs-9741159/v1 — PRISMA 30편. 접지 개선과 연관되나 통제된 조건에서의 진전이고 전향적 결과 연구는 0건.
• "Production-scale multimodal retrieval-augmented generation for network operations" (2026, 프리프린트) — DOI: 10.2139/ssrn.7360668 — 답만 보는 심판은 답할 수 없는 질문을 더 높게 매기고, 맥락을 봐도 거부가 만점을 받아 근거성이 −0.89로 역행.
• "FaithGate: A Proposed Architecture for Real-Time Hallucination Detection and Correction" (2026, 프리프린트) — DOI: 10.2139/ssrn.7242858 — 생성물이 검색물에서 따라 나오는지 검증하는 장치가 없다(제안 구조, 실증은 후속 과제).
• "Deterministic Citation Validation for Grounded Language-Model Systems" (2026, 프리프린트) — DOI: 10.2139/ssrn.7322378 — 모델이 답과 출처를 함께 저술하기 때문에 근거 없는 단언이 남는다.
• "No Pre-Trained Knowledge, No Hallucination" (2026, 프리프린트) — DOI: 10.2139/ssrn.7333058 — 완화는 제거가 아니다. 문장 단위 색인으로 원문을 돌려주는 설계(정량 비교 없음).
• "Parameter-Efficient Contextual Calibration for Hallucination Mitigation in Domain-Specific LLM RAG" (2026) — DOI: 10.66917/ijaeic.a000015 — 근거가 기억과 어긋나면 기억을 고른다는 문제 진술. 자기 방법은 충실성 0.642→0.891.
• "DynamiRAG: Dynamic Memory RAG with Entropy-Aware Hallucination Prediction" (2026, 프리프린트) — DOI: 10.2139/ssrn.6329665 — 근거가 잡음·모순·불충분할 때 환각이 남는다. 정확 일치 11.5%(+0.5%p), 모순 탐지 97.5%, 한 모듈은 작은 생성기에서 하락.
• "Evidence Coverage Evaluator" (2026, 프리프린트) — DOI: 10.36227/techrxiv.176784505.56675782/v1 — 각 주장의 뒷받침 여부를 표면적 정확성과 독립적으로 잰다는 설계 선언.
• "One Reflex, Two Answers: Model Judges Weakly Discriminate Localized from Distributed Causes" (2026) — DOI: 10.3390/make8090275 — 열 개 심판의 여백이 0 근처(0.16→0.34)이나 모델 없는 결정론적 규칙은 두 원인을 갈라냈다.
• "Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents" (2026, 프리프린트) — arXiv:2608.01913 — 실패를 검색 격차와 활용 격차로 분리. 답 품질은 검색 노력보다 누적 재현율과 맞는다.
• "Disentangling Faithfulness Hallucinations in Retrieval-Augmented Generation" (2026) — DOI: 10.1007/s10994-026-07121-y — 검색 오류와 생성 오류를 분리한 벤치마크(2B~8B 오픈웨이트 한정).
• "Adaptive Query Performance Prediction for Retrieval-Augmented Generation" (2026) — DOI: 10.1145/3827605 — 예측값과 생성 품질의 상관은 0.22~0.48이나, 그 예측으로 검색 깊이를 조절하면 품질이 좋아졌다.
• "The Impact of Query Decomposition and Cross-Encoder Reranking in Multi-Hop RAG" (2026) — DOI: 10.66245/jyi.v1.i1.002 — 후보를 늘려도 수확이 주는 재현율 천장, 최고 정확도 62%(학생 저널의 소규모 실험).
• "The Role of Retrieval-Augmented Generation in Improving Factual Accuracy for Medical Large Language Models" (2026) — DOI: 10.70121/001c.158711 — 의생명 RAG 조사. 긴 맥락 가운데가 묻히는 현상을 난점으로 기록.
• "Measurement of retrieved chunk quality from real-world knowledge in RAG: A Phase 1 foundational study" (2026, 프리프린트) — DOI: 10.64898/2026.01.01.26343326 — 원본 594조각은 다섯 지표 중앙값 2.0 이하·기준 통과 20% 미만(급내상관 0.936), 다시 쓴 6조각은 만점.
• "TriDomRAG: A Tri-Domain Benchmark for Evaluating RAG in Healthcare, Legal, and Finance" (2026, 프리프린트) — DOI: 10.21203/rs.3.rs-9859942/v1 — 합성 법률 데이터를 실제 코퍼스로 바꾸자 출처 표기가 거의 0에서 0.678. 검색 방식 교체는 +1.6%p.
• "Passage, Sentence, or Proposition? An Empirical Comparison of Retrieval Granularity Effects" (2025) — DOI: 10.66372/jger.v3i1.6 — 명제 단위가 재현율 최대 6.8%p 우세하나 다중 문서 질문에선 이점이 줄어 만능 크기는 없다.
• "Dynamic Knowledge Graph Augmentation Enhances Factual Accuracy in Retrieval Based Generation" (2026) — DOI: 10.54097/e4991d70 — 저자 자기 방법. 강한 베이스라인 대비 환각률 18.2% 감소, 절대 잔량 없음.
• "Scalable Retrieval-Augmented Generation for Technical Documents with Hallucination Risk Control" (2025) — DOI: 10.66238/ijcbs29 — 저자 자기 방법. 표준 베이스라인 대비 환각률 43% 감소, 베이스라인 절대값 없음.
• "Evaluating Retrieval-Augmented Generation Variants for Clinical Decision Support" (2025) — DOI: 10.3390/electronics14214227 — 환자 비네트 250건에 열두 변형. 최저 환각률 5.8%, 상위 5건 관련도 0.68 이상.
• "FAIR-RAG: Faithful Adaptive Iterative Refinement for Retrieval-Augmented Generation" (2025, 프리프린트) — arXiv:2510.22344 — 다중 문서 질문 F1 0.453(+8.3점). 저자들은 이 계열 방법 중 최고 성적이라고 적는다.
• "Evaluating hallucination Mitigation in RAG through Guarded Response Strategies" (2026, 프리프린트) — DOI: 10.2139/ssrn.6702638 — 근거 부족 시 거절하게 하면 주장은 줄지만 정밀도–거부 트레이드오프가 생긴다.
• "Four-Axis Decision Alignment for Long-Horizon Enterprise AI Agents" (2026, 프리프린트) — arXiv:2604.19457 — 유보를 네 축 중 하나로 만들어 쟀는데 여섯 구조 전부가 모든 사례에 답을 냈다.
• "Causal-RAG: Causally-Augmented Retrieval for Clinical Decision Support in Low-Resource Settings" (2025, 프리프린트) — DOI: 10.21203/rs.3.rs-8163345/v1 — 표준 RAG가 높은 정확도와 함께 위험한 '예' 편향을 보였다(프로토타입·자기 방법).
• "Graph-Augmented Retrieval for Digital Evidence-Based Medical Synthesis" (2026, 프리프린트) — DOI: 10.64898/2026.02.18.26346545 — 검색의 부족과 코퍼스 자체의 근거 희소를 구분하려는 시도(단일 사례 개념증명).
• "The Verification Depth Gradient: A Five-Stage Model of Citation Practice in the Age of AI" (2026, 프리프린트) — DOI: 10.2139/ssrn.6318660 — 결정적 전이는 3단계와 4단계 사이이고, 그 전이는 바깥에서 보이지 않는다.