Paperis 아티클
언어모델이 지어내는 문제의 표준 처방은 근거 문서를 찾아 붙여 주는 것(RAG)이다. 그런데 웹 검색을 켜고 쓴 심장내과 리뷰 270편의 참고문헌 8,050건을 전수 대조한 프리프린트에서, 문제 있는 참고문헌은 모델에 따라 11.5~29.6%였고(셋 중 둘이 29%대) 그 오류의 77%는 지어내기가 아니라 실재하는 논문 번호가 다른 논문을 가리키는 오귀속이었다 — 환각이 사라진 게 아니라 모양이 바뀐 것이다. 자기 방법을 파는 논문들이 초록 첫머리에 스스로 적어 둔 문제 진술, 근거 충실성과 사실성이 갈리는 자리, 판정된 근거성이 실제 검색 품질과 거꾸로 가는 측정 사고, 그리고 '몇 퍼센트 줄였다'를 읽는 법까지 항목별로 정리한다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
프런티어 언어모델 세 개에 웹 검색을 켜 준 채로 심장내과 리뷰 270편을 쓰게 한 연구가 있다. 연구진은 그 글들이 달아 놓은 참고문헌 8,050건을 하나도 빠짐없이 PubMed와 대조했다. 문제가 있는 참고문헌의 비율은 모델에 따라 11.5%에서 29.6%까지 나왔는데, 이 범위를 중간값으로 읽으면 안 된다. 세 모델 중 둘이 29%대였고, 11.5%는 가장 낮은 하나의 값이다.
그런데 더 눈여겨볼 것은 비율이 아니라 오류의 모양이다. 오류의 77%는 없는 논문을 지어낸 것이 아니라, 실재하는 논문 번호가 전혀 다른 논문을 가리키는 경우였다. 아예 존재하지 않는 문헌을 만들어 내는 일은 0.6%로 드물었다 (DOI: 10.64898/2026.08.31.26361806, 프리프린트).
이 두 숫자를 붙여 놓으면 문장 하나가 나온다. 환각이 사라진 것이 아니라 모양이 바뀌었다. 없는 논문을 지어내는 일은 드물었다. 그 자리에 들어선 것은 어긋난 짝짓기다 — 실재하는 문헌을, 그 문헌이 하지 않은 말에 붙이는 것.
여기서 다룰 처방의 이름부터 짚자. 모델에게 답을 시키기 전에 관련 문서를 먼저 찾아다 눈앞에 놓아 주는 방식, 이것을 검색 증강 생성(RAG)이라고 한다. 사내 규정 챗봇을 떠올리면 된다. 질문이 들어오면 규정집에서 관련 대목 몇 조각을 꺼내 질문과 함께 모델에게 건네고, 모델은 원칙적으로 그 조각만 보고 답한다. 한 리뷰 논문은 이 처방이 왜 표준이 됐는지를 이렇게 적는다 — 학습 시점에 얼어붙은 파라미터 지식에, 답하는 시점의 바깥 근거를 보태 주기 때문이다. 그리고 곧바로 덧붙인다. RAG는 기본적으로 진실성도 출처 표기도 보장하지 않는다 (DOI: 10.54254/2753-8818/2026.dl34055).
읽기 전에 세 가지. 첫째, 이 글은 특정 제품이나 모델을 평가하지 않는다. 위 연구는 모델 이름을 밝혔지만 여기서는 옮기지 않는다. 이 글이 쓰는 발견은 어느 모델이 나은가가 아니라 오류의 모양이고, 그 모양은 이름이 바뀌어도 남는다. 둘째, 인용하는 연구의 등급이 고르지 않고, 그것도 한쪽으로 치우쳐 있다. 이 주제는 프리프린트와 심사 전 워킹페이퍼가 많은데 — 그때마다 표시했다 — 하필 이 글이 가장 크게 기대는 연구들이 대체로 그쪽이고, 심사를 거친 지면은 대개 보조로 쓰인다. 셋째, 검색해 온 문서가 지시로 작동해 모델을 조종하는 문제는 여기서 다루지 않는다 — 이 시리즈의 프롬프트 인젝션 편이 다룬 자리다. 여기서 볼 것은 검색해 온 문서가 틀렸거나 부족할 때 무슨 일이 일어나는가다.
임상 의사결정 지원에 쓰인 검색 증강 시스템을 PRISMA 절차로 훑은 체계적 고찰이 있다. 2023년 1월부터 2025년 12월까지 발표된 연구 중 조건을 만족한 30편을 모았다. 결과는 한 방향이었다. 검색을 붙인 쪽이 안 붙인 쪽보다 나았다 — 정확히는 저자들의 표현으로, 검색을 붙인 접근이 사실 접지 개선 및 근거 없는 주장 감소와 연관돼 있었고, 가이드라인과 프로토콜에 기대는 과제에서 특히 그랬다. 그리고 저자들은 이 진전에 조건을 붙인다 — 통제된 조건에서의 실질적 진전이라는 것이다 (DOI: 10.21203/rs.3.rs-9741159/v1, 프리프린트).
개선이 어디서 오는지를 재는 첫 눈금은 검색 쪽에 있다. 찾아왔어야 할 문서 가운데 실제로 찾아온 것의 비율, 이것을 재현율이라고 한다. 답에 필요한 조항이 규정집에 셋인데 둘만 꺼내 왔다면 재현율은 3분의 2다. 재현율이 낮으면 그다음 단계가 아무리 좋아도 답은 채워지지 않는다.
실서비스에서 잰 값도 있다. 전 세계 규모의 디지털 인프라 사업자가 운영 중인 플랫폼을 보고한 연구인데, 여덟 개 소스에서 온 334,818개 벡터 포인트(그중 11.7%가 이미지)를 다룬다. 저자들이 측정한 검색의 이득은 아무 문서 없이 답하게 한 경우 대비 관련도 +0.25였다 (DOI: 10.2139/ssrn.7360668, 워킹페이퍼). 이 수치에 저자들이 붙인 단서는 뒤에서 다시 본다.
그런데 앞의 임상 고찰은 결론을 두 문장 더 적었고, 그 두 문장이 이 글의 나머지 전부다. 평가가 대체로 후향적이고 지표 중심이었으며 임상의 참여가 적었고, 전향적 임상 결과 연구는 한 건도 없었다. 되풀이해 나타난 실패 유형은 검색 오류, 근거의 불완전하거나 선택적인 통합, 그리고 검색해 온 맥락이 있는데도 남는 환각이었다. 저자들의 요약은 이렇다 — 구조 혁신에 임상 검증이 나란히 따라오지 못했다 (DOI: 10.21203/rs.3.rs-9741159/v1).
이 주제의 논문 코퍼스에는 "우리 방법이 환각을 N% 줄였다"는 논문이 아주 많다. 제조사가 자기 제품을 리뷰한 것과 같은 성격이라 성과 수치는 조심해서 읽어야 한다(읽는 법은 뒤에 따로 한 절을 준다).
그런데 그런 논문에도 정직한 대목이 하나 있다. 문제 진술이다. 자기 방법이 왜 필요한지 설명하려면 지금 있는 것이 왜 부족한지를 먼저 적어야 하기 때문이다. 아래 다섯 문장은 전부 그 논문들의 초록 첫머리에 적혀 있는 말이고, 성과가 아니라 동기다.
첫째, 표준 파이프라인에는 확인하는 부품이 아예 없다. 실시간 환각 탐지·교정 구조를 제안한 논문은 초록 첫머리에 이렇게 적는다. 검색과 생성이 기능적으로 끊겨 있고, 표준 파이프라인 안에는 모델이 쓴 것이 실제로 검색해 온 것에서 따라 나오는지 검증하는 장치가 없다 (DOI: 10.2139/ssrn.7242858, 워킹페이퍼 · 제안 구조이고 실증 검증은 후속 과제로 남겨 두었다고 저자들이 적는다).
둘째, 인용마저 모델이 쓴다. 결정론적 인용 검증을 제안한 논문의 첫 문장이 이것이다. 검색 증강 생성은 근거 없는 단언을 줄이지만 없애지는 못하는데, 흔한 구현에서는 모델이 답과 그 답의 출처를 함께 저술한다는 것이다. 저자는 모델이 지어낸 인용과 검색된 레코드에 딸려 온 인용을 다른 것으로 갈라 놓자고 제안한다 (DOI: 10.2139/ssrn.7322378, 워킹페이퍼 · 저자 스스로 정형적 내용은 깊다기보다 정의적이고 기여는 구조적이라고 적는다).
셋째, 관련 문서를 제대로 찾아와도 남는다. 문장 단위 검색을 제안한 논문은 이렇게 적는다. 완화는 제거가 아니다. 지금의 구현들은 답을 조립할 때 모델이 사전학습 지식을 끌어 쓰도록 여전히 허용하고, 그래서 관련 문서를 제대로 검색해 온 경우에도 환각이 남을 수 있다 (DOI: 10.2139/ssrn.7333058, 워킹페이퍼).
넷째, 근거와 기억이 어긋나면 기억을 고르기도 한다. 저순위 보정 방식을 제안한 논문은 남는 환각을 둘로 가른다 — 그럴듯한 근거 없는 단언을 지어내거나, 아니면 검색해 온 근거가 자기 기억과 어긋날 때 그 근거를 무시하고 학습된 편향 쪽을 고르거나 (DOI: 10.66917/ijaeic.a000015).
다섯째, 근거 자체가 깨끗하지 않다. 동적 기억 방식을 제안한 논문은 남는 환각의 조건을 셋으로 적는다 — 검색해 온 근거에 잡음이 섞였거나, 서로 모순되거나, 애초에 불충분할 때다. 그리고 기존의 적응형 시스템들에는 생성 전에 검색 품질을 가늠하는 장치도, 근거들 사이의 모순을 잡아내는 장치도 없다고 덧붙인다 (DOI: 10.2139/ssrn.6329665, 워킹페이퍼).
이 다섯 문장은 서로 다른 팀이 서로 다른 물건을 팔려고 적은 것이다. 그런데 같은 곳을 가리킨다. 앞의 그 리뷰 논문이 오류가 생기는 자리를 넷으로 정리해 둔 것과도 겹친다 — 질의를 만들 때, 문서를 찾을 때, 근거를 모을 때, 답을 근거에 붙일 때. 그래서 저자들의 결론은 이렇다. RAG를 환각의 완결된 해법으로 다뤄서는 안 되며, 그 값어치는 바깥 근거에 붙은 생성을 가능하게 만드는 데 있지 그것을 보장하는 데 있지 않다 (DOI: 10.54254/2753-8818/2026.dl34055).
회사 규정집에 "휴가는 2주 전에 신청"이라고 적혀 있는데, 그 규정이 지난달에 1주로 바뀌었고 규정집만 안 고쳐졌다고 하자. 챗봇이 규정집을 그대로 옮겨 "2주 전"이라고 답한다. 이 답을 뭐라고 불러야 하나.
여기서 축을 둘로 갈라야 한다. 모델이 쓴 문장이 눈앞에 놓인 문서에서 실제로 따라 나오는가 — 이 성질을 근거 충실성이라고 한다. 그 문장이 세상에서 실제로 참인가 — 이 성질을 사실성이라고 한다.
방금 그 답은 근거에는 완벽하게 충실하고 사실은 틀렸다. 반대로 챗봇이 자기 기억으로 "요즘은 1주"라고 맞혀 버리면 사실은 맞지만 주어진 근거에서는 따라 나오지 않는다. 이 구분을 놓치면 뒤의 숫자들이 전부 잘못 읽힌다.
이 둘이 다른 축이라는 것은 지표를 만드는 사람들이 가장 잘 안다. 근거 커버리지를 재는 도구를 제안한 팀은 설계 목표를 이렇게 적는다 — 각 사실 주장이 검색해 온 맥락에 명시적으로 뒷받침되는지를, 표면적 정확성과 독립적으로 잰다 (DOI: 10.36227/techrxiv.176784505.56675782/v1, 프리프린트 · 저자 자기 방법). 이건 결함이 아니라 설계다. 다만 그 설계가 뜻하는 바를 끝까지 읽어야 한다. 틀린 문서를 충실히 옮긴 답은 충실하지만 틀렸다. 그리고 그런 답은 이 지표에서 만점을 받는다.
앞의 리뷰가 평가 축을 넷으로 나눈 것도 같은 이유다 — 사실성, 근거 충실성, 출처 표기 품질, 검색 적합도. 넷이 따로 있다는 말은 하나를 고쳐도 나머지 셋이 그대로 남는다는 뜻이다 (DOI: 10.54254/2753-8818/2026.dl34055).
앞서 본 그 프로덕션 연구가 자기 논문의 중심 발견으로 내세운 것은 시스템 성능이 아니라 측정이었다. 축이 둘이면 지표 하나를 믿을 수 없게 되는데, 그 일이 실서비스에서 실제로 벌어진 기록이다.
배경부터. 사람이 채점하기엔 양이 너무 많아서 채점 자체를 다른 언어모델에게 맡기는 방식, 이것을 LLM 심판이라고 한다. 답 하나를 놓고 "이게 근거에 붙어 있나"를 다른 모델에게 묻고 점수를 받아 적는 것이다. 지금 이 분야 평가의 상당 부분이 이 위에 서 있다.
첫 번째 발견. 답만 보고 채점하는 심판은 근거성 판정에서 — 이 논문이 근거성이라 부르는 것은 앞에서 말한 근거 충실성과 같은 축이다 — 체계적으로 틀렸다 — 애초에 답할 수 없는 질문에 답할 수 있는 질문보다 더 높은 점수를 줬다.
그래서 심판에게 검색해 온 맥락까지 보여 줬다. 지름길 하나는 없어졌는데 다른 것이 생겼다. 검색을 못 하는 시스템은 지어내는 대신 거부하고, 거부는 언제나 자명하게 잘 접지된 답이다. 그 결과 판정된 근거성이 정답 라벨로 잰 검색 품질과 거꾸로 갔다 — 스피어만 −0.89, 상위 1건 재현율이 11배 벌어지는 설정 범위에서. 검색을 잘하는 설정일수록 근거성 점수가 낮았다는 뜻이다.
저자들의 처방은 단순하다. 근거성은 옳은 거부와 옳은 접지된 답을 구분하지 못하므로, 그 점수는 반드시 거부율과 함께 보고돼야 한다. 그리고 심판을 다른 계열로 바꾸면 시스템 순위 자체가 흔들렸다 — 켄달 타우 0.10. 그래서 저자들은 자기가 잰 +0.25조차 "그 심판에 한정된 값"이라고 못 박는다 (DOI: 10.2139/ssrn.7360668, 워킹페이퍼).
심판 자체의 신뢰성을 따로 시험한 결과도 있다. 자율 에이전트가 실패했을 때 어느 단계가 원인인지 열 개의 언어모델 심판에게 지목시킨 연구인데, 대부분이 하나의 성향을 적용해 결과를 낸 그 단계를 지목했고, 원인이 한 곳에 몰린 경우와 여러 단계에 퍼진 경우를 가르는 마진이 0 근처에 머물렀다. 표준 프롬프트에서 어떤 심판도 0.16을 넘지 못했고, 프롬프트를 한 번 손보자 0.34로 올랐다. 다만 같은 논문은 반대쪽도 적는다 — 모델을 쓰지 않는 결정론적 규칙 하나는 그 대목에서 두 원인을 갈라냈다. 못 할 일이 아니라 언어모델 심판이 유독 못하는 일이라는 뜻이고, 저자들은 이 경고를 여기서 시험한 모델·프롬프트·과제 범위 안의 것으로 한정한다 (DOI: 10.3390/make8090275). 주제는 RAG가 아니라 에이전트 실패 귀속이지만, 채점자가 언어모델이라는 점은 같다.
사람이 문서 단위 적합도를 직접 매긴 자료를 놓고, 검색 에이전트 여섯 개의 매 검색 단계를 뜯어본 연구가 있다. 이 연구의 쓸모는 실패를 둘로 가른 데 있다 — 필요한 근거를 끝내 못 찾은 경우와, 관련 근거를 찾아왔는데 제대로 쓰지 않은 경우.
같은 연구의 관측도 뜻밖이다. 검색 노력과 답 품질의 정렬이 약했다. 답 정확도는 검색 횟수나 소비한 맥락의 양보다 찾아온 근거의 질, 특히 누적 재현율과 훨씬 잘 맞았다. 그리고 유용한 근거는 대개 일찍 나오는데도 에이전트는 계속 찾아서, 수확 없는 검색 단계의 긴 꼬리를 만들었다 (arXiv:2608.01913, 프리프린트).
두 격차를 갈라야 하는 이유는 처방이 다르기 때문이다. 못 찾아온 것은 색인과 질의의 문제고, 찾아왔는데 안 쓴 것은 모델과 프롬프트의 문제다. 검색 오류와 생성 오류를 분리한 벤치마크 연구도 같은 자리를 겨눈다 — 다만 그 결과는 2B에서 8B 사이의 오픈웨이트 모델에 한정된 결과라고 저자들이 적는다 (DOI: 10.1007/s10994-026-07121-y).
그러면 검색이 잘될지 미리 알 수는 없을까. 심사 지면에 실린 한 연구가 검색 후 특징만으로 질의 난이도를 예측하는 틀을 제안했는데, 예측값이 실제 생성 품질과 맞는 정도는 0.22에서 0.48 사이였다. 검색이 잘될지 아는 것과 답이 좋을지 아는 것 사이에는 아직 거리가 있다는 뜻이다. 그렇다고 이 신호가 쓸모없다는 말은 아니다 — 같은 논문은 그 예측으로 검색 깊이를 조절했을 때 생성 품질이 일관되게 좋아졌고 특히 검색이 잘 안 되던 질의에서 이득이 가장 컸다고, 학습 없는 적응형 베이스라인을 넘어섰다고 보고한다 (DOI: 10.1145/3827605).
찾아오는 양을 늘리는 것도 답은 아니다. 후보 문서를 무턱대고 늘리면 수확이 줄어드는 천장이 있고, 그 실험의 최고 설정 정확도는 62%였다 (DOI: 10.66245/jyi.v1.i1.002, 학생 저널의 소규모 실험이다). 맥락을 길게 넣는 것도 공짜가 아니어서, 의생명 분야 조사는 긴 맥락의 가운데가 묻히는 현상을 난점으로 적는다 (DOI: 10.70121/001c.158711).
일본의 임상연구 심의 지원을 사례로, 기관 매뉴얼 네 권을 손대지 않고 그대로 넣었을 때 검색되는 조각 594개의 품질을 잰 연구가 있다. 다섯 개 지표의 중앙값이 모두 2.0 이하였고, 실용 기준(4점 이상)을 넘긴 조각은 20% 미만이었다. 상위에 오른 결과들만 추려 봐도 기준을 넘긴 것은 절반 미만이었다 — 한 지표만 예외였는데, 저자들이 'faithfulness'라 이름 붙인 항목이라 앞에서 말한 근거 충실성과 같은 뜻인지 확인할 수 없어 여기서는 이름을 밝히지 않는다. 채점은 다섯 번 반복해도 결과가 거의 같았다(급내상관 0.936). 조각 길이의 중앙값은 3,861자로 설정한 500토큰을 크게 넘겼는데, 저자들은 이것을 정보가 희석된 신호로 읽는다.
그리고 같은 연구가 한 단락을 구조와 서식만 정리해 다시 넣어 봤다. 문서를 다시 쓴 쪽은 모든 지표에서 만점을 받았다. 다만 다시 쓴 쪽은 여섯 조각뿐이었다 — 594 대 6이라는 비대칭을 잊으면 안 된다. 저자들의 결론은 이렇다. 상류 문서의 품질이 검색 성능을 제약하며, 이것은 기존 문서를 올리기만 하면 된다는 가정에 대한 도전이다 (DOI: 10.64898/2026.01.01.26343326, 프리프린트 · 1단계 기초 연구 · 1차 평가의 평가자 간 일치도가 Fleiss 카파 0.269로 낮아 틀 자체를 다듬을 필요가 있다고 저자들이 적는다).
같은 방향의 값을 다른 각도에서 잰 것도 있다. 의료·법률·금융 세 분야를 공통 프로토콜로 재는 벤치마크를 만든 팀은, 법률 쪽에서 합성 데이터를 실제 호주 법률 코퍼스로 바꿨더니 출처 표기 점수가 거의 0에서 0.678로 올랐다고 보고한다. 같은 벤치마크에서 검색 방식을 밀집 방식으로 바꿔 얻은 폭은 종합 점수 기준 BM25 대비 1.6%포인트였다. 두 값은 재는 대상이 다르니 — 하나는 종합 점수의 증분이고 하나는 출처 표기 점수 하나의 절대 수준이다 — 크기를 곧바로 견줄 수는 없다. 다만 저자들이 이 결과에 붙인 문장은 방향이 분명하다. 실제 데이터는 타협할 수 있는 항목이 아니다 (DOI: 10.21203/rs.3.rs-9859942/v1, 프리프린트).
문서를 어떤 크기로 자를지에도 단일 정답이 없다. 네 가지 크기를 통제 비교한 연구에서, 명제 단위로 잘게 자르면 한 벤치마크에서 문단 단위보다 상위 20건 재현율이 최대 6.8%포인트 높았고 단일 사실을 묻는 질문의 정답률도 가장 높았다. 그런데 여러 문서를 이어 붙여야 답이 나오는 질문에서는 그 이점이 줄었고, 문단 단위가 비슷하거나 조금 나았다. 저자들의 결론은 어떤 조건에서나 앞서는 단일 크기는 없다는 것이다 (DOI: 10.66372/jger.v3i1.6).
지식그래프를 붙인 방식은 강한 RAG 베이스라인 대비 정확 일치가 11.4% 올랐고 환각률이 18.2% 줄었다고 보고한다 (DOI: 10.54097/e4991d70). 저순위 보정 방식은 표준 RAG 베이스라인 대비 사실 환각률이 43.7% 줄었고 충실성 점수가 0.642에서 0.891로, 정답률이 11.8% F1 올랐다고 보고한다 (DOI: 10.66917/ijaeic.a000015). 기술문서용 위험 통제 방식은 표준 RAG 베이스라인 대비 환각률 43% 감소를 보고한다 (DOI: 10.66238/ijcbs29). 앞서 미뤄 둔, 이 코퍼스에서 가장 흔한 문장 형태다.
세 문장 모두 저자들이 자기 방법을 자기 베이스라인과 견준 값이다. 그래서 셋을 함께 물어야 한다. 누가 쟀나, 무엇과 견줬나, 그리고 남은 건 얼마인가. 셋째 항목이 특히 잘 사라진다. 앞의 세 보고 중 남은 절대량이 보이는 것은 하나뿐이다 — 충실성 점수 0.891은 1이 아니다. 나머지 둘은 줄어든 비율만 있고 베이스라인 수치는 초록에 적혀 있지 않다.
잔량을 적어 둔 경우도 있다. 환자 비네트 250건에 열두 가지 검색 증강 방식을 걸어 본 연구에서, 자기반성형 설계가 환각률을 5.8%까지 낮췄다. 이건 성취의 숫자가 아니라 그 실험에서 남은 양의 숫자다. 같은 실험에서 검색 정확도가 가장 좋았던 설정의 상위 5건 관련도는 0.68 이상이었다 — 상위 다섯 건 중 관련 문서가 적어도 셋 남짓이었다는 뜻이다 (DOI: 10.3390/electronics14214227).
절대 성능으로 받아 보면 눈금의 위치가 분명해진다.
여러 문서를 이어 붙여야 하는 질문 벤치마크에서, 근거 공백을 찾아 되짚어 검색하는 최신 방식의 F1은 0.453이었다. 가장 강한 반복형 베이스라인보다 8.3점 높은 값이고, 저자들은 이것을 이 계열 방법 중에서의 최고 성적이라고 적는다 (arXiv:2510.22344, 프리프린트). 0.453이 그 자리의 현재 천장이다.
같은 계열 벤치마크에서 다른 팀은 최고 설정의 정확 일치가 11.5%, F1이 16.8%였다고 적는다. 베이스라인 대비 0.5%포인트 개선이다. 부품별로는 성패가 갈렸다. 근거들 사이의 모순을 잡는 부품은 검색 결과의 97.5%에서 모순을 찾아냈고, 반대로 이론적으로 그럴듯했던 다른 모듈은 작은 생성기에서 오히려 성능을 떨어뜨렸다 (DOI: 10.2139/ssrn.6329665, 워킹페이퍼). 자기 방법을 파는 논문이 자기 모듈의 실패를 적어 두는 일은 드물다.
세 분야 공통 프로토콜 벤치마크에서 여섯 개 설정 중 최고 점수는 0.585였다 (DOI: 10.21203/rs.3.rs-9859942/v1).
"43% 줄었다"와 "절대값 0.453"은 서로를 부정하지 않는다. 같은 세계를 다른 자로 잰 것이고, 둘 다 있어야 문장이 완성된다. 줄인 비율만 옮기는 것이 이 주제에서 가장 흔한 잘라내기다.
남은 길이 하나 있다. 답을 지어내는 대신 주어진 근거로는 모르겠다고 말하고 멈추는 것, 이것을 판단 유보라고 한다. 규정집에서 관련 조항을 못 찾았을 때 "규정집에 해당 내용이 없습니다"라고 말하고 끝내는 것이다.
실제로 듣는다. 임베딩 모델 세 종류와 검색 깊이 세 단계를 걸쳐, 근거가 불충분하면 답을 거절하도록 만든 실험은 근거 없는 주장이 줄고 신뢰성이 올랐다고 보고한다. 다만 측정 가능한 정밀도–거부 트레이드오프가 함께 생겼다 — 틀린 답이 줄어드는 만큼 답을 아예 못 받는 질문이 늘어난다. 저자들의 요약은 환각 방지가 검색 과정만의 문제가 아니라 응답 통제와 평가의 문제이기도 하다는 것이다 (DOI: 10.2139/ssrn.6702638, 워킹페이퍼).
그런데 실제 시스템은 대체로 유보하지 않는다. 대출 자격 심사와 보험 청구 판정을 놓고 여섯 가지 기억 구조를 견준 벤치마크에서 저자들이 마주친 것이 이것이다. 여섯 구조 전부가 모든 사례에 답을 냈다. 유보는 이 논문이 일부러 네 축 중 하나로 만들어 잰 항목인데도 그랬다. 저자들은 이것을 이 분야가 아직 겨냥하지 않은 축이라고 부른다. 같은 논문은 검색 기반 구조가 사실 정확도 축에서 무너졌다는 것, 그리고 자기들이 미리 등록해 둔 예측 하나가 데이터에서 크게 뒤집혔다는 것도 함께 적는다 (arXiv:2604.19457, 프리프린트).
반대편 위험도 기록돼 있다. 저자원 환경의 임상 질의응답 프로토타입을 만든 팀은, 표준 RAG가 높은 정확도를 냈지만 위험한 '예' 편향을 보였다고 적는다 — 물으면 웬만하면 그렇다고 답하는 것이다. 그 팀의 방법은 정확도를 내주고 그 과신을 줄이는 쪽을 골랐다 (DOI: 10.21203/rs.3.rs-8163345/v1, 프리프린트 · 프로토타입 · 저자 자기 방법).
유보가 제 몫을 하려면 하나가 더 필요하다. 못 찾은 것과 애초에 코퍼스에 없는 것을 구분하는 일이다. 이 둘은 사용자에게 해야 할 말이 다르다. 한 연구가 그래프 구조 진단으로 검색의 부족과 코퍼스 자체의 근거 희소를 갈라 보려 했다 (DOI: 10.64898/2026.02.18.26346545, 프리프린트 · 단일 사례 개념증명).
논리적 극단도 제안돼 있다. 아예 생성을 안 하면 환각은 0이다. 문서를 문장 단위로 색인해 원문 문장을 그대로 돌려주고, 생성은 선택으로 두는 설계가 있다. 저자들은 이것이 환각을 줄이는 것이 아니라 없앤다고 적는다 (DOI: 10.2139/ssrn.7333058, 워킹페이퍼 · 정량 비교는 초록에 없다). 값은 분명하다. 그건 답이 아니라 검색 결과다.
그리고 앞 절의 문제가 여기서 돌아온다. 거부는 언제나 자명하게 잘 접지된 답이다. 유보를 늘리면 근거 충실성 지표는 좋아지고 사용자가 받는 답의 수는 준다. 지표는 이 둘을 구분하지 못한다. 그래서 거부율을 함께 보고하라는 그 요구는 예의가 아니라 최소 조건이다.
"이 시스템은 환각을 안 하나"는 답할 수 있는 질문이 아니다. 답할 수 있는 것은 목록이다.
① 그 답에 필요한 것이 코퍼스 안에 있는가. 없으면 나머지 넷은 논의 대상이 아니다. 상류 문서의 품질이 검색 성능을 제약한다 (DOI: 10.64898/2026.01.01.26343326, 프리프린트).
② 그것을 찾아왔는가. 재현율의 자리다. 답 정확도는 검색 횟수가 아니라 누적 재현율과 맞는다 (arXiv:2608.01913).
③ 찾아온 것을 실제로 썼는가. 활용 격차의 자리이고, 이 격차가 실재한다는 것은 사람이 매긴 적합도로 실측됐다 (arXiv:2608.01913, 프리프린트). 근거가 기억과 어긋날 때 기억 쪽을 고른다는 설명은 그 논문들이 자기 방법의 동기로 적은 진술이지 측정이 아니다 (DOI: 10.66917/ijaeic.a000015).
④ 찾아온 것이 맞는가. 충실성이 아니라 사실성의 자리다. 이 항목은 검색으로 좋아지지 않는다. 문서 쪽에서 해결해야 한다.
⑤ 못 찾았을 때 무엇을 하는가. 유보의 자리이고, 유보율을 함께 보지 않으면 지표가 거꾸로 읽힌다 (DOI: 10.2139/ssrn.7360668, 워킹페이퍼).
그리고 여섯 번째가 있다. 누가 확인하는가. 인용 관행을 다섯 단계 계단으로 모형화한 논문이 이 자리를 정확히 짚는다. 1단계는 원전을 직접 읽는 것이고 3단계는 AI가 찾아 준 것을 사람이 확인하는 것이며 5단계는 사람의 감독 없는 완전 자동 인용이다. 저자가 지목하는 결정적 전이는 사람과 AI 사이가 아니라 3단계와 4단계 사이 — 사람의 이상 감지 능력이 아직 작동하는 지점과 멈추는 지점 사이다. 그리고 그 전이는 바깥에서 보이지 않는다. 제출된 원고의 어떤 특징도 저자가 얼마나 확인했는지를 드러내지 않는다 (DOI: 10.2139/ssrn.6318660, 워킹페이퍼 · 경험 연구가 아니라 행위 모형이다).
왜 이 지점이 구조적으로 어려운지는 앞의 그 문장이 이미 말했다. 모델이 답과 그 답의 출처를 함께 저술한다. 그래서 한 제안은 모델이 지어낸 인용 대신 검색된 레코드에 딸려 온 인용만 화면에 내보내고, 그 검사 관문이 애매할 때 통과시키는 대신 닫히는 쪽으로 실패해야 한다고 말한다 (DOI: 10.2139/ssrn.7322378, 워킹페이퍼).
여기서 냉소로 기울 이유는 없다. 이 글을 연 그 연구가 검증 절차를 붙여 본 결과가 있다. 전문가가 판정을 붙인 참고문헌 270건 가운데, 언어모델로 만든 검증 절차가 문제 참고문헌 62건 중 60건을 잡았다 — 민감도 96.8%, 특이도 98.6%, 어긋난 짝짓기와 지어내기는 전부 잡혔다 (DOI: 10.64898/2026.08.31.26361806, 프리프린트). 문제가 명시적으로 적히면 검사도 만들 수 있다는 뜻이다.
낙관으로 기울 이유도 없다. 그 검사는 인용 번호 수준의 검사다. 번호가 맞는 논문을 가리킨다는 것과 그 논문이 그 문장을 실제로 받친다는 것은 다른 명제이고, 후자를 자동으로 판정하는 자리에 앉는 것도 결국 언어모델이다 — 방금 96.8%를 낸 그 검증 절차부터가 언어모델이었다. 그 채점자가 어떤 지름길을 타는지는 앞에서 본 그대로다 — 답할 수 없는 질문에 더 높은 점수를 주고, 거부를 만점으로 읽는다.
검색은 모델에게 볼 것을 준다. 본 것을 말하게 만들지는 않는다.
그 사이에 다섯 항목이 있다. 코퍼스에 있는가, 찾아왔는가, 그것을 썼는가, 그게 맞는가, 없을 때 멈출 줄 아는가. 검색을 붙이는 행위 하나로 자동으로 참이 되는 항목은 그중 없다. 그래서 이 처방은 실패한 처방이 아니라 끝나지 않은 처방이다. 물어야 할 것은 검색을 붙였느냐가 아니라 다섯 항목이 각각 어떤 상태인가이고, 그렇게 물을 때에만 답이 있는 질문이 된다.
프리프린트·워킹페이퍼는 동료심사와 무관하다. 본문에서 그때마다 표시했다.