Paperis 아티클
오염·포화·틀린 정답·구인타당도·채점자·재현성 — 언어모델을 재는 자를 여섯 개의 축으로 뜯어본다. "재는 일이 어렵다"와 "잴 수 없다"는 다르다
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
언어모델에 관한 거의 모든 주장은 결국 숫자 하나로 압축된다. 어떤 시험에서 몇 점을 받았다는 숫자다. 새 모델이 나오면 표가 함께 나오고, 표의 칸이 채워지면 논의는 대개 끝난다. 이 숫자가 오르면 능력이 올랐다고 우리는 말한다.
말하는 기계에 관한 논의들도 대체로 그 위에 서 있다. 환각이 얼마나 잦은지, 추론이 어디서 무너지는지, 프롬프트를 바꾸면 무엇이 달라지는지 — 이런 이야기의 근거는 결국 어떤 시험에서 나온 숫자다. 그러니 마지막에는 그 시험지를 봐야 한다.
이 글이 의심하는 문장은 하나다. 점수가 오르면 능력이 오른 것이다.
의심의 방향도 하나다. 점수가 오르는데 무엇이 올랐는지 모를 수 있다. 이건 회의주의를 뽐내는 말이 아니라 측정이라는 행위에 원래 붙어 있는 문제다. 시험 점수는 능력이 아니라 능력에 대한 추정치이고, 추정치와 능력 사이에는 여러 겹의 가정이 놓여 있다. 그 가정들이 무엇이고 각각이 어떻게 깨질 수 있는지를 여섯 개의 축으로 나누어 본다. 오염, 포화, 시험지의 오류, 구인타당도, 채점자, 재현성이다.
먼저 이 글의 근거에 대해 정직하게 밝혀 둘 것이 있다. 여기 인용한 문헌은 전부 arXiv 공개본이다. arXiv는 프리프린트 서버이고, 여기 올라왔다는 사실은 동료심사를 통과했다는 뜻이 아니다. 평가 방법론은 움직임이 빠른 영역이라 논의의 상당 부분이 학술지나 학회 게재를 기다리지 않고 여기서 먼저 공개된다. 아래에서 각 항목을 "프리프린트"라고 부르는 것은 이 글이 arXiv 공개본을 읽고 인용했다는 뜻이며, 그중 일부는 이후 동료심사 지면에 실렸을 수 있다 — 이 글은 그 여부를 확인하지 않았다. 재는 자를 의심하는 글이 정작 심사 여부를 확인하지 않은 문헌 위에 서 있다는 것, 이것 자체가 이 글이 말하려는 바의 예시다. 근거에는 등급이 있고, 등급을 밝히지 않은 근거는 자기 등급을 숨긴 것이다. 아래의 수치들은 모두 "그 연구가 자기 설정에서 그 시점에 관측해 스스로 보고한 값"으로 읽어 주시기 바란다.
자를 의심하기 전에 그 자가 무엇을 했는지 먼저 말해야 공정하다.
공유된 시험지가 없던 시절에는 두 방법을 비교할 길이 사실상 없었다. 각자 자기 데이터로 자기 숫자를 냈고, 그 숫자들은 서로 비교되지 않았다. 2013년의 한 프리프린트는 통계적 언어모델링의 진보를 재기 위해 거의 10억 단어 규모의 벤치마크 말뭉치를 제안했다. 새 기법을 빠르게 평가하고 다른 기법과 결합했을 때의 기여를 비교하기 위해서였다. 논문은 가지치기하지 않은 5-gram 기준선의 perplexity가 67.6이고 여러 기법을 조합하면 그 기준선 대비 perplexity가 35% 줄어든다고 보고했다(arXiv:1312.3005). 기준선을 공개하고 그 위에서 겨루자는 제안이었다.
같은 발상이 기계학습 전반에도 있었다. 2017년의 한 프리프린트는 연구가 객관적으로 해석 가능하고 비교 가능하며 재현 가능한 알고리즘 벤치마크에 의존한다고 전제하면서, 벤치마크의 설정·실행·보고를 표준화하기 위해 큐레이션된 과제 묶음을 쓰자고 주장했다(arXiv:1708.03731). 자연어처리에는 공동 과제(shared task)라는 전통이 있었다. 이 분야의 대표적 평가 무대를 체계적으로 분석한 연구는 과제 유형·지표·아키텍처·참가·인용의 분포가 시간에 따라 어떻게 변했는지를 정량화했다(arXiv:2005.14299). 텍스트 함의 인식은 아예 서로 다른 시스템의 의미 이해를 비교하기 위한 통합 평가 틀로 제안된 것이었다(arXiv:2010.03061).
요컨대 벤치마크는 이 분야를 여기까지 끌고 온 장치다. 이 글은 그 장치를 버리자는 글이 아니다. 다만 그 장치가 지금 어떤 하중을 받고 있는지를 본다.
가장 먼저 오는 문제는 단순하다. 시험 문제를 미리 본 학생의 점수는 무엇을 잰 것인가.
2023년의 한 입장 논문이 이 문제를 정면으로 제기했다. 최악의 경우는 모델이 벤치마크의 테스트 분할로 학습된 뒤 바로 그 벤치마크에서 평가되는 것이며, 문제의 규모는 측정 자체가 간단치 않아서 알려져 있지 않다. 오염은 오염되지 않은 대응물에 비해 성능을 과대평가하게 만들고, 그 결과 틀린 과학적 결론이 발표되고 옳은 결론이 폐기될 수 있다는 것이다(arXiv:2310.18018).
왜 이것이 우연한 사고가 아니라 구조적인가. 두 조건이 겹치기 때문이다. 첫째, 요즘 모델은 웹에서 긁어모은 방대한 말뭉치로 학습된다. 둘째, 벤치마크는 대체로 공개돼 있다 — 공개돼야 남들이 재현할 수 있으니까. 그러니 공개된 시험지는 원리적으로 학습 데이터가 될 수 있다. 이 두 조건은 어느 쪽도 실수가 아니다. 둘 다 그 자체로는 좋은 관행이고, 겹치는 순간 문제가 된다.
"그러면 학습 데이터에서 시험 문제를 지우면 되지 않나"라는 대답이 자연스럽게 나오는데, 여기서 첫 번째 벽이 나온다. 2023년의 한 프리프린트는 대부분의 오염 제거가 n-gram 중복 같은 문자열 매칭에 의존한다는 점을 지적하고 이 방법이 불충분함을 보였다. 패러프레이즈나 번역 같은 단순 변형만으로도 이런 오염 제거를 우회할 수 있다는 것이다. 저자들은 이런 변형이 제거되지 않으면 130억 매개변수 모델이 테스트 벤치마크에 쉽게 과적합할 수 있다고 보고했고, 널리 쓰이는 사전학습·미세조정 데이터셋에 자신들의 더 강한 오염 제거기를 적용해 이전에 알려지지 않은 상당량의 테스트 중복을 찾아냈다. 예컨대 두 대형 공개 말뭉치에서 한 코드 생성 벤치마크의 8~18%가 겹쳤다. 그리고 생성 모델이 만들어 낸 합성 데이터셋에서도 같은 오염이 발견됐다 — 의도치 않은 오염의 경로가 하나 더 있다는 뜻이다(arXiv:2311.04850).
오염이 한 종류가 아니라는 정리도 나왔다. 한 유형학 논문은 사전학습 단계에서 마주치는 오염의 유형을 분류하고 어떤 유형이 가장 위험한지를 식별했으며, 요약과 질의응답이라는 두 과제에서 유형별로 성능에 미치는 영향이 어떻게 다른지를 분석했다(arXiv:2407.08716).
규모는 어느 정도인가. 2024년의 한 공동 과제는 오염 증거를 모으는 공개 데이터베이스를 만들었고, 첫 정리 논문은 23명의 기여자가 보고한 91개 오염 소스에 대한 566건의 항목에 기반한다고 밝혔다(arXiv:2407.21530). 통계적 탐지를 시도한 다른 연구는 각 데이터 조각에 대해 같은 분포를 갖는 대응물을 만들고 모델이 원 벤치마크에서 유의하게 더 확신하는지를 검정하는 방법을 제안했는데, 그 결과 자신들이 시험한 거의 모든 모델과 벤치마크가 크든 작든 오염이 의심된다고 보고했다(arXiv:2406.18326). 이 분야를 개관한 서베이는 벤치마크 데이터 오염이 평가 단계에서 부정확하거나 신뢰할 수 없는 성능으로 이어진다고 정리한다(arXiv:2406.04244).
여기까지는 "오염이 있다"는 이야기다. 정말 어려운 부분은 그다음이다.
오염 탐지법은 저마다 가정 위에 서 있다. 2024년의 한 서베이는 오염 탐지 논문 50편을 체계적으로 검토해 그 가정들을 여덟 범주로 나누고, 그것들이 엄밀하게 검증됐는지를 물었다. 그중 세 가정을 사례 연구로 시험한 결과는 불편하다. 이 가정들에 기반한 멤버십 추론 방식이 사전학습에 쓰인 데이터셋에서 무작위 추측과 비슷한 성능을 낼 수 있었다. 저자들은 이것이 현재의 모델이 개별 사례를 외우기보다 데이터 분포를 학습하고 있을 가능성을 시사한다고 해석했고, 본 데이터와 안 본 데이터 사이에 분포 이동이 있으면 이런 방법이 쉽게 실패한다는 점도 함께 지적했다(arXiv:2410.18966).
이 해석에는 무거운 함의가 있다. 오염을 "봤다/안 봤다"의 이분법으로 다루려면 모델이 개별 사례를 기억한다는 그림이 필요한데, 모델이 분포를 배우는 것이라면 이분법 자체가 잘 정의되지 않는다. 그러면 탐지의 목표가 무엇인지부터 다시 물어야 한다.
다른 연구는 다섯 가지 탐지 방식을, 그 시점의 최신 모델 네 개와 여덟 개의 까다로운 데이터셋에 적용해 봤다. 결론은 세 갈래였다. 현재 방법들은 가정과 실제 적용에서 사소하지 않은 한계를 갖는다. 답변 증강을 동반한 지시 미세조정 단계에서 들어온 오염은 탐지하기가 특히 어렵다. 그리고 최신 탐지 기법들 사이의 일관성이 제한적이다(arXiv:2409.09927). 마지막 항목이 특히 곤란하다. 서로 다른 탐지기가 서로 다른 답을 내면, 어느 쪽이 맞는지 판정할 심판이 없다.
2026년의 한 연구는 특정 탐지 계열을 통제된 조건에서 뜯어봤다. 출력 분포의 뾰족함으로 오염을 탐지하는 접근을 7,000만~4억 1,000만 매개변수 범위의 작은 모델들에서 시험한 결과, 이 접근의 효과는 미세조정이 축자적 암기를 낳는지에 결정적으로 의존했다. 저자들이 시험한 조건의 다수에서 데이터가 검증 가능하게 오염돼 있고 더 단순한 방법으로는 탐지되는데도 이 방법은 우연 수준에 머물렀다(arXiv:2603.03203).
그리고 사각지대가 계속 새로 생긴다. 사전학습과 지도 미세조정 단계에 대해서는 탐지법이 개발돼 왔지만, 추론 능력 향상에 핵심이 된 강화학습 사후학습 단계에 대해서는 전용 탐지법이 없었다. 이 공백을 다룬 연구는 강화학습 단계 오염에 대해 기존 방법들이 무작위 추측에 가깝다고 보고하면서, 정책 붕괴를 탐지 신호로 쓰는 새 방법을 제안했다(arXiv:2510.09259). 학습 방식이 하나 늘 때마다 오염의 경로도 하나 늘고, 탐지는 그 뒤를 따라간다.
이 축을 한 줄로 정리하면 이렇다. 오염은 실재하고, 널리 퍼져 있고, 문자열 매칭으로는 못 지우고, 탐지기가 "깨끗함"이라고 말할 때 그 말이 무슨 뜻인지조차 확립돼 있지 않다. "이 점수는 오염되지 않았다"는 주장은 현재로서는 대체로 검증되지 않은 주장이다.
두 번째 문제는 성격이 다르다. 시험이 너무 쉬워졌을 때 생긴다.
2026년의 한 연구가 포화(saturation)를 정의하고 60개의 언어모델 벤치마크에서 포화와 관련된 14개 속성을 분석했다. 대략 절반의 벤치마크가 포화를 보였고, 그 비율은 벤치마크가 오래될수록 높아졌다. 흥미로운 것은 포화에 대한 내성이 무엇으로 결정되는가였다. 이 연구의 관측에 따르면 내성에 영향을 준 것은 전문가 큐레이션이었고, 테스트 데이터의 공개 여부는 아니었다(arXiv:2602.16763).
포화가 왜 문제인가. 천장에 닿으면 남는 차이가 작아지는데, 작아진 차이가 신호인지 잡음인지를 구분하려면 잡음의 크기를 알아야 한다. 그런데 그것을 재는 관행이 없었다. 2024년의 한 연구는 평가 벤치마크의 분산을 정의하고 측정했다 — 초기화 시드에 따른 분산, 학습 도중의 단조성 같은 것들이다. 저자들은 공개 모델과 직접 사전학습한 모델을 두루 조사해 여러 분산 지표의 경험적 추정치를 제시했고, 선택형 과제를 완성형 과제로 바꾸는 것 같은 단순한 변경이 작은 규모 모델에서 분산을 줄이는 경우가 많다고 보고했다. 반면 인간 검사 문헌에서 가져온 문항 분석이나 문항반응이론 같은 더 정교한 방법은 분산을 의미 있게 줄이는 데 고전했다(arXiv:2406.10229).
통계 위생 문제도 있다. 2025년의 한 입장 논문은 언어모델 평가에서 오차 막대와 유의성 검정이 보고될 때 대개 중심극한정리에 의존한다는 점을 지적하고, 이 방법이 수천 개 예제로 이루어진 벤치마크에는 적절하지만 작고 전문화된 벤치마크에서는 불확실성을 대체로 심하게 과소평가한다 — 즉 오차 막대가 너무 작게 나온다고 보고했다. 저자들은 대안이 되는 빈도주의·베이즈 방법을 함께 권고했다(arXiv:2503.01747). 벤치마크가 어려워질수록 문항 수는 줄어드는 경향이 있으니, 이 문제는 포화의 대응책 안에 딸려 온다.
포화는 우리가 재려던 것을 아예 재지 못하게 만들 수도 있다. 2026년의 한 연구는 기존 벤치마크가 거의 완벽한 성능을 보일 때 그 겉보기 포화가 신뢰성에 대한 엄밀한 평가의 필요를 가린다고 지적한다. 실배치에서는 99.9%와 99.999% 사이의 간극이 실패 건수의 자릿수를 바꾸는데, 이렇게 드문 실패 확률을 좁은 신뢰구간으로 추정하려면 표준적인 몬테카를로 방식으로는 감당 못 할 추론 횟수가 필요하다. 저자들은 실패가 특정 입력에 몰리는 성질을 이용해 표본 분포를 학습하는 방법으로 필요한 추론 횟수를 크게 줄였고, 그 결과 표준 벤치마크에서는 구별되지 않는 정확도를 가진 모델들이 추정된 실패율에서는 상당히 다를 수 있다고 보고했다(arXiv:2605.11209). 같은 점수가 같은 물건을 뜻하지 않는다는 말이다.
포화의 통상적 대응은 더 어려운 시험을 만드는 것이다. 널리 쓰이던 한 다과제 지식 벤치마크의 확장판은 성능이 정체돼 모델 간 능력 차이를 분간하기 어려워졌다는 진단에서 출발해, 추론 중심 문항을 넣고 선택지를 4개에서 10개로 늘리고 사소하거나 잡음이 많은 문항을 제거했다. 그 결과 원본 대비 정확도가 16~33% 떨어졌고, 24가지 프롬프트 양식에 대한 점수 민감도가 4~5%에서 2%로 줄었다고 보고한다(arXiv:2406.01574).
그런데 이 대응 자체가 순환이다. 2025년의 한 논문은 그 순환에 우로보로스 — 제 꼬리를 무는 뱀 — 라는 이름을 붙였다. 모델 능력 향상과 (많은 경우) 그 데이터셋이 학습에 포함됐을 가능성이 겹쳐 결과가 포화되고, 그러면 더 어려운 대체물이 계속 필요해진다. 저자들이 던지는 질문이 이 글의 질문과 같다 — 벤치마크를 넘어섰다는 것이 정말로 추론 능력을 보인 것인가, 아니면 우리가 재겠다고 주장한 능력과 분리된 숫자를 좇고 있는 것인가(arXiv:2511.01365).
여기서 한 걸음 더 내려간다. 오염도 없고 포화도 아니라고 치자. 그런데 정답이 틀린 문항이 얼마나 있는가.
2024년의 한 연구가 널리 쓰이는 다과제 지식 벤치마크의 오류를 직접 셌다. 새 오류 주석 규약을 설계해 57개 전 과목에 걸쳐 5,700문항을 사람이 다시 주석했고, 결과는 전체 문항의 6.49%에 오류가 있는 것으로 추정됐다. 편차도 컸다 — 분석한 바이러스학 부분집합에서는 57%의 문항에 오류가 있었다. 저자들은 재주석한 부분집합으로 다시 채점했을 때 원래 보고된 성능 지표와 유의한 불일치가 나타난다는 것을 보였다(arXiv:2406.04127).
이건 언어모델만의 문제가 아니다. 2021년의 한 연구는 가장 널리 쓰이는 컴퓨터 비전·자연어·오디오 데이터셋 10개의 테스트셋에서 라벨 오류를 찾았다. 확신 학습 알고리즘으로 후보를 뽑고 크라우드소싱으로 사람이 검증했는데(알고리즘이 지목한 후보의 평균 51%가 실제로 잘못 라벨링돼 있었다), 10개 데이터셋에 걸쳐 평균 최소 3.3%의 오류가 있었고 한 대표적 이미지 데이터셋의 검증 집합에서는 최소 6%였다.
이 논문에서 가장 중요한 관측은 오류율 자체가 아니라 그것이 순위를 뒤집는다는 발견이다. 관행적으로 사람들은 테스트 정확도를 보고 어떤 모델을 배치할지 정한다. 그런데 라벨을 고친 뒤 다시 재면 순위가 달라질 수 있었다 — 원래 오라벨돼 있던 테스트 사례의 비율이 6%p만 늘어도 층이 적은 잔차망이 더 깊은 잔차망을 앞섰다. 라벨 잡음이 큰 실제 데이터에서는 용량이 작은 모델이 실용적으로 더 유용할 수 있다는 것이다(arXiv:2103.14749). 시험지의 오류는 점수를 조금 깎는 데서 끝나지 않는다. 순서를 바꾼다.
시험지의 오류에는 다른 경로도 있다. 벤치마크를 다른 언어로 옮길 때다. 2026년의 한 연구는 다섯 개 벤치마크를 20개 언어로 번역한 묶음의 번역 품질을 자동 품질 보증 절차로 감사했다. 구조 감사, 신경 지표를 이용한 품질 프로파일링, 그리고 대형 모델을 이용한 구간 단위 오류 분석의 세 단계였다. 경향은 일관됐다 — 품질 점수가 낮은 데이터셋일수록 구간 단위에서 정확성·오역 오류의 비중이 높았고, 벤치마크마다 편차가 컸다. 저자들은 자동 품질 보증이 사람의 기준을 대체하는 것이 아니라 검토 우선순위를 정하는 데 쓰이는 실용적 지표라고 선을 긋는다(arXiv:2604.01957).
그리고 문항이 "틀리지 않았는데도" 재려는 것을 안 재는 경우가 있다. 주석 아티팩트다. 2023년의 한 프리프린트는 대형 사전학습 모델이 벤치마크에서 높은 성능을 내면서도 실제로 그 과제를 "푸는" 것이 아니라 훈련·검증·테스트에 공통으로 남은 데이터셋의 흔적에 기대어 정답을 찾아내는 현상을 자연어 추론 과제에서 탐구했다. 대조 예제와 적대적 예제로 모델 성능의 한계를 드러내고, 주석자가 훈련 데이터를 만든 방식에서 생긴 편향 하나를 보인 뒤, 이를 교정하는 데이터 증강 기법을 제안했다(arXiv:2302.04700).
여기서 다음 축으로 넘어가는 다리가 놓인다. 아티팩트에 기대어 정답을 맞히는 모델은 문항을 틀리지 않았다. 다만 우리가 재려던 것을 하지 않았을 뿐이다.
여기가 이 글의 중심이다. 앞의 세 축은 모두 "이 시험이 제대로 시행됐는가"를 묻는다. 네 번째 축은 다른 질문을 던진다. 이 시험이 이름표에 적힌 그것을 재는가.
심리측정학에는 이 질문에 붙은 이름이 있다. 구인타당도(construct validity)다. 지능이나 불안 같은 것은 자로 직접 재지 못한다. 문항을 만들어 응답을 받고, 그 응답이 재려는 개념을 대표한다고 가정한다. 그 가정이 타당한지 따지는 것이 구인타당도다. "추론 능력", "안전성", "언어 이해" 같은 말은 정확히 이런 종류의 개념이다. 그런데 벤치마크 이름에는 이런 단어가 아무 유보 없이 들어간다.
2025년의 한 프리프린트가 이 틀을 기계학습 벤치마킹 전반에 적용했다. 논지는 이렇다. 예측 성능과 경쟁적 순위에 기반한 벤치마킹은 기계학습의 중심적 인식 실천이지만, 벤치마크 점수는 기껏해야 특정 평가 데이터셋과 구체적인 학습 문제에 상대적인 성능의 측정치다. 여기서 이미지 분류 같은 이론적 과제에 대한 실질적 과학 추론을 끌어내려면 학습 문제의 이론적 구조, 평가 함수, 데이터 분포에 관한 추가 가정이 필요하다. 저자들은 심리측정 이론에서 영감을 얻어 그 가정들을 구인타당도 조건으로 명시화하고, 컴퓨터 비전의 공학적 진보 측정, 정책에 쓰이는 기상 예측 평가, 생애 사건 예측 가능성의 한계라는 세 사례로 이를 검토했다(arXiv:2510.23191).
그 조건들이 실제로 얼마나 지켜지고 있을까. 2025년의 한 체계적 리뷰가 이를 셌다. 29명의 전문 검토자로 팀을 꾸려 자연어처리·기계학습 주요 학회에서 나온 445개의 언어모델 벤치마크를 검토한 결과, 측정하려는 현상, 과제, 채점 지표와 관련해 결과 주장의 타당성을 훼손하는 패턴들이 발견됐다. 저자들은 이를 바로잡기 위한 여덟 가지 핵심 권고와 실행 지침을 제시했다(arXiv:2511.04703).
추상적으로 들린다면 구체적 사례가 있다. 인과추론 벤치마크를 검토한 2024년의 리뷰는 이렇게 적는다. 언어모델의 인과 추론 능력을 평가하겠다는 벤치마크가 다수 나와 있는데, 그중 많은 것이 도메인 지식의 검색만으로도 풀릴 가능성이 높다. 그렇다면 그 벤치마크가 목적을 달성하는지 의문이라는 것이다. 저자들은 개입적·반사실적 추론을 포함하려는 최근의 흐름을 짚고, 유용한 벤치마크가 만족해야 할 기준 집합을 도출한다(arXiv:2407.08029). "인과추론 점수"라는 이름이 붙은 숫자가 실은 지식 검색 점수일 수 있다는 뜻이다.
의학 쪽에도 같은 문제 제기가 있다. 2025년의 한 입장 논문은 의료 언어모델 연구가 임상 지식을 부호화한다거나 의사처럼 추론한다는 대담한 주장을 하고 그 근거로 경쟁 벤치마크 성적을 대는데, 그 벤치마크들이 대체로 의사면허시험 문항으로 임의 구성돼 있다고 지적한다. 저자들은 실제 임상 데이터를 써서 널리 쓰이는 의료 벤치마크들의 구인타당도를 개념 증명 수준에서 평가했고, 유의한 격차를 보고했다(arXiv:2503.10694). 면허시험을 잘 보는 것과 진료를 잘하는 것이 같은 일이 아니라는 것은 사람에 대해서도 이미 우리가 아는 사실이다.
구인타당도를 어떻게 확립할 것인가에 대해서는 문헌 안에서도 합의가 없다. 2026년의 한 논문은 세 가지 영향력 있는 틀을 대조한다 — 크론바흐와 미일의 법칙망(nomological) 관점, 메식이 제안하고 케인이 정련한 추론적(inferential) 관점, 보스붐의 인과적(causal) 관점. 저자는 현재의 언어모델 능력 연구에는 법칙망 관점이 가장 적합한 토대를 준다고 주장하는데, 인과적 관점의 강한 존재론적 개입을 피하면서 추론적 관점보다 구인의 의미를 서술할 실질적 틀을 준다는 이유에서다(arXiv:2603.15121). 이것이 아직 논쟁 중인 문제라는 사실 자체가 이 축의 상태를 말해 준다. 타당성을 어떻게 논증하는지에 대한 합의가 없는 채로 타당성 주장이 매일 나오고 있다.
정량화 시도도 있다. 2026년의 한 연구는 벤치마크 점수 뒤에 놓인 능력을 식별하기 위해 사회과학의 잠재요인 모형과 기계학습의 규모 법칙을 각각 검토하는데, 둘 다 구인타당도에는 만족스럽지 않다고 본다. 잠재요인 모형은 규모 법칙을 무시해서 추출한 능력이 모델 크기의 대리변수가 되곤 하고, 규모 법칙은 측정 오차를 무시해서 추출한 능력이 해석 불가능하며 관측된 벤치마크에 과적합한다. 저자는 둘을 결합한 구조적 능력 모형을 제안하고, 한 공개 리더보드의 대규모 결과에 적합시켜 검정한다(arXiv:2602.15532).
측정 목표를 명시하자는 제안도 있다. 2024년의 한 프리프린트는 국제 임상시험 지침에서 가져온 추정목표(estimands) 틀을 제안한다. 벤치마크 성능이 실제 응용에서의 성능과 상관이 낮을 수 있다는 것 자체가 구인타당도 문제라고 규정하고, 추론과 보고에 체계적 구조를 주어 무엇을 추정하려는지를 잘 정의하자는 것이다. 저자들은 교차검증·군집화 평가·언어모델 벤치마킹 사례에서 성능 차이가 클 때조차 경쟁 모델의 순위가 높은 확률로 뒤집힐 수 있음을 보인다(arXiv:2406.10366).
마지막으로 이 축을 사회기술적 맥락까지 넓힌 메타리뷰가 있다. 지난 10년간 나온 약 100편의 연구를 종합한 이 리뷰는 데이터셋 생성의 편향, 불충분한 문서화, 데이터 오염, 신호와 잡음을 구분하지 못하는 문제 같은 세부 쟁점을, 텍스트 모델을 일회성 시험 논리로 평가하는 데 치우쳐 있다는 더 넓은 쟁점과 함께 놓는다. 그리고 어긋난 인센티브, 구인타당도 문제, 알려지지 않은 미지(unknown unknowns), 벤치마크 결과의 게이밍 같은 체계적 결함을 짚으면서, 벤치마킹 관행이 문화적·상업적·경쟁적 역학에 의해 근본적으로 형성되며 그 역학이 종종 더 넓은 사회적 관심사보다 최고 성능을 우선시한다고 지적한다(arXiv:2502.06559).
인센티브 이야기가 나왔으니 오래된 문제 하나를 여기 붙여 둔다. 참가자가 같은 홀드아웃 집합에 반복해서 제출하면 그 집합에 과적합하기 시작한다. 이건 언어모델 이전부터 알려진 문제로, 2015년의 한 논문은 이 추정 문제가 순차적이고 적응적이라는 점이 어려움의 핵심이라고 짚으면서 완전 적응적 추정 모형에서 이론적 보장을 갖는 리더보드 알고리즘을 제안했다(arXiv:1502.04585). 같은 해 다른 논문은 리더보드가 해킹이나 과적합으로 금세 부정확해진다는 문제를 다루며 이를 막을 두 가지 조언을 제시하고, 그 조언을 따르면 결국 그런 종류의 알고리즘이 불가피해진다는 결론에 이른다고 적는다(arXiv:1510.03349). 시험이 목표가 되는 순간 시험은 시험이기를 조금씩 그만둔다.
객관식 문항은 채점이 쉽다. 그런데 요즘 평가의 상당 부분은 열린 생성물에 대한 판정이다. 요약이 좋은가, 답이 도움이 되는가. 여기에는 채점자가 필요하고, 사람 채점자는 비싸고 느리다. 그래서 언어모델에게 채점을 맡긴다.
이 전환의 속도는 실측돼 있다. 2026년의 한 메타분석은 네 개 주요 학회의 14,171편에서 구조화된 메타데이터를 뽑아 그중 자연어 생성 관련 3,334편을 분석했는데, 모델을 심판으로 쓰는 방식이 2025년에는 사람 평가보다 더 많은 논문에 등장했다고 보고한다. 동시에 세 가지 체계적 문제를 짚는다. 열린 생성으로 옮겨 갔는데도 오래된 어휘 기반 지표가 주 지표로 남아 있는 관성, 범용 자동 지표가 생성의 어느 차원을 재는지 명시하지 않은 채 품질의 광범위한 대리로 쓰이는 문제, 그리고 모델 심판의 급속한 확산에 사람 검증이 따라붙지 못한 격차 — 관련 논문의 8% 미만만이 사람 검증을 했다. 저자들은 심판 방식이 총량적 품질과는 상관되지만 유창성 같은 세부 기준에서는 정렬이 무너진다고 보고한다(arXiv:2601.07648).
기계 심판에 어떤 편향이 있는지는 꽤 조사돼 있다. 위치 편향 — 프롬프트 안의 위치에 따라 답을 선호하는 경향 — 을 다룬 연구는 15개 심판 모델을 두 벤치마크의 22개 과제, 약 40개 생성 모델에 걸쳐 시험해 15만 건이 넘는 평가 사례를 만들었다. 결과는 위치 편향이 우연에 의한 것이 아니며 심판과 과제에 따라 크게 달라진다는 것이었다. 프롬프트 구성 요소의 길이에는 약하게 영향받았지만 두 답안의 품질 격차에는 강하게 영향받았다(arXiv:2406.07791). 즉 편향은 판정이 애매할 때 가장 크게 작동한다 — 하필 우리가 판정을 가장 필요로 하는 자리다.
자기선호 편향도 측정됐다. 2024년의 한 연구는 이를 정량화할 지표를 제안하고, 모델이 자기에게 더 익숙한 — perplexity가 낮은 — 출력에 사람 평가자보다 유의하게 높은 점수를 준다는 것을 보였다. 흥미로운 것은 그 출력이 자기가 생성한 것인지 여부와 무관하게 이 경향이 나타났다는 점이다. 즉 편향의 본질은 "자기 것"이 아니라 "익숙함"에 있다는 해석이다(arXiv:2410.21819). 편향을 망라적으로 훑은 다른 연구는 12종의 잠재적 편향을 식별하고 원리에 따른 자동 수정으로 각각을 정량화하는 틀을 제안했으며, 전반적 성능이 좋은 모델에서도 특정 과제에서는 유의한 편향이 남아 있다고 보고한다(arXiv:2410.02736).
가장 날카로운 지적은 심판 검증 방식 자체를 겨눈다. 2026년의 한 대규모 연구는 실무에서의 심판 검증이 정확 일치 일치도에 의존하는데 이 지표가 우연을 보정하지 않아 변별력을 체계적으로 과대평가한다고 지적한다. 아홉 개 제공자의 21개 심판을 세 벤치마크에서 세 가지 규약(일치도·일관성·편향 감사)으로 118회 돌려 약 54만 1,000건의 개별 판정을 모은 결과, 네 가지가 관측됐다. 정확 일치와 코헨의 카파 사이의 카파 감쇠는 보편적이었다(한 벤치마크에서 33~41%p). 심판의 순위는 벤치마크에 따라 최대 14계단까지 이동했다. 재검사 신뢰도가 0.95를 넘는 심판이 동시에 심각한 위치 편향을 보이는 "일관성–편향 역설"이 실제 배치된 심판 두 곳에서 관측됐다. 그리고 이들 표본에서 장황함 편향은 작았다. 신뢰도가 높다는 것과 타당하다는 것은 다른 말이다 — 같은 답을 꾸준히 내는 저울도 영점이 틀려 있을 수 있다(arXiv:2606.19544).
같은 판정을 반복하면 같은 값이 나오는가. 2026년의 한 연구가 이를 정면으로 쟀다. 10개 범주 29개 과제에서 두 심판 모델로 문항당 쌍대 비교 50회, 점수 매기기 50회를 반복한 결과, 쌍대 선호가 평균 13.6% 뒤집혔고 28%의 문항에서는 뒤집힘 비율이 20%를 넘었으며 어떤 문항은 56%에 달했다. 심판 간 일치도는 76%(κ=0.51)였고, 의미가 같은 프롬프트 템플릿으로 바꾸면 시험한 사례의 25%에서 다수결 결과가 바뀌었다. 결정론적 디코딩은 불일치를 줄이지만 없애지는 못했다. 저자들의 신뢰도 곡선 분석에 따르면 다수결이 50회 기준 판정을 95% 확률로 복원하려면 평균 11회의 반복이 필요했다(분산이 큰 문항은 15회). 저자들은 단일 시행 판정이 고위험 평가에는 대체로 너무 잡음이 많다고 결론짓고, 두 심판이 한 제공자 소속이라 제공자 간 재현이 다음 과제로 남는다는 한계도 스스로 밝힌다(arXiv:2606.13685).
여기서 균형을 잡아야 한다. 기계 심판을 비판할 때 암묵적 기준점은 "사람 평가"인데, 사람 평가가 그 기준점 노릇을 할 만큼 잘 정의돼 있지 않다.
2021년의 한 논문은 이를 "거대한 미정렬 문제"라고 불렀다. 문제 정의가 제안된 방법과 어긋나 있고, 사람 평가가 그 정의와도 방법과도 어긋나 있다는 것이다. 한 주요 학회의 2020년 논문 중 사람 평가 결과를 보고한 10편을 무작위로 뽑아 조사한 결과, 정의·방법·평가가 완전히 정렬된 논문은 한 편뿐이었고, 방법에서 모형화한 것과 정렬된 사람 평가를 제시한 논문은 두 편뿐이었다(arXiv:2104.05361). 표본이 10편이라는 점은 저자들도 밝히고 있으니 비율을 그대로 일반화할 수는 없다. 다만 그 10편을 실제로 열어 본 결과가 그랬다는 것이다.
재현 가능성은 더 어둡다. 2023년의 한 논문은 자연어처리 분야의 기존 사람 평가 중 재현 연구에 적합한 것을 찾으려 시도한 과정을 보고한다. 결과는 재현 장벽이 충분히 낮고 필요한 정보를 얻을 수 있어 재현 후보가 될 만한 논문이 13%에 불과했고, 재현 대상으로 고른 실험도 한 건을 빼고 전부 결함이 있어 재현을 수행하는 것의 의미가 의심스러웠다는 것이다. 저자들은 연구 설계를 "재현"에서 "표준화 후 두 번 재현"으로 바꿔야 했고, 대다수의 사람 평가가 반복 불가능하거나 재현 불가능하거나 재현할 가치가 없을 만큼 결함이 있다는 결론을 스스로 "암울한 그림"이라고 부른다. 그러면서 같은 문장에서 이것이 사람 평가를 다시 설계할 기회라고도 적는다(arXiv:2305.01633). 창의적 생성 시스템의 사람 평가 관행을 조사한 다른 연구도 평가 목표의 명확한 정의, 가능한 한 구체적인 질문, 평가 설정의 사전 시험, 전 과정과 잠재적 편향의 명확한 보고를 권고 목록에 올린다(arXiv:2108.00308).
그러니 이 축의 정직한 진술은 "기계 심판이 사람보다 못하다"가 아니다. 우리는 사람 채점자들이 서로 얼마나 일치하는지도 잘 모르고, 사람 평가의 재현 가능성도 확립돼 있지 않다. 기계 심판은 그 흔들리는 바닥 위에 얹힌 층이다.
그리고 기계 심판이 기존 자동 지표보다 나은 영역도 실제로 있다. 소프트웨어 공학 과제에서 모델 심판 방식과 사람 판정의 정렬을 조사한 2025년의 연구는, 판정을 직접 출력하게 하는 방식이 코드 번역과 코드 생성에서 사람 점수와 각각 81.32, 68.51의 피어슨 상관(논문 표기)을 보여 기존 지표 중 좋은 편에 속하는 것(각각 34.23, 64.92)을 눈에 띄게 앞섰다고 보고한다. 점수 분포도 사람의 분포와 더 닮았다(arXiv:2502.06193). 문제는 심판이 쓸모없다는 것이 아니라, 얼마나 믿을지를 정할 근거가 과제마다 따로 필요하다는 것이다.
마지막 축은 가장 기본적이다. 같은 모델을 같은 벤치마크로 다시 재면 같은 값이 나오는가.
널리 쓰이는 평가 하네스를 3년간 개발한 팀이 남긴 기록이 이 질문에 대한 현장 보고다. 저자들은 평가 설정에 대한 모델의 민감성, 방법 간 제대로 된 비교의 어려움, 재현성과 투명성의 부재를 방법론적 문제로 열거하고, 관행과 통념에 관한 정보가 파편화되고 사일로화되어 어려움이 가중된다고 적는다. 이들이 한 일 중 하나는 언어모델 평가를 둘러싼 암묵지 내지 통설을 성문화하려 한 것이다(arXiv:2405.14782). 평가에 관한 지식의 상당 부분이 논문이 아니라 사람의 머릿속에 있었다는 뜻이다.
프롬프트 하나만 바꿔도 점수가 흔들린다는 것은 위에서 이미 봤다 — 한 벤치마크의 개선판이 24가지 프롬프트 양식에 대한 민감도를 4~5%에서 2%로 줄였다는 보고가 그것이다(arXiv:2406.01574). 뒤집어 읽으면, 개선 전에는 프롬프트 양식만 바꿔도 점수가 그만큼 움직였다는 말이다. 시드에 따른 분산과 학습 도중의 비단조성도 측정돼 있다(arXiv:2406.10229).
관행 차원의 조사도 있다. 2025년의 한 연구는 2017~2025년 사이 주요 학회에 실린 640편의 논문을 체계적으로 수집해 재현성 실천을 분석했다. 아티팩트 가용성, 환경 명세, 버전 관리 엄밀성, 문서화 명확성에서 지속적인 공백이 확인됐고, 특히 아티팩트 평가 배지가 아티팩트의 존재를 알릴 뿐 실행 충실도나 장기 재현성을 일관되게 보장하지는 않는다는 관측이 나왔다(arXiv:2512.00651). 재현성을 인증하는 표지 자체가 재현성을 인증하지 못한다는 것이다.
리더보드 운영 자체를 조사한 연구도 있다. 다섯 개 출처에서 최대 1,045개의 리더보드를 모아 문서를 살피고 운영자와 직접 소통해 워크플로를 파악한 결과, 다섯 가지 워크플로 패턴과 여덟 가지 유형의 "리더보드 냄새"가 식별됐다. 평가·비교의 표준화된 지침이 없다는 것이 투명성을 위협하고 이해관계자의 선택 능력을 제약한다는 진단이다(arXiv:2407.04065).
여섯 개의 축을 지나오면 자연스러운 반응은 냉소다. 그런데 냉소는 이 문헌이 실제로 하고 있는 일이 아니다. 위에서 인용한 논문들은 대부분 문제를 지적하는 데서 멈추지 않고 다음 자를 제안한다. 다섯 갈래로 나눌 수 있다.
동적 평가. 시험지가 고정돼 있어서 오염되고 포화된다면, 시험지를 계속 새로 만들면 된다. 2021년의 한 플랫폼은 사람과 모델을 고리 안에 넣는 데이터셋 생성을 지원한다. 주석자가 대상 모델은 틀리지만 다른 사람은 틀리지 않을 예제를 만들려 시도하는 방식이다. 저자들은 동시대 모델이 벤치마크 과제에서는 뛰어난 성능을 내면서도 단순한 도전 예제에서 실패하고 실세계 시나리오에서 흔들린다는 점을 지적하며, 데이터셋 생성·모델 개발·모델 평가가 서로에게 직접 정보를 주는 구조를 제안했다(arXiv:2104.14337). 정적에서 동적으로의 전환을 개관한 2025년의 서베이는 정적 벤치마크를 강화하는 방법들의 내재적 한계를 짚고, 결정적 공백이 동적 벤치마크를 평가할 표준화된 기준의 부재라고 지목한다. 즉 새 자를 만들었는데 그 자를 검사할 자가 아직 없다(arXiv:2502.17521).
오염을 견디는 설계. 2024년의 한 벤치마크는 의도치 않은 유출과 의도적 유출을 나눠 대응한다. 전자에는 더 넓은 도메인에서 데이터를 가져오고 세 가지 오염 제거 규칙을 설계했고, 후자에는 난이도와 과목 분포가 비슷한 검증 집합과 테스트 집합으로 나눠 검증 집합만 공개하고 테스트 집합은 비공개로 유지했다(arXiv:2412.15194). 그런데 앞서 본 포화 연구는 포화 내성에 영향을 준 것이 전문가 큐레이션이었고 테스트 데이터의 공개 여부는 아니었다고 관측했다(arXiv:2602.16763). 두 결과가 곧바로 모순되는 것은 아니다 — 하나는 오염을, 다른 하나는 포화를 본다. 다만 "비공개가 답이다"라는 결론이 아직 이르다는 것은 분명하다.
심리측정으로 돌아가기. 교육 측정에는 이미 이 문제를 다루는 도구가 있다. 문항반응이론은 문항마다 난이도와 변별도가 다르다고 보고 응답 패턴에서 잠재 능력을 추정한다. 2025년의 한 프레임워크는 피셔 정보에 따라 문항을 골라 능력을 추정하는 적응형 검사를 적용해 필요한 문항 수를 최대 90%까지 줄였다고 보고한다. 더 흥미로운 것은 정확도가 같은 대상들 사이에서 능력 추정이 갈렸다는 관측이다 — 3,000개가 넘는 평가 대상 중 23~31%가 10계단 넘게 순위가 이동했다(arXiv:2511.04689). 다른 연구는 문항반응 모형으로 성능을 잠재 능력 공간에 대응시키는 것이 타당도를 높이고 동적 문항 선택이 분산을 줄인다는 식으로 두 구성 요소의 효과를 분리해서 보고한다(arXiv:2509.11106). 평가 비용을 줄이는 방향도 있다. 2024년의 한 연구는 14,000문항 규모의 벤치마크에서 성능을 정확히 추정하는 데 잘 고른 100문항이면 충분하다고 보고하고 축소판 도구를 공개했다(arXiv:2402.14992). 다만 앞서 본 분산 연구는 문항 분석과 문항반응이론이 분산을 의미 있게 줄이는 데 고전했다고 보고했다(arXiv:2406.10229) — 이 대안 역시 만능이 아니라는 반대 증거가 문헌 안에 함께 있다.
드문 실패를 겨냥한 표집. 포화한 벤치마크에서 신뢰성을 재려면 정확도 대신 실패율을 봐야 하고, 그러려면 실패가 몰리는 입력에 표집을 집중해야 한다는 접근이 있다(arXiv:2605.11209). 통계 위생 쪽에서는 작은 벤치마크에서 중심극한정리 대신 쓸 수 있는 방법들이 제안돼 있다(arXiv:2503.01747).
점수에 유통기한을 붙이기. 이 문헌에서 가장 개념적으로 깔끔한 제안 중 하나는 2026년의 입장 논문이다. 평가가 자동 지표, 모델 심판, 사람 평가, 벤치마크 결과 같은 여러 신호를 섞어 쓰는데 이것들을 평균으로 합치면 평가 신뢰도가 가장 약한 신호의 신뢰도를 크게 넘어설 수 있다는 것이다. 저자들은 이를 "신뢰 팽창"이라 부르고, 평가 점수를 세 성질을 갖는 인식적 주장으로 다루자고 제안한다. 형식성(사람 평가가 자동 지표보다 강한 증거다), 범위(벤치마크 결과는 시험된 분포에 적용되지 보편적으로 적용되지 않는다), 그리고 타당 기간(오염이 누적되고 분포가 이동하면 벤치마크 결과는 만료된다). 논문은 평가 결과가 형식성 등급·범위 선언·만료일이라는 메타데이터를 명시적으로 달고 다녀야 한다고 주장하며, 평균 합산의 비용을 한 공개 리더보드에서 예시한다 — 54개 모델과 열 개 시나리오에서 평균 점수로 뽑은 상위 다섯과 최약 신호로 뽑은 상위 다섯이 하나도 겹치지 않았다(arXiv:2607.26191).
벤치마크를 벤치마킹하기. 2026년의 한 연구는 벤치마크 자체를 세 축으로 감사하는 지수를 제안한다. 잡음을 넘어 모델을 얼마나 날카롭게 가르는가(변별력), 천장 효과가 해상도를 갉아먹기 전까지 남은 여유가 얼마인가(반포화), 학계와 산업 생태계에 얼마나 영향을 미치는가(영향력). 저자들은 여러 모델의 기술 보고서에서 106개 벤치마크를 추려 평가 지형을 특징짓는다(arXiv:2602.11674). 방향은 같지만 더 급진적인 제안도 있다. 정적 벤치마크는 배치 시의 허용 범위에 대한 확신을 주지 못한 채 필연적으로 포화하는데도 개발자들은 그 결함 있는 지표를 근거로 추론이나 개방형 언어 이해 같은 일반화된 특질을 주장한다는 진단에서 출발해, 배치 상황의 성능을 예측하는 벤치마크를 만드는 방법 자체를 연구하는 분과("모델 계측학")를 세우자는 것이다(arXiv:2407.16711).
이 글을 관통하는 구분은 하나다. "재는 일이 어렵다"와 "잴 수 없다"는 다르다.
앞의 것은 이 문헌 전체가 말하고 있는 것이다. 뒤의 것은 아무도 말하지 않는다. 445개 벤치마크를 검토한 팀은 여덟 가지 권고로 끝맺었고(arXiv:2511.04703), 오염 탐지가 무작위 추측 수준일 수 있다고 보고한 팀은 더 견고한 오염 평가 연구가 시급하다고 적었고(arXiv:2409.09927), 사람 평가의 재현 불가능성을 "암울한 그림"이라 부른 팀은 같은 문장에서 그것이 다시 설계할 기회라고 적었다(arXiv:2305.01633). 자를 의심하는 사람들은 자를 버리자는 사람들이 아니다. 오히려 자를 가장 열심히 만드는 사람들이다.
그렇다면 점수를 어떻게 읽어야 하는가. 이 문헌에서 끌어낼 수 있는 습관은 세 가지다.
첫째, 점수를 사실이 아니라 주장으로 읽는다. 어떤 분포에서 잰 것인지, 언제 잰 것인지, 채점자가 누구인지가 붙어 있지 않은 점수는 범위와 유통기한을 숨긴 주장이다(arXiv:2607.26191).
둘째, 차이를 잡음과 비교한다. 두 숫자의 차이가 의미 있는지는 그 벤치마크의 분산을 모르면 판정할 수 없다(arXiv:2406.10229). 그리고 작은 벤치마크에서는 표준적인 오차 막대가 불확실성을 과소평가할 가능성이 크다(arXiv:2503.01747).
셋째, 이름과 측정 대상을 분리한다. 벤치마크 이름에 "추론"이 들어 있다는 사실은 그것이 추론을 잰다는 증거가 아니다. 그 연결은 논증돼야 하고, 그 논증의 이름이 구인타당도다(arXiv:2510.23191).
그리고 정직하게 미해결로 남겨야 할 것들이 있다.
오염 탐지에는 오라클이 없다. 어떤 모델이 무엇을 학습했는지에 대한 참값을 우리는 대개 모른다. 학습 말뭉치가 전면 공개되지 않기 때문이기도 하고, 모델이 개별 사례를 외우기보다 분포를 학습할 수 있어서 "봤다/안 봤다"라는 이분법 자체가 잘 정의되지 않기 때문이기도 하다(arXiv:2410.18966). 참값을 모르는 채로 탐지기를 검증하는 문제는 열려 있다(arXiv:2409.09927).
사람 평가라는 기준점이 흔들린다. 기계 심판의 편향을 재려면 사람 판정을 기준으로 삼아야 하는데, 사람 평가 자체의 정렬과 재현성이 확립돼 있지 않다(arXiv:2104.05361, arXiv:2305.01633). 이 순환을 어떻게 끊을지는 미해결이다.
구인타당도의 이론적 토대에 합의가 없다. 어떤 틀로 능력과 측정을 연결할 것인지가 이 문헌 안에서 여전히 논쟁 중이다(arXiv:2603.15121). 그 위에서 "이 벤치마크는 타당하다"고 말하려면 무엇을 보여야 하는지도 따라서 미정이다.
새 자에도 자가 필요하다. 동적 벤치마크를 평가할 표준 기준이 없고(arXiv:2502.17521), 심리측정 도구가 분산 문제를 반드시 줄여 주지도 않는다(arXiv:2406.10229). 벤치마크를 벤치마킹하려는 시도(arXiv:2602.11674)는 이 회귀의 다음 항이지 종착점이 아니다.
마지막으로 이 글 자신에게 같은 잣대를 댄다. 여기 인용한 문헌은 전부 arXiv 공개본이고 이 글은 그중 어느 것이 동료심사를 통과했는지 확인하지 않았다. 그 안의 수치들은 각 연구가 자기 설정에서 관측해 스스로 보고한 값이다. 서로를 검증한 것이 아니라 각자 자기 자리에서 잰 것이다. 이 글이 다른 곳에서 요구한 것 — 범위를 밝히고, 시점을 밝히고, 근거의 등급을 밝히라는 것 — 은 이 글에도 똑같이 적용된다.
숫자를 믿지 말라는 말이 아니다. 숫자가 무엇을 믿어 달라고 요구하고 있는지를 보라는 말이다. 점수 옆에는 늘 보이지 않는 문장이 하나 붙어 있다. "이 시험지로, 이 채점자가, 이때 재었을 때." 그 문장을 소리 내어 읽는 순간, 같은 숫자가 다른 크기로 보인다.