채점자도 언어모델이다 — 그 판정을 어디까지 믿을 수 있는가

같은 질문을 쉰 번

답 두 개를 나란히 놓고 "어느 쪽이 낫냐"고 물었습니다. 같은 질문, 같은 채점자, 같은 설정으로 쉰 번입니다. 채점자는 언어모델, 곧 글을 받아 그 뒤에 이어질 글을 내놓는 모델이었습니다.

평균 13.6%의 시도에서 승자가 뒤집혔습니다. 질문의 28%는 뒤집힌 비율이 20%를 넘었고, 어떤 질문 하나는 56%였습니다. 논문 제목이 "동전 던지기 심판?"인 이유입니다.

시험한 채점자 둘 가운데 하나는 질문별 다수결에서 먼저 제시된 답을 고른 경우가 72%였습니다. 뜻이 같고 표현만 다른 지시문으로 바꾸자, 시험한 사례의 25%에서 다수결 결과가 달라졌습니다. 서로 다른 두 채점자의 판정은 76%만 겹쳤습니다. 무작위 뽑기를 끄는 설정도 흔들림을 줄였을 뿐 없애지는 못했습니다.

쉰 번 물어 얻은 기준 판정을 95% 확률로 되찾으려면, 이 연구의 자료에서는 평균 열한 번을 물어 다수결로 정해야 했습니다. 저자들은 한 번만 묻는 채점은 중요한 평가에 쓰기에 흔히 너무 흔들린다고 적습니다. 다만 채점자 둘이 모두 한 회사 모델이라 다른 회사 모델에서의 재현은 남았다고 저자들이 직접 적습니다 (arXiv:2606.13685, 프리프린트).

모델 심판(LLM-as-a-judge)은 채점을 맡은 언어모델입니다. 「점수는 올랐다. 그런데 무엇이 올랐나」에서 같은 뜻으로 쓴 이름이고, 영어 이름을 따 LLM 심판이라고도 부릅니다. 이 글에서 '심판'은 모두 모델 심판을 가리키고, '채점자'는 사람과 모델을 함께 이르는 말입니다. 심판은 답 두 개 중 나은 쪽을 고르거나 답 하나에 점수를 매깁니다. 그 판정은 모델의 답에 순위를 매기고, 모델을 학습시킬 때 쓰는 점수판을 만들고, 공개 순위표를 채우는 데 쓰입니다 (arXiv:2606.13685). 모델이 공격에 얼마나 버티는지 재는 안전 평가에서도 답이 해로운지 판정하는 자리에 심판이 앉습니다 (arXiv:2603.06594).

「검색을 붙이면 환각이 사라지는가 — RAG가 고치는 것과 못 고치는 것」과 「곱셈으로는 모른다 — 에이전트는 긴 작업의 어디에서 무너지는가」에도 모델 심판에게 채점을 맡긴 연구가 나옵니다. 이 글은 그 채점 자체를 묻습니다.

이 글은 좋은 심판 모델을 고르지 않고, 심판이 무엇에 흔들리고 어느 쪽으로 쏠리는가를 봅니다. 인용한 연구의 다수는 프리프린트입니다. 프리프린트는 다른 연구자의 심사를 거치기 전에 공개한 논문입니다. 심사를 거쳐 학술지에 실린 논문은 '심사 지면'으로 표시했습니다.

겉보기 일치가 높아도 우연일 수 있다

터키어 이야기 데이터셋에서는 장면마다 창작 기법 여섯 가지가 쓰였는지를 규칙 프로그램이 자동으로 표시해 두었고, 연구자들은 사람이 그 표시에 동의하는지 물었습니다. 갈린 것은 감정을 눈에 보이는 사물로 바꿔 보여 주는 기법이었습니다. 장면 100개 가운데 기계 채점자 다섯(규칙 프로그램 하나와 언어모델들)이 이 기법이 쓰였다고 표시한 장면 수는 0, 1, 40, 72, 78이었습니다. 같은 100개를 본 사람은 9개라고 답했습니다.

그런데 이 연구의 두 장면 묶음과 두 사람 기준을 통틀어 보면, 기계와 사람의 판정이 그냥 겹친 비율은 74.7%에서 84.5% 사이였습니다. 이 겉보기 일치에는 우연히 맞은 몫이 섞여 있습니다.

카파는 두 채점자의 판정이 겹친 비율에서, 아무렇게나 찍어도 우연히 맞았을 몫을 뺀 일치도입니다. 우연 수준이면 0 근처이고, 완전히 일치하면 1입니다. 원리만 보면, 100장면 중 사람이 9개만 해당한다고 표시했을 때 기계 채점자가 눈 감고 "안 쓰였다"만 골라도 둘의 판정은 90% 넘게 겹칩니다. 그 몫을 빼자 두 장면 묶음과 두 사람 기준 모두에서, 여섯 기계 채점자 중 다섯의 카파가 0.004, 0.015, 0.000, 0.019, 0.027이었습니다. 우연과 구별되지 않는 값입니다. 저자들은 높은 겉보기 일치를 능력의 신호로 보지 않고, 한쪽 답이 압도적으로 많은 데서 나온 산물로 봅니다 (DOI: 10.2139/ssrn.7217178, 프리프린트).

앞 절의 76%도 카파로 고치면 0.51로, 우연보다는 낫지만 절반 남짓입니다 (arXiv:2606.13685). 단순 일치율이 판별력을 부풀린다는 지적은 「점수는 올랐다. 그런데 무엇이 올랐나」에도 있습니다.

터키어 연구의 저자들은 이 결과를 하나의 이야기로 정리하지 않습니다. 자료와 맞는 해석이 둘 남습니다. 그 기법이 행간을 읽어야 잡히는 성질이라 지금의 자동 판정이 닿지 못한다는 해석, 그리고 그 기법의 정의가 아직 누구도 일관되게 적용할 만큼 정밀하지 않다는 해석입니다. 뒤의 해석이 맞다면 사람 채점자도 제대로 잡지 못한 것입니다. 둘을 가르려면 독립된 두 번째 사람 채점자가 필요한데 이 연구에는 없었고, 그래서 저자들은 어느 쪽도 주장하지 않습니다.

사람 채점자끼리도 완전히 맞지는 않습니다. 2024~2025년에 나온 임상 언어모델 연구 66편을 체계적으로 검토한 리뷰에서, 상당수는 사람 채점자 사이의 일치도를 아예 보고하지 않았습니다. 보고한 연구에서도 카파는 흔히 0.40에서 0.80 사이였습니다. 저자들은 그래서 "전문가 수준"에 이르렀다는 많은 모델이 전문가 기준에 섞인 잡음까지 따라 맞히고 있는 것일 수 있다고 적습니다. 결론은 지금의 평가 표준으로는 모델이 사람을 넘어섰다는 주장을 뒷받침할 수 없다는 것입니다 (DOI: 10.21203/rs.3.rs-10047888/v1, 프리프린트·리뷰). 저자들은 사람 판정의 흔들림을 일치도로 재지 않으면 모델이 닿아야 할 상한도 정할 수 없다며, 임상 AI 연구에 그 일치도 보고를 의무로 두자고 제안합니다.

채점자를 재는 도구도 대부분 원래 사람 채점자를 재던 것입니다. 카파 같은 일치도와, 채점자가 얼마나 후하고 박한지나 얼마나 잘 가려내는지를 따로 재는 방법들입니다. 모두 심리측정학, 곧 사람의 능력과 판정을 숫자로 재는 학문이 쌓아 온 것입니다. 재는 자를 새로 만든 것이 아니라 재는 대상이 사람에서 모델로 바뀌었습니다. 예외는 모델 내부를 직접 들여다보는 한 갈래이고, 뒤에서 봅니다.

르완다 보건요원들이 올린 임상 질문의 답을 모델 심판 다섯과 임상의 여섯이 열한 개 항목으로 채점했습니다. 가장 잘한 심판도 사람과 대등한 판정을 낸 항목은 열한 개 중 네 개였고, 심판 여럿을 묶어 배심으로 만들자 하나가 늘었습니다. 어떤 모델은 일관되게 후했고 어떤 모델은 일관되게 박했습니다. 입력 언어를 영어에서 키냐르완다어로 바꾸자 성능과 비용 효율이 함께 떨어졌습니다. 저자들은 심판이 가능성을 보였지만 언어·문화 맥락을 다루지 못하는 것이 결정적 한계라고 결론짓습니다 (DOI: 10.1038/s41746-026-02992-w, 심사 지면). 같은 연구의 프리프린트는 필요한 것이 더 나은 심판만이 아니라, 임상 AI 평가에서 "옳음"을 무엇으로 볼지에 대한 근본적인 재고일 수 있다고 덧붙입니다. 지금 그 기준이 서로 크게 어긋나는 임상의들의 채점에 놓여 있기 때문입니다 (DOI: 10.1101/2025.10.27.25338910, 프리프린트).

판정을 흔드는 것은 이미 목록으로 나와 있다

첫째는 답이 놓인 자리입니다. 「AI의 오류 — 시험장 밖에서 틀리는 수험생」의 편향이 한쪽으로 기운 결과를 되풀이하는 성질이라면, 심판의 편향은 그 기울기가 채점에서 나타난 것입니다. 위치 편향(position bias)은 답 두 개를 나란히 놓고 고르게 할 때, 내용과 상관없이 앞이나 뒤에 놓인 쪽으로 판정이 기우는 성향입니다. 앞에서 본 "다수결에서 먼저 제시된 답이 72%"가 그 예입니다.

두 답을 조각내 비슷한 내용끼리 맞춰 붙인 뒤 채점시키면 이 성향이 줄었습니다. 여섯 개 모델로 답 쌍 11,520개를 채점한 실험에서, 두 답의 순서를 바꿔 물어도 같은 쪽을 고르는 정도인 일관성이 원래 값에 견줘 평균 47.46% 높아졌고, 한 모델에서는 98%까지 올랐습니다. 다만 초록은 교정 전 일관성이 얼마였는지 밝히지 않습니다 (arXiv:2310.01432, 프리프린트).

둘째는 채점 지시문의 문구입니다. 중환자실 사망 위험 예측 결과를 언어모델이 풀어 쓴 보고서 90건을, 심판 모델 하나에게 지시문 설계만 세 가지로 바꿔 채점시켰습니다. 임상의와의 일치는 급내상관(intraclass correlation), 곧 두 채점자의 점수가 얼마나 나란히 움직이는지를 잰 값(클수록 잘 맞음)으로 쟀습니다. 세 방식 모두 임상의 점수와 '상당한' 일치를 보였지만, 두 방식이 0.94였던 반면 나머지 하나는 0.82로 유의하게 낮았습니다(p<0.001). 임상의 평균 점수와의 차이도 방식에 따라 0.1에서 4.7까지 벌어졌습니다 (DOI: 10.5114/ait/221943, 심사 지면). 벤치마크, 곧 여러 모델에게 같은 문제를 풀게 해 점수를 견주는 시험 문제 모음에서도 흔들림이 나왔습니다. 심판 넷을 안전·설득·오용·에이전트 행동을 다루는 벤치마크 넷에 걸어 흔들어 본 도구 연구에서, 시험한 심판 가운데 네 벤치마크 모두에서 한결같이 믿을 만한 것은 없었습니다. 예비 실험에서 판정은 서식 변경, 같은 뜻을 다른 말로 바꿔 쓰기, 장황함의 증감, 정답 라벨 뒤집기에 흔들렸습니다 (arXiv:2603.05399, 프리프린트).

셋째로, 온도는 뜻밖에 거의 기여하지 않았습니다. 온도는 다음 토큰을 뽑을 때 확률이 낮은 후보까지 얼마나 과감하게 고를지 정하는 설정값입니다. 혐오 표현·정신 건강·약 후기 글에 라벨을 붙이는 분류 과제에서, 채점자 4종 × 지시문 3종 × 온도 6단계 × 씨앗 3개를 모두 교차시켜 관측 64,800건을 모았습니다. 씨앗은 무작위 뽑기의 출발값입니다. 그리고 점수가 흩어진 정도(분산)를 원인별로 나눴습니다. 문항 자체의 난이도가 74.6~93.0%로 압도적이었고, 어떤 문항을 어떤 채점자가 맡았느냐의 궁합이 2.65~14.75%로 그다음이었으며, 온도의 기여는 사실상 0이었습니다 (DOI: 10.2139/ssrn.6432598, 프리프린트).

앞에서 본 "무작위 뽑기를 꺼도 흔들림이 남는다"와 부딪히는 듯 보이지만, 한쪽은 두 답 중 고르기였고 다른 쪽은 분류 과제였습니다. 과제가 다르면 흔들림이 나오는 곳도 다를 수 있습니다.

넷째는 형식과 문체이고, 여기서 치우침의 방향이 처음 또렷하게 보입니다. 사람의 선호를 대신 맞히도록 학습시킨 채점 모델들에게 길이·구조·전문용어·아부·모호함 가운데 하나를 일부러 부풀린 답을 원래 답과 짝지어 보여 주자, 60%가 넘는 사례에서 부풀린 쪽을 골랐습니다. 더 중요한 것은 상관의 부호입니다. 상관은 두 값이 함께 움직이는 정도로, 음수면 반대로 움직입니다. 이 다섯 특징은 사람의 선호 라벨과는 약한 음의 상관(평균 -0.12)을, 강한 채점 모델이 붙인 라벨과는 중간 세기의 양의 상관(평균 +0.36)을 보였습니다. 사람은 이런 특징을 조금 꺼리는데 강한 채점 모델은 끌린다는 뜻이고, 저자들은 모델이 겉모습 단서에 지나치게 기댈 수 있다는 신호로 읽습니다. 저자들이 제안한 학습 방법은 사람 선호와의 어긋남을 39.4%에서 32.5%로, 사람과의 부풀림 선호 차이를 20.5%에서 10.0%로 줄였지만 없애지는 못했습니다 (arXiv:2506.05339, 프리프린트).

다섯째는 일부러 노린 문구로, 모델이 틀리도록 고른 입력인 적대적 예제와 같은 발상입니다. 2024년에 나온 연구에서 짧은 문구 하나를 답 뒤에 붙이는 것만으로 심판이 점수를 부풀렸습니다. 심판 모델을 모를 때는 대리 모델을 먼저 공격해 얻은 문구를 옮겨 붙였는데, 그러고도 채점 대상 글이 무엇이든 최고점이 나올 만큼 점수가 부풀었습니다. 그리고 심판은 점수를 매기게 할 때가 둘 중 고르게 할 때보다 이 공격에 훨씬 약했습니다 (arXiv:2402.14016, 프리프린트).

규제 문구도 같은 식으로 심판을 속였습니다. 영국 금융감독기관의 원칙 두 가지를 암호자산 광고 시나리오 168개로 옮긴 벤치마크에서, 정상 입력에 가장 강했던 1,200억 파라미터(학습으로 정해지는 모델 안의 숫자) 규모 심판의 정확도가, 규제 키워드를 잔뜩 채운 입력에서 0.74에서 0.27로 떨어졌습니다. 저자들은 이것을 "준법 연극"이라 부릅니다. 같은 입력에서 다른 계열 심판과의 일치는 카파 0.16에 그쳤고, 저자들은 이 값을 근거로 실패의 원인을 자료가 아니라 그 모델에서 찾습니다 (arXiv:2608.14329, 프리프린트).

자기 답에 후한가 — 그리고 그게 잘못인가

자기선호 편향(self-preference bias)은 채점을 맡은 모델이 자기가 만든 답에 남이 만든 답보다 후한 점수를 주는 성향입니다. 2024년의 한 측정에서 한 모델이 이 편향을 뚜렷하게 보였는데, 같은 연구는 원인을 뜻밖의 곳에서 찾았습니다. 모델은 자기에게 덜 낯선 글, 곧 그 모델이 다음 토큰을 잘 맞히는 글에 사람보다 유의하게 높은 점수를 줬고, 그 글을 자기가 썼는지와는 상관이 없었습니다. 저자들은 이 편향의 바탕을 자기애가 아니라 익숙함으로 봅니다 (arXiv:2410.21819, 프리프린트).

그렇다면 자기 답을 더 좋게 보는 것은 틀린 일일까요. 수학·사실 지식·코드처럼 정답을 확인할 수 있는 과제에서 모델 계열 일곱을 놓고 이 물음을 나눠 보니, 결과는 셋이었습니다 (arXiv:2504.03846, 프리프린트). 첫째, 강한 모델일수록 자기선호가 컸지만 그 선호의 상당 부분은 실제로 더 나은 답을 고른 정당한 것이었습니다. 둘째, 채점자가 답을 만드는 쪽으로서 틀린 경우에는 해로운 자기선호가 남았고, 강한 모델일수록 이 몫이 뚜렷했습니다. 저자들은 이것을 강한 모델일수록 자기가 틀렸을 때 알아보기 어려워한다는 신호로 읽습니다. 셋째, 채점 전에 긴 사고연쇄를 쓰게 하면 그 해로운 몫이 줄었습니다. 사고연쇄는 답을 내기 전에 중간 풀이 단계를 문장으로 적어 내려가는 것입니다(「AI는 정말 '생각'하는가 — 아직 학계가 다투는 중인 질문」).

해로운 자기선호는 채점 기준을 객관적으로 못 박아도 남았습니다. 채점표 항목마다 프로그램으로 맞고 틀림을 확인할 수 있는 벤치마크에서, 답을 만든 모델이 실제로 실패한 항목을 심판이 통과로 잘못 표시할 가능성은, 그 답이 심판 자신의 출력일 때 50% 넘게 더 높아질 수 있었습니다. 채점표가 주관적인 의료 대화 벤치마크에서는 자기선호가 모델 점수를 최대 10점까지 밀었습니다. 최상위 모델들을 줄 세울 때 순위를 가를 수 있는 폭입니다. 심판 여럿을 묶으면 줄었지만 사라지지는 않았습니다 (arXiv:2604.06996, 프리프린트).

반대쪽 증거도 세 갈래로 들어와 있습니다.

첫째, 규칙 검사기가 옳다고 확정한 수정을 자기 초안에 받아들일지 묻는 자리에서는 자기선호가 검출되지 않았습니다. 초안을 쓴 맥락 그대로인 모델과, 같은 초안을 남의 글처럼 처음 보는 새 모델의 거부율 차이는 -5.1%포인트였습니다. 참값이 있을 법한 범위인 95% 신뢰구간이 [-12.9, +2.7]로 음수와 양수를 함께 걸쳐, 차이가 검출되지 않은 것입니다. 중간급 모델 계열 넷을 시험한 결과이고, 저자들은 이 표본 크기로는 약 13%포인트보다 작은 효과를 배제할 수 없다고 못 박습니다. 작은 예비 실험의 신호 하나는 규모를 키우자 재현되지 않았습니다. 남은 관찰은 질적인 것 하나입니다. 모델이 검증된 수정을 거부할 때 그 이유의 97%는 취향이 아니라 결함 지적이었습니다 (arXiv:2606.20093, 프리프린트).

둘째, 문체를 지우면 자기선호는 대체로 사라지지만, 이름표만 붙여도 되돌아옵니다. 열 개 모델에게 모델마다의 문체가 묻어나지 않는 대상, 곧 이야기에 걸 제약 조건을 고른 목록을 채점시켰습니다. 누가 만들었는지 가린 채 고른 것의 질과 심판의 엄격함을 통제하자, 자기선호는 네 채점 축 가운데 세 축에서 사라졌고 나머지 한 축에서는 뒤집혔습니다. 심판이 자기 것을 덜 독창적이라고 본 것입니다. 그런데 질이 같은 것끼리 놓고 이름표만 붙이자, 어느 모델인지 밝히지 않았는데도 "내 것"이라는 딱지가 붙으면 점수가 오르고 "남의 것"이라는 딱지가 붙으면 내려갔습니다. 실제 출처와는 상관이 없었습니다 (arXiv:2608.18091, 프리프린트).

셋째, 분야를 옮기면 방향이 뒤집힐 수 있습니다. 퀘벡 프랑스어로 된 자동차보험 법률 질문에서 심판 52개를 전문가가 만든 기준과 대조했습니다. 가장 강한 심판도 중간 정도로만 믿을 만했고, 심판끼리도 자주 어긋났습니다. 그리고 일반 분야에서 보고된 'AI가 쓴 답 편애'와 반대로, 이 심판들은 굳이 따지자면 AI가 쓴 답에 더 엄격했습니다. '굳이 따지자면'은 저자들이 붙인 유보로, 효과가 크지 않다는 단서입니다 (DOI: 10.21203/rs.3.rs-10304807/v1, 프리프린트).

정리하면 자기선호는 단순한 자기애로만 설명되지 않았습니다. 익숙한 글에 후하고, '내 것'이라는 딱지에 반응하고, 자기가 틀렸을 때 그것을 알아보기 어려워하는 것입니다. 이 가운데 마지막이 가장 나쁩니다. 심판이 가장 필요한 순간이 바로 답이 틀린 순간이기 때문입니다.

흔들림에 방향이 있다

에세이 1,726편을 여덟 개 모델과 사람 전문가가 함께 채점한 연구가 두 가지를 따로 쟀습니다. 하나는 좋은 글과 못한 글을 가려내는 능력(변별력)이고, 다른 하나는 어느 선부터 높은 점수를 주는지라는 기준의 위치입니다. 두 쪽 모두에서 모델은 사람과 달랐습니다. 사람의 변별력 추정치가 모델의 약 두 배였고, 모델들은 점수를 가운데로 몰고 폭을 좁혀 최상위 등급을 체계적으로 주지 않았습니다. 저자는 사람과 모델의 일치가 낮은 까닭이 못 가려낸 데도 있고 기준선이 옮겨 간 데도 있다고 결론짓습니다 (DOI: 10.1177/01466216261471171, 심사 지면).

다른 자리에서는 다른 종류의 압축이 나왔습니다. 모델로 설문 응답 글을 만든 뒤 같은 계열 모델이 그 글을 다시 숫자 척도에 올리는 순환을, 미리 계획을 등록한 실험으로 검사한 연구입니다. 모델이 자기 글을 스스로 점수로 바꾸면 오차의 흩어짐(분산)이 네 배로 압축됐고(0.21 대 0.87), 한쪽으로 일정하게 기우는 치우침이 남았습니다. 저자들이 제안한 독립적 대안은 정확도에서는 오히려 뒤졌습니다(65% 대 87%). 그래서 저자들은 자기 방법의 기여를 정확도가 아니라 방법론적 독립성으로 적습니다 (DOI: 10.2139/ssrn.6208718, 프리프린트).

채점자마다 얼마나 후하고 박한지를 다국면 라쉬 모형으로 잰 연구는 열 개 모델 가운데 몇몇이 더 낫다는 결과를 얻었습니다. 그러면서도 표본이 작아 모델 순위로 읽어서는 안 된다고 명시합니다 (DOI: 10.1111/emip.70018, 심사 지면).

이 "방향"은 비유에 그치지 않을 수 있습니다. 모델이 계산 도중에 만들어 내는 숫자인 내부 상태를 심판 일곱, 편향 유형 일곱, 벤치마크 아홉에 걸쳐 들여다본 연구입니다. 편향이 걸린 입력은 유형마다 정해진 몇 안 되는 방향으로 밀려나 있었습니다. 그 방향으로 내부 상태를 밀자 점수가 양쪽으로 움직여, 깨끗한 입력에 편향된 채점을 재현할 수도 편향된 입력에서 원래 채점을 되돌릴 수도 있었습니다. 같은 크기로 아무 방향이나 밀었을 때의 변화는 열 배쯤 작았습니다. 이 방향만 보고 처음 보는 벤치마크 세 개에서 심판이 틀릴 자리를 미리 짚어 냈습니다 (arXiv:2607.11871, 프리프린트). 앞에서 말한 예외, 심리측정학에 없던 새 측정 도구입니다. 같은 도구로 편향을 고치려 한 연구는 부당한 자기선호를 최대 97%까지 줄였지만, 그 조정이 정당한 자기선호 앞에서는 불안정했다고 곧바로 덧붙입니다 (arXiv:2509.03647, 프리프린트).

심판끼리 맞는 것은 맞다는 뜻이 아니다

보안 취약점을 고친 패치 922건을 여덟 개 모델이 만들었고, 그 패치가 취약점을 막았는지와 원래 기능을 지켰는지를 심판이 채점했습니다. 저자들은 이 채점을, 코드를 실제로 돌려 확인할 수 있는 별도 패치 묶음에서 실행 결과와 맞대 봤습니다. 서로 다른 계열의 두 심판은 기능 판정에서 서로 카파 0.75로 잘 맞았는데, 실행 결과와는 카파 0.26 이하였습니다.

두 성질을 갈라야 이 숫자가 읽힙니다. 신뢰도(reliability)는 같은 것을 다시 재도 같은 값이 나오는 정도입니다. 타당도(validity)는 그 값이 재겠다고 내세운 것을 실제로 재는 정도입니다. 「점수는 올랐다. 그런데 무엇이 올랐나」가 벤치마크에 물은 구인타당도와 같은 물음을 채점자에게 던진 것입니다. 자로 생각하면 쉽습니다. 어떤 물건을 잴 때마다 27센티미터가 나오면 이 자는 신뢰도가 높습니다. 그런데 그 물건이 실제로 30센티미터라면, 이 자는 꾸준하지만 맞게 재지는 못합니다. 저자들의 결론은 이렇습니다. 심판끼리의 일치가 재는 것은 신뢰도이지 타당도가 아닙니다. 두 심판 모두 취약점을 고치다 멀쩡한 기능까지 망가뜨린 '과잉 수정'을 실행이 확인해 주는 것보다 훨씬 많이 신고했고, 그 신고 가운데 맞은 것은 5~10%였습니다. 실제 자바 코드에서는 두 심판의 정답률 추정이 서로 갈라져 어느 쪽도 믿을 수 없게 됐습니다 (DOI: 10.3390/jcp6050153, 심사 지면).

심판끼리는 왜 잘 맞을까요. 품질을 함께 포착했을 수도 있고, 같은 맹점을 공유했을 수도 있습니다. 일치도 숫자만으로는 이 둘을 가르지 못합니다. 심판 42개의 점수를 인도계 언어 여덟 개·네 영역의 벤치마크에 걸어 각도로 잰 연구가 이 둘을 갈랐습니다. 채점 기준이 주관적인 채점표에서 심판들은 사람들끼리만큼 서로 잘 맞았지만, 사람과의 일치는 사람들끼리 일치의 58~66%에 그쳤습니다. 심판들은 사람이 무게를 두지 않는 축에 몰려 있었습니다. 심판을 여럿 묶으면 사람의 축이 아니라 심판들이 공유하는 축으로 모였습니다. 다만 답을 확인할 수 있는 채점표 하나에서는 그 간극이 대부분 닫혔습니다 (arXiv:2606.03043, 프리프린트). 앞의 분산 분해 연구도 같은 구별에 따로 닿았습니다. 채점표 형식의 지시문은 모델끼리의 일관성을 높였지만 사람 라벨과의 일치를 늘 높이지는 않았고, 저자들은 이것을 흔히 쓰는 지표가 뭉개 버리는 신뢰도와 타당도의 구별이라 부릅니다 (DOI: 10.2139/ssrn.6432598, 프리프린트).

정답을 아예 쥐여 주면 어떨까요. 금융 보고서에서 질문 258개를 뽑아 그래프 방식으로 검증한 정답을 만들고 심판을 여러 조건으로 세웠습니다. 정답을 쥔 엄격한 심판도 5.9%에서 그 정답과 어긋났고, 틀린 답을 맞다고 통과시키는 오승인은 2.9%였습니다. 정답 없이 판정한 심판은 22.3%에서 어긋났습니다. 원문 전체를 주되 정답은 주지 않은 심판은 일치가 54.3%에 그쳤고, 틀린 답 셋 가운데 하나를 통과시켰습니다(오승인 33.1%). 오승인은 정확한 값 찾기(50%)와 여러 단계를 거치는 조회(46%)에 몰렸는데, 정확도가 가장 중요한 바로 그 유형들입니다. 저자들은 구조화된 정보를 검증하는 데는 심판을 믿을 수 없고 그래프 검증이 필요한 대안이라고 결론짓습니다. 자기 대안을 내세우는 연구라는 점은 감안해야 합니다 (DOI: 10.2139/ssrn.6482162, 프리프린트).

맡길 수 있는 자리와 없는 자리

인용한 논문 가운데 심판을 아예 쓰지 말라고 적은 것은 없습니다. 갈리는 것은 심판에게 맡기는 자리입니다.

순위는 버티고 문턱은 무너집니다. 다만 둘 다 심판끼리 잰 값입니다. 모델 여섯이 쓴 네트워크 보안 조치 보고서의 충실도를 심판 둘이 채점한 연구입니다. 점수의 서열 일치, 곧 두 줄 세우기가 얼마나 같은 순서인지는 0.875로 강했습니다. 그런데 "배포해도 되는가"라는 문턱 판정의 일치는 카파 0, 우연과 같았습니다. 초록 문맥상 이 0.875는 두 심판 사이의 값이고, 사람이 매긴 순위와 맞대 본 값이 아닙니다. 같은 보고서를 프로그램으로 대조한 검사에서는 지어낸 식별자가 하나도 없었습니다 (DOI: 10.2139/ssrn.6910008, 프리프린트). 앞의 취약점 패치 연구의 처방도 같습니다. 코드는 돌려서 재고, 심판은 모델 줄 세우기에만 쓰자는 것입니다 (DOI: 10.3390/jcp6050153, 심사 지면).

심판이 잰 효과는 방향과 상대값으로 읽고, 절대 비율로 읽지 않습니다. 가장 완결된 사례가 임상에서 나왔습니다. 근거가 부족할 때 과신하지 말라는 지시문을 붙이자, 기준 심판이 잰 위험한 과신 답변이 49.3%에서 24.7%로 줄었습니다(짝지어 잰 감소 폭 24.7%포인트, 95% 신뢰구간 [21.8, 27.7]). 모델 넷이 같은 문항 묶음에 답한 결과이고, 방향은 모델과 표현을 바꿔도 유지됐습니다. 그런데 효과의 크기는 심판에 달려 있었습니다. 다른 계열 심판은 방향에는 동의하면서 효과를 거의 절반(13.1%포인트)으로 깎았습니다.

눈을 가린 임상의 셋은 기준 심판을 이렇게 규정했습니다. 잡아야 할 것은 거의 다 잡지만(민감도 1.00) 멀쩡한 것도 자주 걸러 내는(특이도 0.55) 선별 도구이고, 눈금이 맞은 계기는 아니라는 것입니다. 민감도(sensitivity)는 걸러야 할 것을 걸러 낸 비율, 특이도(specificity)는 멀쩡한 것을 멀쩡하다고 둔 비율입니다. 대가도 있었습니다. 같은 지시문이 정답 진단률을 80.3%에서 50.3%로 떨어뜨렸는데, 이 손실이 한 모델에서는 거의 0이었고 다른 모델에서는 58%포인트였습니다. 그렇다고 개선이 심판이 만든 착시였던 것은 아닙니다. 지시문의 틀만 맞춘 대조 조건과 견줘 실제 행동 변화가 확인됐고, 심판이 제 기준을 되먹인 순환이 아니었다고 저자들은 적습니다.

저자들의 결론은 이렇습니다. 심판이 잰 임상 안전 효과는 방향과 상대값으로, 사람 검토를 기준점으로 삼아, 유용성과 함께 보고해야 하며, 눈금이 맞은 절대 비율로 보고해서는 안 됩니다. 그리고 이 결과가 임상 배포 준비를 입증하지 않는다고 못 박습니다 (arXiv:2607.18086, 프리프린트).

결정론적 검사(deterministic check), 곧 같은 입력에 언제나 같은 결과를 내는 프로그램 검사로 확인할 수 있는 것은 그 검사로 확인합니다. 소프트웨어 시험 자동화를 다룬 한 사례연구는 이 경계를 설계에 박았습니다. 언어모델은 시험할 시나리오를 넓히는 데는 쓸모 있지만 판정자로는 위험합니다. 있을 수 없는 상태를 지어내고, 의미를 잘못 읽고, 약한 증거를 부풀리기 때문입니다. 그래서 이 설계에서 모델은 초안은 쓸 수 있어도 관측값, 통과·실패 판정, 배포 가능 선언은 쓰지 못합니다 (DOI: 10.2139/ssrn.7173619, 프리프린트·단일 사례연구).

심판 자체가 공격받는 자리가 되기도 합니다. 사람이 검증한 라벨 6,642건으로 안전성 평가를 감사한 결과입니다. 분포 이동, 곧 학습 때 본 데이터와 실제로 만나는 데이터가 달라지는 일이 여기서는 심판을 검증할 때 본 답과 공격 실험의 답 사이에서 일어납니다. 공격받는 모델마다 다른 문체, 공격이 일그러뜨린 출력, 시나리오마다 다른 모호함이 겹치면 심판 성능이 자주 우연에 가까운 수준까지 떨어졌습니다. 또 많은 공격이 실제로 해로운 내용을 끌어낸 것이 아니라, 심판의 허점을 파고들어 성공률을 부풀리고 있었습니다 (arXiv:2603.06594, 프리프린트). 공격이 강해진 것이 아니라 자가 흔들린 것일 수 있습니다.

일치도를 올리는 처방이 곧 타당도를 올리는 처방은 아닙니다. 세 모델이 따로 채점하고, 서로의 점수와 근거를 본 뒤, 다시 확인하는 3라운드 숙의 방식을 두 글 모음(코퍼스)에서 시험한 연구입니다. 모델 간 불일치는 모든 문항에서 유의하게 줄었고, 한 코퍼스에서는 점수의 흩어짐을 평균에 견준 변동계수(coefficient of variation)가 7.29%에서 2.78%로(61.9% 상대 개선) 떨어졌습니다. 사람 기준 점수와 맞는 정도는 과제에 따라 달랐고, 한 코퍼스에서는 순위 대응이 오히려 조금 나빠졌습니다. 그리고 두 코퍼스 모두에서 숙의 뒤 점수가 체계적으로 올라갔습니다. 저자들은 이 상향을 사람 기준에 맞춘 선형 보정으로 되돌릴 수 있다고 덧붙입니다 (DOI: 10.21203/rs.3.rs-10367743/v1, 프리프린트).

비용이 적게 드는 개입도 있습니다. 지시문에 등급별 예시 답안을 넣자 사람과의 일치가 사람들끼리의 일치에 가까워졌습니다 (DOI: 10.35542/osf.io/cbhgz_v1, 프리프린트). 점수만 내게 하지 않고 이유를 쓰게 하면, 2023년에 시험한 ChatGPT의 점수와 사람 채점의 상관이 일관되게 올랐습니다 (arXiv:2310.05657, 프리프린트). 채점 전에 긴 사고연쇄를 쓰게 하면 해로운 자기선호가 줄었습니다 (arXiv:2504.03846). 퀘벡 법률 연구에서는 오답을 잡아내는 능력으로 심판을 고르기, 권위 있는 참조 자료 주기, 강한 심판 몇을 묶기가 각각 위험한 오승인을 줄였습니다. 그래도 그 저자들은 심판 하나만으로는 고위험 법률 답을 평가할 만큼 믿을 수 없다고 결론짓고, 사람이 끼어드는 방식으로 쓰자고 제안합니다 (DOI: 10.21203/rs.3.rs-10304807/v1, 프리프린트). 확신이 낮을 때 더 강한 심판에게 넘기는 방식은, 강한 단일 모델이 사람과의 일치 80%에 거의 닿지 못하던 질문 묶음에서도 작은 모델을 써서 그 선을 넘겼습니다. 대신 일부 판정을 포기하는 몫을 받아들여야 합니다 (arXiv:2407.18370, 2024년, 프리프린트).

형식을 바꿔 피하는 길도 없습니다. 점수 매기기는 문구 공격에 더 약했고 (arXiv:2402.14016), 둘 중 고르기는 되풀이할 때마다 크게 흔들렸습니다 (arXiv:2606.13685). 이 글이 모은 연구 가운데 어느 한 형식이 안전하다고 결론 낸 것은 없습니다.

지금 확실한 것과 그렇지 않은 것

① 한 번의 채점은 흔들립니다. 같은 질문을 쉰 번 묻자 승자가 평균 13.6% 뒤집혔고, 기준 판정을 되찾는 데 평균 열한 번이 필요했습니다. 다만 두 심판이 한 회사 모델이라 다른 회사 모델에서의 재현은 남아 있습니다 (arXiv:2606.13685, 프리프린트).

② 겉보기 일치는 능력의 증거가 아닙니다. 겉보기 일치가 74.7~84.5%인 자리에서 여섯 기계 채점자 중 다섯의 카파는 0.027 이하였고 (DOI: 10.2139/ssrn.7217178, 프리프린트), 사람끼리의 카파도 흔히 0.40에서 0.80이었습니다 (DOI: 10.21203/rs.3.rs-10047888/v1, 프리프린트).

③ 흔들림에는 잡음만이 아니라 방향을 가진 치우침도 있습니다. 모델은 점수를 가운데로 몰고 최상위 등급을 잘 주지 않았으며 변별력이 사람의 약 절반이었고 (DOI: 10.1177/01466216261471171, 심사 지면), 편향은 모델 내부에서 유형별 방향으로 나타났습니다 (arXiv:2607.11871, 프리프린트).

④ 자기선호는 있지만 단순하지 않습니다. 상당 부분이 정당했고 (arXiv:2504.03846), 검증기가 옳다고 확정한 수정을 받아들일지 물었을 때는 검출되지 않았으며 (arXiv:2606.20093), 누가 만들었는지 가리면 대체로 사라졌다가 이름표만으로 돌아왔습니다 (arXiv:2608.18091). 그래도 답을 만든 모델이 틀렸을 때의 해로운 자기선호는 남았고 (arXiv:2504.03846), 프로그램으로 확인되는 채점표에서도 자기 출력의 실패를 통과로 표시할 가능성이 50% 넘게 높아질 수 있었습니다 (arXiv:2604.06996). 넷 다 프리프린트입니다.

⑤ 심판끼리의 일치는 신뢰도이지 타당도가 아닙니다. 심판끼리 카파 0.75로 맞던 판정이 실행 결과와는 0.26 이하였고 (DOI: 10.3390/jcp6050153, 심사 지면), 여럿을 묶으면 사람의 축이 아니라 심판들이 공유하는 축으로 모였습니다 (arXiv:2606.03043, 프리프린트).

아직 확실하지 않은 것도 있습니다.

정답이 무엇인지부터 정해지지 않은 자리가 있습니다. 사람 채점자들이 크게 어긋나는 영역에서는 "옳음"의 정의부터 다시 세워야 한다는 것이 임상 쪽 저자들의 제안이고 (DOI: 10.1101/2025.10.27.25338910, 프리프린트), 터키어 연구가 해석을 고르지 않은 것도 같은 까닭입니다 (DOI: 10.2139/ssrn.7217178, 프리프린트).

심판을 묶고 숙의시키는 개입이 타당도까지 올린다는 증거는 엇갈립니다. 묶은 심판은 심판들의 공유 축으로 모였지만 (arXiv:2606.03043), 퀘벡 법률 연구에서는 강한 심판 몇을 묶자 위험한 오승인이 줄었고 (DOI: 10.21203/rs.3.rs-10304807/v1), 르완다 연구의 배심은 사람과 대등한 항목을 하나 늘리는 데 그쳤습니다 (DOI: 10.1038/s41746-026-02992-w). 숙의는 점수를 체계적으로 밀어 올렸고 (DOI: 10.21203/rs.3.rs-10367743/v1), 내부 방향 조정은 정당한 자기선호 앞에서 불안정했습니다 (arXiv:2509.03647). 반면 예시 답안 넣기, 이유 쓰게 하기, 상위 심판에게 넘기기는 사람과의 일치를 올렸습니다. 이것도 각 연구가 시험한 과제와 모델 안에서의 결과입니다.

인용한 연구 대부분은 심판을 계속 쓰되 맡기는 자리를 좁히자고 적습니다. 방향 읽기와 1차 선별에는 근거가 있습니다. 안전 효과를 방향과 상대값으로 보고하라는 것도, 심판을 민감도 1.00·특이도 0.55의 선별 도구로 규정한 것도 같은 논문의 문장입니다 (arXiv:2607.18086). 줄 세우기는 조건부입니다. "심판은 순위에만"은 저자의 처방이지 순위의 타당도를 잰 결과가 아니고, 앞에서 본 0.875도 심판끼리의 값입니다. 이 글이 모은 연구 가운데 순위를 사람 기준과 직접 맞대 본 것은 숙의 연구 하나뿐이고, 거기서도 한 코퍼스는 유지, 다른 코퍼스는 소폭 악화였습니다 (DOI: 10.21203/rs.3.rs-10367743/v1). 줄 세우기에 붙는 조건은 셋입니다. 한 번의 채점으로는 안 되고, 자기선호가 최상위 순위를 가를 수 있으며, 심판은 최상위 등급 자체를 잘 주지 않습니다. 통과·실패 판정, 배포 가능 판정, 안전율 몇 퍼센트 같은 절대값은 아직 심판에게 맡길 자리가 아닙니다. 그 경계를 지키는 비용은 대체로 더 나은 심판보다 사람 검토라는 기준점과 결정론적 검사로 치릅니다.

근거 논문

• "The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation" (2026, 프리프린트) — arXiv:2606.13685 — 쌍대 선호가 반복 사이 평균 13.6% 뒤집힘, 교차 심판 76%(κ=0.51), 복원에 11회
• "Inter-Rater Reliability of LLM and Rule-Based Annotation ..." (2026, 프리프린트) — DOI: 10.2139/ssrn.7217178 — 겉보기 일치 74.7~84.5%인데 카파 0.004~0.027, 두 해석 병존을 명시
• "A Review of a Hybrid Evaluation Framework for Clinical AI" (2026, 프리프린트·리뷰) — DOI: 10.21203/rs.3.rs-10047888/v1 — 연구 66편 리뷰. 사람끼리 카파 0.40~0.80, "전문가 기준의 잡음을 근사"
• "Human evaluators vs. LLM-as-a-Judge in global health" (2026, 심사 지면) — DOI: 10.1038/s41746-026-02992-w — 심판 5 대 임상의 6. 11개 항목 중 4개만 대등, 배심으로 1개 추가
• (위 연구의 프리프린트판, 2025, 프리프린트) — DOI: 10.1101/2025.10.27.25338910 — "옳음" 개념의 근본적 재고가 필요하다는 문장이 여기 있다
• "Split and Merge: Aligning Position Biases in LLM-based Evaluators" (2023, 프리프린트) — arXiv:2310.01432 — 답 쌍 11,520개. 일관성 47.46% 상대 개선·98%, 교정 전 값은 초록에 없음
• "Effect of evaluation prompt strategies ... in critical care" (2026, 심사 지면) — DOI: 10.5114/ait/221943 — 지시문 3종. 급내상관 0.94 대 0.82, 편차 0.1 대 4.7
• "Judge Reliability Harness: Stress Testing the Reliability of LLM Judges" (2026, 프리프린트) — arXiv:2603.05399 — 서식·바꿔쓰기·장황함·라벨 뒤집기에 흔들림, 한결같은 심판 없음
• "Generalizability Theory for LLM-as-Evaluator Reliability" (2026, 프리프린트) — DOI: 10.2139/ssrn.6432598 — 관측 64,800건. 문항 난이도 74.6~93.0%, 온도 기여 사실상 0
• "Flattery, Fluff, and Fog: Idiosyncratic Biases in Preference Models" (2025, 프리프린트) — arXiv:2506.05339 — 부풀린 쪽 선호 60% 초과, 사람 라벨 -0.12 대 채점 모델 라벨 +0.36
• "Is LLM-as-a-Judge Robust? Universal Adversarial Attacks ..." (2024, 프리프린트) — arXiv:2402.14016 — 짧은 공격 문구로 점수 부풀리기, 절대 점수가 쌍대 비교보다 취약
• "A Four-Axis Trustworthiness Benchmark for LLM-as-Judge ..." (2026, 프리프린트) — arXiv:2608.14329 — 키워드 채우기에서 0.74→0.27, 다른 계열 심판과 카파 0.16
• "Self-Preference Bias in LLM-as-a-Judge" (2024, 프리프린트) — arXiv:2410.21819 — 익숙한 글에 사람보다 높은 점수, 자기 생성 여부와 무관
• "Do LLM Evaluators Prefer Themselves for a Reason?" (2025, 프리프린트) — arXiv:2504.03846 — 상당 부분 정당, 자기가 틀렸을 때의 유해분은 강한 모델에서 더 뚜렷
• "Self-Preference Bias in Rubric-Based Evaluation of Large Language Models" (2026, 프리프린트) — arXiv:2604.06996 — 실패 항목을 자기 출력일 때 통과로 표시할 가능성 50% 초과 증가
• "Self-Preference Is Weak or Absent in Verifiable ... Revision" (2026, 프리프린트) — arXiv:2606.20093 — 거부율 차 -5.1%p(95% CI [-12.9, +2.7]), 13%p 미만은 배제 불가
• "Self- and Other-Labels Induce Bidirectional Bias in LLM Judges" (2026, 프리프린트) — arXiv:2608.18091 — 블라인드에서 셋 소멸·하나 역전, 이름표만으로 점수가 양방향 이동
• "Can LLMs Judge Legal Accuracy? ... in a Low-Resource Language" (2026, 프리프린트) — DOI: 10.21203/rs.3.rs-10304807/v1 — 심판 52개. 전체 품질이 오승인율을 예측 못 함, AI 답에 더 엄격
• "Evaluating AI-Based Automated Essay Scoring Through SDT" (2026, 심사 지면) — DOI: 10.1177/01466216261471171 — 에세이 1,726편. 사람 변별력이 약 2배, 모델은 중심화·점수 압축
• "Evaluating Rater Effects of LLMs in Automated Essay Scoring" (2026, 심사 지면) — DOI: 10.1111/emip.70018 — 모델 10종·다국면 라쉬. 표본이 작아 순위 목적이 아님을 명시
• "Measuring Self-Rating Bias in LLM-Generated Survey Data" (2026, 프리프린트) — DOI: 10.2139/ssrn.6208718 — 자기평정 시 오차 분산 4배 압축(0.21 대 0.87), 대안은 정확도 열세
• "Inside the Unfair Judge: A Mechanistic Account of LLM-as-Judge Bias" (2026, 프리프린트) — arXiv:2607.11871 — 편향이 유형별 저차원 방향으로 나타나 양방향 조종 가능
• "Breaking the Mirror: Activation-Based Mitigation of Self-Preference" (2025, 프리프린트) — arXiv:2509.03647 — 부당한 자기선호 최대 97% 감소, 단 정당한 자기선호 위에서는 불안정
• "Fixing, Breaking, or Faking It? ... and the Limits of LLM-as-Judge" (2026, 심사 지면) — DOI: 10.3390/jcp6050153 — 패치 922건. 심판끼리 κ=0.75, 실행과는 κ≤0.26. 심판은 순위에만
• "The Geometry of LLM-as-Judge: Why Consensus Is Not Human Alignment" (2026, 프리프린트) — arXiv:2606.03043 — 심판 42개. 사람 일치의 58~66%, 앙상블은 심판 공유 축으로 수렴
• "When the Judge is Wrong: ... Against Graph-Verified Ground Truth" (2026, 프리프린트) — DOI: 10.2139/ssrn.6482162 — 질문 258개. 원문만 준 심판은 일치 54.3%·오승인 33.1%
• "NetHarden: Auditable Attack-Graph Hardening with LLM Evaluation" (2026, 프리프린트) — DOI: 10.2139/ssrn.6910008 — 순위 상관 0.875, 배포 문턱 일치는 κ=0, 프로그램 검사는 지어낸 식별자 0
• "Judge-dependent safety gains ... in clinical LLMs" (2026, 프리프린트) — arXiv:2607.18086 — 과신 답변 49.3%→24.7%, 다른 계열 심판은 효과 절반, 배포 준비 미입증
• "Beyond E2E Scripts: ... Without Letting the LLM Be the Oracle" (2026, 프리프린트·단일 사례연구) — DOI: 10.2139/ssrn.7173619 — 관측·통과실패·배포가능은 모델이 쓰지 못하게 설계
• "A Coin Flip for Safety: LLM Judges Fail to ... Measure Robustness" (2026, 프리프린트) — arXiv:2603.06594 — 라벨 6,642건. 분포 이동이 겹치면 우연 수준, 공격이 허점으로 성공률을 부풀림
• "Multi model deliberation improves the stability ... by LLMs" (2026, 프리프린트) — DOI: 10.21203/rs.3.rs-10367743/v1 — 변동계수 7.29%→2.78%, 그러나 정렬은 과제 의존적·숙의 후 체계적 상향
• "Anchor Is the Key: Toward Accessible Automated Essay Scoring ..." (2025, 프리프린트) — DOI: 10.35542/osf.io/cbhgz_v1 — 등급별 예시 답안을 넣으면 사람 일치가 사람끼리 일치에 근접
• "A Closer Look into Automatic Evaluation Using Large Language Models" (2023, 프리프린트) — arXiv:2310.05657 — 숫자만 출력하면 차선, 이유를 쓰게 하면 상관이 상승
• "Trust or Escalate: LLM Judges with Provable Guarantees ..." (2024, 프리프린트) — arXiv:2407.18370 — 확신이 낮으면 상위 심판으로 올리는 선택적 평가, 커버리지와 맞바꿔 80% 선