Paperis 아티클
지문·총기흔·필적 같은 '비교 감정'의 오류율은 이제 실제로 측정된다. 문제는 그 숫자가 연구 설계와 판정 불가를 세는 방식에 따라 자릿수 단위로 달라진다는 것이다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
2011년 미국에서 지문 감정인 169명이 시험을 봤다. 각자 100쌍 남짓, 전체 744쌍의 풀에서 뽑은 지문 짝을 비교했다. 현장에서 뜬 흔적 지문과 특정인의 지문을 나란히 놓고 같은 사람의 것인지 답하는, 실제 사건과 같은 일이었다. 다만 정답은 감춰져 있었다. 결과는 이랬다. 서로 다른 사람의 지문을 같은 사람 것이라고 답한 오류는 다섯 명에게서 나왔고 전체 비율로는 0.1%였다. 반대로 같은 사람의 지문을 다르다고 답한 오류는 훨씬 흔해서 전체 7.5%였고, 참가자의 85%가 그런 오류를 최소 한 번은 저질렀다. 저자들은 한 줄을 덧붙였다 — 실무에서 쓰는 절차에는 오류를 줄이려고 설계된 안전장치가 추가로 들어간다 (PMID 21518906).
그 뒤 다른 숫자가 나왔다. 감정 기관 125곳이 의무로 치른 시험에 근접 비일치 두 쌍이 섞여 있었다. 서로 다른 사람의 지문인데 닮은 특징이 많고 어긋나는 특징은 적은, 헷갈리기로 작정하고 고른 짝이다. 다르다고 답해야 하는 문제였다. 그런데 같다고 답한 비율이 한 쌍에서 15.9%(응답 107건 중 17건, 95% 신뢰구간 9.5~24.2%), 다른 쌍에서 28.1%(응답 96건 중 27건, 95% 신뢰구간 19.4~38.2%)였다 (PMID 32990979).
0.1%와 28.1%. 둘 다 실무 지문 감정인이 낸 "다른 데서 나온 것을 같다고 말한 비율"인데, 두 값은 자릿수 자체가 다르다. 감정인이 갑자기 나빠진 것이 아니다. 묻는 문제가 달랐고, 세는 방식도 달랐다.
먼저 말을 정리하자. 범죄 수사와 재판에 쓰려고 물증을 조사하고 그 결과를 법정에 보고하는 일 전체를 법과학이라고 부른다. 그 안에는 성격이 아주 다른 것들이 섞여 있고, 이 글이 다루는 것은 그중 한 갈래다. 현장에 남은 흔적과 특정인에게서 얻은 견본을 나란히 놓고 같은 것에서 나왔는지를 사람이 눈으로 견주는 작업, 이것을 비교 감정이라고 한다. 지문, 손바닥 자국, 총알과 탄피에 남은 흠, 신발 자국, 필적, 치흔이 여기 들어간다. 드라마에서 확대경을 들고 두 사진을 겹쳐 보는 그 장면이다.
방금 나온 두 숫자는 그 작업의 위양성률이었다. 사실은 서로 다른 데서 나온 두 흔적을 같은 데서 나왔다고 잘못 말한 비율, 이것이 위양성률이다. 형사재판에서 이 방향의 오류가 특히 무거운 이유는 분명하다. 무고한 사람을 범인 쪽으로 밀기 때문이다.
두 가지를 미리 밝힌다. 첫째, 이 글이 인용하는 연구와 보고서는 대부분 미국에서 나왔다. 뒤에 나오는 법정 기준도 미국 제도의 이야기라, 한국 형사절차로 옮겨 읽을 수 없다. 둘째, 이 글의 숫자는 비교 감정에만 해당한다. 유전자 감식처럼 다른 원리에 기대는 분야의 오류율은 다루지 않는다 — 인용한 연구 안에 그 실측치가 없다.
2009년 미국 국립연구위원회가 법과학 전반을 검토한 보고서를 냈다. 지문 분야의 한 연구자는 그 보고서가 지문 감정에 대해 그린 상을 이렇게 옮긴다 — 수십 년 동안 쓰여 온 전문 영역인데 필요한 연구 기반이 갖춰져 있지 않다 (PMID 26101284, 종설). 2016년에는 미국 대통령 과학기술자문위원회가 비교 감정을 겨눈 두 번째 보고서를 냈다 (PMID 41320448, 법학 논문).
무엇이 없었나. 분야 전체에 걸친 오류율 추정치다. 지문 감정인이 100번 중 몇 번 틀리는지 잰 숫자가 없었다. 재판에서 "이 지문은 피고인의 것입니다"라는 증언은 100년 넘게 받아들여졌는데 (PMID 23786258), 그 증언이 얼마나 자주 빗나가는지는 아무도 재 두지 않았다. 다만 모든 분야가 백지는 아니었다. 총기흔 쪽에는 이미 발표된 연구들이 있었고 2016년 보고서는 그 연구들을 비판했다 (PMID 33104244, 검증 연구).
이 공백이 드러난 계기는 다른 분야였다. 유전자 감식은 개인을 높은 확률로 식별하고 구별하는 기법인데, 유죄를 입증하는 데만 쓰인 것이 아니라 이미 유죄가 확정된 사람들 중 다수가, 나중에 신뢰할 수 없다고 드러난 다른 법과학 증거 때문에 잘못 갇혀 있었음을 보여 주는 데도 쓰였다 (PMID 37782784, 판사가 쓴 논평). 이 문장은 그 사건들에서 그 증거가 그랬다는 것이지 기법군 전체에 등급을 매긴 것이 아니다. 다만 그런 사건이 쌓이자 질문이 생겼다. 이 기법들은 얼마나 자주 틀리는가.
미국 연방법원에는 과학적 증거를 받아들일지 판사가 걸러 내는 기준이 있고, 거기엔 기법의 오류율을 따져 보라는 항목이 들어 있다. 그런데 두 보고서 뒤에도 법원은 비교 감정 증거를 거의 심사 없이 관행적으로 받아들였고, 신뢰성에 관한 그 항목들의 적용을 대체로 피해 왔다는 것이 한 법학 분석의 관찰이다. 저자는 판사들이 특징을 맞춰 보는 일을 직관적으로 단순하고 정확한 작업으로 지각하기 때문이라고 본다 (DOI: 10.2139/ssrn.3157122, 법학 논문). 2009년 보고서로부터 10년을 결산한 다른 글도 같은 자리를 짚는다 — 검증되지 않은 기법을 증언하는 전문가는 자기가 무엇을 모르는지를 모르기 때문에 증거의 한계를 설명할 수 없다 (DOI: 10.2139/ssrn.3379373, 의견).
일반인 인식은 더 앞서 있었다. 배심원이 될 자격이 있는 674명과 법과학 실무자 53명에게 여러 분야의 신뢰도를 물은 조사에서, 양쪽 모두 법과학 증거를 매우 신뢰할 만하다고 평가했다. 연구자들이 그 평가를 당시 확보 가능한 최선의 오류 추정치와 맞춰 보니 양쪽 다 신뢰도를 과대평가하고 위양성 빈도를 과소평가하는 것으로 보였다. 실무자 53명은 편의표본이었다 (PMID 31415947, 설문조사). 놓치기 쉬운 대목은 실무자도 그랬다는 것이다.
두 보고서 뒤에 실제로 일어난 일은 숫자를 만드는 일이었다. 그 방법이 앞에서 본 2011년 지문 시험이다. 감정인에게 정답을 감춘 채 정답이 이미 알려진 문제를 풀게 하고 얼마나 맞히는지를 밖에서 세는 연구 설계, 이것을 블랙박스 연구라고 한다. 안에서 무슨 생각이 오갔는지 묻지 않고 들어간 것과 나온 것만 센다는 뜻이다.
지금까지 나온 숫자들은 이렇다.
손바닥 자국. 감정인 226명이 정답이 확정된 526개 짝에 1만 2,279건의 판단을 내렸다. 잘못된 동일 판정 12건으로 위양성률 0.7%, 잘못된 배제 판정 552건으로 9.5%였다 (PMID 33239260, 블랙박스 연구).
총기흔. 미국 연방수사국이 참여해 설계한 연구에서 감정인 173명이 8,640건을 비교했다. 위양성률은 총알 0.656%(95% 신뢰구간 0.305~1.42%), 탄피 0.933%(0.548~1.57%)로 추정됐고 위음성률은 각각 2.87%, 1.87%였다. 저자들은 결론에 한 줄을 더 적었다 — 포괄적인 설계와 까다로운 시료를 썼는데도 결과가 앞선 연구들과 일치한다 (PMID 36183147, 블랙박스 연구). 이 연구는 설계 문서를 따로 냈고 권고되는 이중맹검 형식으로 시행됐다 (PMID 35243285, 연구설계 보고).
신발 자국. 전문가 70명이 각 12건씩 모두 840건의 결론을 냈다. 정답 기준으로 정리한 위양성률은 0.48%, 위음성률은 15.6%였다. (DOI: 10.1111/1556-4029.14552, 블랙박스 연구).
필적. 여러 연구의 오류율을 15개 지표로 통일해 비교한 종설에서 전문가의 절대 오류율은 평균 2.63 ± 1.73%, 일반인은 20.16 ± 7.20%였다. 저자는 이 비교가 과학으로 인정받기 위한 시험 기준을 충족하려는 연구가 이뤄져 왔음을 보여 줌으로써 이 분야의 검증에 기여한다고 적는다 (PMID 39073164, 종설).
여기서 두 가지 형태가 반복된다. 첫째, 위양성은 낮고 위음성은 그보다 몇 배에서 수십 배 높다. 감정인들은 "같다"고 말하는 데 인색한 쪽으로 기울어 있다. 둘째, 오류가 소수의 참가자에게서 나온다. 총기흔 연구는 오류 대부분이 제한된 수의 감정인에게서 나왔다고 적었고, 2025년 지문 후속 연구에서는 한 참가자가 그 연구의 잘못된 동일 판정 대부분을 냈다. 저자들이 붙인 해석은 감정인 집단의 성질이 아니라 추정치의 성질이었다 — 판정 비율이 어떤 참가자가 들어오느냐에 매우 민감할 수 있다는 것이다. 그 연구는 감정인 156명의 응답 1만 4,224건을 분석했고, 비일치 짝에서 같다고 답한 비율은 0.2%였다. 결론에도 조건이 붙었다 — 위험 완화 전략을 도입한 기관에서는 그 전략이 작동하고 있을 수 있다 (PMID 40220722, 블랙박스 연구).
이건 진짜 성취다. 2009년에 없던 것이 지금은 있다. 다만 그 숫자를 법정으로 들고 가기 전에 확인할 것이 세 가지 있다.
이 글을 연 두 숫자로 돌아가자. 0.1%가 나온 2011년 연구는 실제 사건에서 마주치는 범위의 속성과 품질을 담으려고 지문 짝을 골랐고, 5,800만 명이 넘는 대상이 등록된 자동 지문 검색 시스템의 검색 결과에 상응하도록 맞췄다 (PMID 21518906). 쉬운 문제만 골랐다는 뜻이 아니다. 28.1%가 나온 쪽은 그 위에 한 겹을 얹었다. 감정인과 감정 기관이 제 실력을 확인하려고 정기적으로 치르는 시험을 숙련도 시험이라고 한다. 그 시험에 근접 비일치를 일부러 심어 그 상황만 따로 재 본 것이 이 경우다. 데이터베이스가 커질수록 닮은 남의 지문이 검색 결과에 올라올 확률도 커지기 때문이다. 저자들의 결론은 두 방향이다 — 이 숫자는 지문 증거가 거의 무오류라는 통념과 맞지 않고 주요 지문 연구들이 보고한 오류율보다 크며, 근접 비일치의 위험이 높은 상황에서는 지문 동일 판정의 증명력이 크게 떨어질 수 있다 (PMID 32990979, 숙련도 시험).
총기흔 쪽에는 더 날카로운 방법론 비판이 있다. 대상은 이 글이 수치를 인용한 어느 연구도 아니라 2018년에 발표된 다른 탄피 비교 연구다. 그 연구의 탄피 이미지를 훈련받지 않은 변호사 82명에게 사후 대조군으로 같은 327건 풀게 했다. 같은 총에서 나온 짝을 알아보는 능력에서는 변호사들이 원래 참가자들보다 한참 뒤졌다. 그런데 다른 총에서 나온 짝을 구별하는 일에서는 변호사들의 성적이 훈련받은 감정인과 사실상 구별되지 않았다. 저자들의 해석은 이렇다. 그 문제 세트는 위양성률을 재기에 충분히 어렵지 않았고, 그러니 그 위양성률은 감정인의 능력을 잰 것으로 보기 어렵다. 일반화에는 저자들이 직접 조건을 달았다 — 비슷한 문제가 다른 정확도 연구들에도 퍼져 있다면, 그 연구들이 낸 위양성률에 기댈 이유가 거의 없다는 것이다 (PMID 38684627, 사후 대조군 재분석).
그 조건절이 얼마나 넓게 성립하는지는 열려 있다. 앞에서 본 감정인 173명 연구는 정반대 방향으로 적었다 — 포괄적 설계와 까다로운 시료를 썼는데도 결과가 앞선 연구들과 일치했다는 것이다 (PMID 36183147).
여기서 잣대를 한쪽에만 걸지 않는 것이 중요하다. "문제가 쉬웠다"는 비판을 낮은 오류율에 건다면, "이 표본이 실무의 무엇을 대표하는가"도 높은 오류율에 같은 강도로 걸어야 한다. 근접 비일치 연구 역시 설계된 문제이고, 저자들 자신이 그렇게 적었다 — 이 결과는 대표성 있는 근접 비일치 표본으로 재현·확장하는 연구가 필요하다 (PMID 32990979). 그리고 데이터베이스가 커지면 위양성이 늘어난다는 우려를 정면으로 시험한 2025년 지문 연구는, 예전보다 훨씬 큰 검색 시스템을 썼는데도 위양성률이 올라갔다는 증거를 찾지 못했다고 보고했다 (PMID 40220722).
낮은 쪽 숫자에도 조건이 붙는다. 연속 제작된 9mm 총열 30개로 설계한 한 연구는 감정인 72명에게서 보정한 자료 기준 0.08%(1,250건 중 1건)라는 오류율을 얻었고, 신뢰구간은 0.01%에서 0.4%까지였다. 이 연구의 목적 자체가 2016년 보고서의 비판에 답하는 것이었고 문제 세트도 그 목적에 맞춰 구성됐다 (PMID 33104244, 검증 연구). 3차원 표면 자료로 시험 발사 탄피를 비교한 연구도 미국·캐나다 감정인 76명에게서 위양성 693건 중 3건(0.43%), 위음성 491건 중 0건을 얻었다 (PMID 33104255, 오류율 검증 연구). 이 숫자들이 가짜라는 뜻이 아니다. 어떤 문제를 풀었는지를 함께 읽지 않으면 아무 숫자도 뜻을 갖지 못한다는 뜻이다.
감정인에게는 세 번째 선택지가 있다. 같다고도 다르다고도 말하지 않고 판단을 유보한 답, 이것을 판정 불가라고 한다. 이 답을 어떻게 세느냐에 따라 같은 자료에서 다른 오류율이 나온다.
감정인 228명이 현장 조건에 가깝게 탄피를 비교한 연구를 보자. 확정적인 결론만 놓고 계산하면 맞힌 비율이 양쪽 모두 99%를 넘었다. 그런데 판정 불가를 함께 넣어 계산하자 같은 총에서 나온 짝을 맞힌 비율은 93.4%, 다른 총에서 나온 짝을 맞힌 비율은 63.5%로 떨어졌다. 두 값이 다르게 무너진 이유는 판정 불가가 다른 총에서 나온 짝에 여섯 배 더 자주 나왔기 때문이다. 전체 판단의 5분의 1이 넘게 판정 불가였다. 그런데 이 연구가 내린 총평은 탄피 비교가 낮은 오류율로 특징지어진다는 것이었고, 저자들은 한 걸음 더 나가 판정 불가에도 증명력이 있다고 적었다. 판정 불가 자체가 다른 총에서 나왔음을 예측했다는 것이다 (PMID 37155908, 검증 연구).
통계 모형으로 이 문제를 다룬 재분석도 있다. 블랙박스 연구에는 답을 않거나 "모르겠다"에 해당하는 응답이 많이 섞이는데 기존 분석이 이 결측을 제대로 다루지 않는다는 지적이다. 저자들은 결측을 보정하는 위계 베이즈 모형으로 0.4%로 보고된 오류율이 판정 불가를 정답으로 셀 때 최소 8.4%, 판정 불가를 결측 응답으로 셀 때 28%가 넘을 수 있다고 계산했다. 다만 저자들 스스로 덧붙인 한정어가 중요하다 — 이 모형이 결측 문제의 답은 아니며, 원자료가 공개되어야 제대로 된 보정 방법론의 토대가 될 수 있다는 것이다 (PMID 36970820, 통계 재분석).
그러면 판정 불가는 법정에서 어떻게 들릴까. 모의 재판 실험 두 건이 이걸 쟀다. 참가자 492명과 1,002명에게, 법과학 전문가가 일치·불일치·판정 불가 중 하나를 증언하는 사건 요약을 읽혔다. 판정 불가 증언은 일치 증언보다 훨씬 덜 불리했지만 불일치 증언보다는 뚜렷하게 더 불리하게 읽혔다. 참가자 1,002명인 두 번째 실험에는 조건이 둘 더 있었는데, 판정 불가는 감정 부적합 조건과도, 법과학 증거가 아예 없는 조건과도 거의 같은 정도의 판단을 낳았다. 즉 참가자들은 판정 불가를 중립으로 읽었다. 저자들은 이것이 무고한 사람에게서 명백히 유리했을 결론을 빼앗을 수 있다는 예비적 근거라고 적었다 (PMID 38573703, 모의 재판 실험).
여기에도 반대편이 있다. 판정 불가가 곧 회피는 아니다. 필적 종설에서 전문가의 판정 불가 비율은 21.96 ± 23.15%로 일반인의 8.13 ± 7.96%보다 훨씬 높았다 (PMID 39073164). 잘 훈련된 감정인일수록 모르는 것을 모른다고 말한다는 해석이 가능하다. 총기흔 감정인과 컴퓨터 비교를 나란히 시험한 연구도 비슷하다 — 감정인들은 어려운 비교에서 결론 내기를 꺼렸는데 정작 그들이 낸 결론은 대부분 맞았다. 다만 같은 연구는 불리한 쪽도 함께 적었다. 감정인들이 수치로 표현한 확신 정도는 잘 보정돼 있지 않았고 분명한 과신의 징후를 보였다 (PMID 32970858, 검증 연구).
이 잣대는 이 글의 헤드라인 숫자에도 똑같이 걸린다. 2025년 지문 연구에서 비일치 짝에 대한 응답 중 12.9%가 판정 불가, 17.2%가 판단 가치 없음이었다. 0.2%의 분모에는 그 응답들이 함께 들어 있다 (PMID 40220722). 2011년 연구도 마찬가지다. 저자들은 감정인들이 결론을 낼 만한 지문인지에 대해 자주 의견이 갈렸다고 적었다 (PMID 21518906).
지문 실험을 설계한 연구자들이 자기 결과를 두고 이렇게 적었다 — "지문 감정의 오류율은 0.68%이다"라는 문장을 이 실험에서 끌어내는 것은 정당화되지 않는다. 같은 글에서 그들은 반대쪽도 적었다. 법정에서 실제로 일하는 자격 있는 지문 전문가들은 초심자에 비해 대단히 정확하고 더 보수적이지만, 오류를 낸다 (PMID 23786258, 방법론 논평).
오류율은 여러 감정인이 여러 문제를 푼 결과의 평균이다. 그런데 법정에서 다루는 것은 한 감정인이 푼 한 문제다.
오류율이라는 개념 자체를 검토한 논문은 더 넓게 묻는다 — 정답을 어떻게 확정할 것인가, 어떤 데이터베이스를 쓸 것인가, 무엇을 오류로 셀 것인가, 얼마면 받아들일 만한 오류율인가, 실험실 조건이 실제 사건과 얼마나 같은가, 대심 구조의 법체계 안에서 이것을 어떻게 투명하게 공개할 것인가. 이 문제들을 다루지 않으면 의미 있는 오류율이라는 개념 자체가 성립하기 어렵다는 것이 저자의 결론이다 (DOI: 10.1111/1556-4029.14435, 개념 검토).
문항 반응 이론으로 개별 감정인의 판단 문턱을 추정한 연구가 이 평균값의 위험을 보여 준다. 오류는 모든 비교에서 똑같이 일어나지 않으며, 지문 감정인 사이 변동의 대부분은 흔적 지문을 평가하는 단계와 판정 불가를 내는 성향의 차이에서 나온다는 것이다 (PMID 37448982, 통계 모형 연구).
더 나아가는 반론도 있다. 총기흔 논쟁을 정리한 논평은 이 글의 조직 원리 자체를 겨눈다. 집계된 전문가 수행 지표에만 초점을 맞추는 것은 표면적 관점이고 그 분야에 대한 불완전한 설명이라는 것이다. 그런 지표는 개별 사건에서 관찰된 것의 증거가치와 혼동되곤 하는데, 둘은 같지 않다 (DOI: 10.1177/13657127241278069, 논평).
그리고 마지막 한 걸음이 있다. 숫자에서 법정의 말로 옮기는 단계다. 총기흔 오류율 연구들의 응답 분포를 다시 계산해 증거의 강도를 우도비로 환산한 연구는, 그 값이 10에 못 미치는 경우도 있다고 보고한다. 그런데 감정인들이 실제로 쓰는 결론 표현은 만 배 이상의 강도를 함의할 수 있는 말이다. 저자들은 앞의 값이 그 표현을 정당화하는 것으로 보이지 않는다고 적고, 감정인들이 증거의 강도를 여러 자릿수만큼 과장하는 언어를 쓰고 있음을 이것이 시사한다고 맺는다 (DOI: 10.1111/1556-4029.15646, 재분석).
초보가 아닌 참가자 41명을 세 집단으로 나눠 같은 유골의 성별을 판정하게 했다. 두 집단에는 판정 전에 성별에 관한 사건 외 정보를 흘렸고, 한 집단은 아무 정보도 받지 않았다. 아무 정보도 받지 않은 집단에서는 31%가 남성이라고 답했다. 남성이라는 정보를 받은 집단에서는 72%가, 여성이라는 정보를 받은 집단에서는 0%가 남성이라고 답했다. 성별만이 아니었다. 조상 집단 추정과 사망 시 연령 추정에서도 편향을 보여 주는 비슷한 결과가 나왔다 (PMID 24796950, 실험).
여기까지가 기법과 측정의 문제라면, 이제부터는 사람의 문제다. 이미 품고 있는 기대에 들어맞는 쪽으로 증거를 읽고 들어맞지 않는 쪽은 흘려보내는 마음의 습관을 확증편향이라고 한다. 감정인도 사람이므로 이 습관에서 자유롭지 않다. 방금 본 것이 그 습관을 실험으로 잰 결과다.
필적에서도 비슷한 실험이 있다. 다만 여기 참가한 사람들은 실무 감정인이 아니라 일반 참가자였다. 이들에게 사건 요약을 읽히되 한쪽에만 피고인이 이미 자백했다는 정보를 넣었더니, 그쪽 참가자들이 피고인과 범인의 필적을 같은 사람이 썼다고 잘못 결론 내리는 비율이 더 높았고 피고인을 유죄로 판단하는 비율도 더 높았다. 같은 결과가 참가자 내 설계로도 재현됐다 (PMID 24341837, 실험).
과정 자체가 바뀐다는 증거도 있다. 지문 감정인 170명에게 판단 근거를 그림으로 표시하게 했더니, 동일 판정을 내릴 때는 거의 언제나(90.3%) 처음 표시했던 특징점을 더하거나 지웠다. 견본 지문을 본 뒤에 흔적 지문 해석이 바뀐 것이다. 저자들은 이 변화에 두 설명을 나란히 놓았다 — 처음의 분석이 부실했거나, 아니면 확증편향이 비교 단계에 영향을 미쳤거나. 처음에 "배제 판단에만 쓸 수 있다"고 평가했던 흔적 지문이 같은 사람의 견본과 비교되자 동일 판정으로 이어진 경우는 26%였다. 근거 표시를 요구하지 않았던 이전 연구에서 이 비율은 1.8%였다. 다만 이 연구에서 실제로 관찰된 잘못된 동일 판정은 단 1건이었다 (PMID 25553355, 블랙박스 연구 자료 재분석).
이 분야를 통틀어 정리한 체계적 문헌고찰은 29편의 1차 연구를 추렸고, 결과는 방향이 일정하다. 용의자나 사건 정황 정보를 준 연구 11편 중 9편에서 확증편향의 영향이 확인됐고, 비교 대상 견본을 제시하는 방식을 다룬 4편은 4편 모두, 앞선 감정인의 결론을 알려 준 4편도 4편 모두에서 영향이 확인됐다. 다만 저자들은 29편 중 2편에는 근거로 쓰기 어려울 만큼 심각한 방법론 결함이 있었다고 밝혔다. 같은 문헌고찰은 결론의 나머지 절반을 대응책에 썼다. 불필요한 정보 접근을 줄이는 절차, 관련 정보를 주는 순서를 통제하는 절차, 용의자 견본 하나가 아니라 여러 비교 시료를 쓰는 방식, 앞선 결론을 모르는 분석자가 결과를 재현하는 절차 — 이것들의 잠재적 가치를 함께 지지한 것이다 (PMID 30769302, 체계적 문헌고찰).
그런데 반대 방향의 결과도 있고, 그쪽도 세야 한다.
탄두 비교에서 편향을 시험한 연구는 효과를 찾지 못했다. 자격을 갖춘 감정인 6명에게 같은 탄두 세트를 두 조건으로 두 번 보여 줬는데 결론이 달라지지 않았다. 같은 연구가 1997년부터 2006년까지의 실제 사건에서 1차 감정인과 2차 감정인의 결론을 비교했더니, 오히려 사건 정보를 아는 1차 감정인 쪽이 덜 단정적이었다 (PMID 20207514, 실험 및 사건 기록 비교). 감정인이 6명뿐이라 여기서 "편향이 없다"를 끌어낼 수는 없지만, 방향이 반대인 결과가 문헌에 있다는 사실은 남는다.
더 무거운 반례는 2024년 연구다. 전문 지문 감정인과 학생에게 사건 정보의 양을 달리해 지문과 신발 자국을 비교하게 했는데, 저자들의 표현으로 결과는 사건 정보를 차단하거나 무관한 정보를 지우는 것의 효과가 없음을 시사한다. 같은 연구에서 전문 감정인은 지문에서는 학생보다 정확했지만 신발 자국에서는 학생보다 낫지 않았다. 저자들의 결론은 두 방향 모두를 겨눈다 — 학생 표본으로 감정인의 편향을 연구할 때는 조심해야 하고, 정보 삭제 절차에 대한 연구가 더 필요하다 (DOI: 10.1111/1556-4029.15565, 실험).
숙련이 방패가 된다는 결과도 있다. 다만 이 연구의 과제는 앞에서 정의한 비교 감정과 정확히 같지 않다. 현장 흔적과 견본을 견주는 것이 아니라 기계가 쓴 글씨와 사람이 쓴 글씨를 구별하는 과제였다. 거기서 문서 감정 전문가의 정확도는 조건에 따라 82.00%에서 87.33%, 비전문가는 67.33%에서 76.67%였다. 그리고 맥락 정보로 인한 편향은 비전문가에게는 뚜렷했지만 전문가에게는 영향이 미미했다 (PMID 42171363, 실험).
정리하면 이렇다. 확증편향의 영향은 여러 분야에서 반복 확인됐지만 모든 분야에서 같은 크기로 나타나지는 않고, 숙련도와 과제 종류가 그 크기를 바꾼다. "정보를 알면 반드시 흔들린다"도 "훈련받았으니 안 흔들린다"도 문헌이 받쳐 주지 않는다.
미국 국가면죄등록부가 "허위 또는 오도하는 법과학 증거"와 연관됐다고 분류한 잘못된 유죄판결 732건이 있다. 그 732건을 유형화하고 1,391건의 감정을 분석한 연구가 이 글의 가장 중요한 균형추다. 발견이 통념과 어긋난다. 법과학 증거와 관련된 오류의 대부분은 감정인이 무엇을 잘못 알아본 오류가 아니었다. 식별·분류 오류가 있었던 경우는 무능하거나 부정한 감정인, 과학적 기반이 부실한 분야, 훈련·관리·거버넌스·자원의 조직적 결함과 결부된 경우가 많았다. 더 흔한 것은 다른 쪽이었다 — 감정 결과를 보고서나 증언이 잘못 전달하거나, 정해진 기준을 지키지 않거나, 결과의 한계를 함께 밝히지 않은 것이다. 법과학 조직의 관할 밖 요인도 컸다. 확인 검사 없이 예비 검사에 의존한 것, 부실한 변론, 수사·기소 쪽이 법과학 증거를 은폐하거나 왜곡한 것이다. 저자들은 분석 대상의 약 절반에서 당시의 기술이나 증언 기준, 실무 기준이 나았다면 잘못된 유죄판결을 막을 수 있었을 것이라고 본다 (PMID 36946413, 사건 기록 유형화 연구).
가장 많이 비판받은 치흔 감정도 세어 보면 그림이 달라진다. 국가면죄등록부에서 치의학 감정이 허위·오도 증거로 지목된 사건은 26건인데, 그것이 유일한 기여 요인이었던 사건은 2건(7.69%)이었다. 반면 같은 사건들에서 공권력의 비위가 확인된 것이 19건(73.08%), 위증이나 허위 고발이 있었던 것이 16건(61.54%)이었다. 저자의 주장은 두 갈래다 — 법치의학 안에서 잘못된 유죄판결은 치흔 감정 영역에서만 나왔으므로 그 비판은 정당하지만, 법치의학 전체를 치흔 감정과 동의어로 취급하는 것은 부정확하다는 것이다 (PMID 37099885, 사례 범위 검토).
이 절이 하는 말은 "법과학은 억울하다"가 아니라 실패가 어느 자리에 몰려 있는지다. 대개는 감정인이 잘못 본 것이 아니라, 본 것이 보고서와 증언으로 옮겨지는 자리에서 어긋났다. 그 어긋남의 방향까지 이 연구가 말하지는 않는다. 방향을 말한 것은 앞 절의 우도비 재분석이고, 그 논문이 시사한 방향은 감정인의 언어가 증거의 강도를 과장하는 쪽이었다 (DOI: 10.1111/1556-4029.15646).
미국의 한 공영 법과학센터가 2015년부터 2018년까지 여러 부문에 973건의 블라인드 시료를 넣었고 그중 901건이 완료됐는데, 분석자가 시험임을 알아챈 것은 51건뿐이었다 (PMID 31873940, 프로그램 보고). 실제 사건인 척 흘려 넣은 것이다.
지금 시도되는 것은 크게 넷인데 첫째가 이렇게 몰래 내는 시험이다. 숙련도 시험의 오래된 약점은 감정인이 시험인 줄 안다는 것이다. 한 실험실의 지문 부문을 2년 반 동안 들여다본 다른 보고에서는 144개 사건에 섞인 376개 흔적 지문에 대해 위양성 오류가 한 건도 없었다. 다만 같은 보고는 다른 종류의 오류는 그보다 흔했다고 적었다 (PMID 34004529, 프로그램 보고).
둘째는 다시 보게 하는 것이다. 2011년 지문 연구에서 같은 비교를 다른 참가자가 독립적으로 다시 한 결과는 그 연구의 위양성 오류를 전부, 위음성 오류는 대부분 잡아냈다. 다만 저자들은 이것이 실제 블라인드 검증 절차가 아니라 그에 준하는 것이라고 밝혔다 (PMID 21518906). 2025년 후속 연구에서도 잘못된 동일 판정은 다른 감정인에게서 재현되지 않았지만 잘못된 배제 판정은 15%가 재현됐다 (PMID 40220722). 재검토는 "같다"는 오류엔 잘 듣고 "다르다"는 오류엔 덜 듣는다.
셋째는 정보를 통제하는 것이다. 감정인에게 필요한 정보만 필요한 순서로 주자는 접근이다. 이 방법을 검토한 논문은 효과부터 인정한다 — 정보를 객관성·관련성·편향가능성에 따라 우선순위를 매겨 편향을 줄인다는 것이다. 그다음에 한계를 적는다. 순서를 바꾸는 것이 늘 효과적이지는 않으며, 압도적으로 강하게 지각되는 정보는 순서와 무관하게 판단을 지배하고 약하게 지각되는 정보는 먼저 제시해도 무시된다 (PMID 41584824, 방법 검토). 편향 대응을 조직의 통제 문제로 다시 세워야 한다는 주장도 같은 형태다. 절차적 대응만으로는 필요하되 충분하지 않다는 것이지, 쓸모없다는 것이 아니다 (PMID 41846048, 이론 논문). 코스타리카의 국립 법과학 부서는 문서 감정 부문에서 정보 순서 통제와 블라인드 재검토를 함께 넣은 시범 프로그램을 돌렸고, 편향을 줄일 수 있는 실행 가능하고 효과적인 변화가 있음을 이 성공적인 시범 프로그램이 보여 준다고 보고했다 (PMID 39802316, 프로그램 자체 보고).
그런데 제안된 개선안이 검증에서 떨어지기도 한다. 용의자 견본 옆에 정답이 아닌 것이 확실한 견본을 여러 개 섞어 두면 과신이 줄어들 것이라는 제안이 있었다. 두 번의 실험은 이 주장을 받쳐 주지 못했다. 오히려 과신이 커졌고 불일치 판단의 정확도가 떨어졌다. 다만 위양성이 무고한 사람의 견본이 아니라 섞어 둔 견본 쪽으로 흘러가는 효과가 있어서 유죄 방향 증거의 신뢰도는 올라갔다. 그래서 저자들의 결론은 새 제안만 떨어뜨리지 않는다 — 기존 절차도 새 절차도 어느 한쪽이 일률적으로 우월하지 않다. 그리고 한정어가 있다. 이 두 실험의 참가자는 실무 감정인이 아니라 학부생과 법과학 전공 학생이었다 (PMID 41009221, 실험).
넷째는 결론을 말하는 방식을 바꾸는 것이다. 앞에서 본 우도비 재분석이 여기 걸린다 (DOI: 10.1111/1556-4029.15646). 같은 방향에서, 총기흔 감정이 출처 단정을 그만두고 관찰된 흔적과 특징의 변별력, 즉 그것이 얼마나 잘 가려 주는지를 정량화해 보고하는 쪽으로 옮겨 가야 한다는 논평이 있다. 저자들은 유전자 감식 분야가 그 길을 먼저 갔다고 지적한다 (DOI: 10.1177/13657127241278069, 논평). 지문 쪽에서도 확률 모형과 단정 결론을 화해시키는 것이 다음 과제이며 감정인이 자기 결론의 강점과 한계를 지금과 다르게 말해야 한다는 지적이 일찍부터 있었다 (PMID 26101284). 검증의 기준으로는 역학의 인과 판단 지침에서 착안한 네 기준을 제안한 논문이 있다. 저자들은 이것이 최소 기준을 정하는 체크리스트가 아니라고 명시한다 (DOI: 10.1073/pnas.2301843120, 방법론 제안).
두 보고서가 법정에 미친 영향을 검토한 2025년 논문은 장애물을 나열한다 — 판사마다 다른 실무, 이해관계자의 저항, 증거 기준의 공백, 대심 구조의 제약, 그리고 판사와 변호사의 과학 문해력 부족이다. 같은 논문은 처방으로 닫는다. 법 개혁, 모범실무 지침 개발, 그리고 학제 간 협력을 통한 판사·변호사 교육 강화가 필요하다는 것이다 (PMID 41320448, 법학 논문). 판사가 직접 쓴 논평의 표현은 더 짧다. 판사들의 반응은 지금도 엇갈린다 (PMID 37782784).
"법과학은 믿을 수 있는가"는 답할 수 있는 질문이 아니다. 답할 수 있는 것은 목록이다.
① 어느 분야인가. 이 글의 숫자들은 사람이 눈으로 견주는 비교 감정에만 해당한다. 유전자 감식처럼 다른 원리에 기대는 분야의 오류율은 이 글이 재지 않았다.
② 그 숫자는 어떤 설계에서 나왔는가. 블랙박스 연구인가 숙련도 시험인가, 몇 명이 몇 건을 풀었는가, 정답은 어떻게 확정했는가 (DOI: 10.1111/1556-4029.14435).
③ 문제가 얼마나 어려웠는가. 실제 사건 범위의 짝이었는가, 일부러 심어 둔 근접 비일치였는가, 훈련받지 않은 사람도 가려낼 만큼 쉬운 짝이었는가 (PMID 32990979; PMID 38684627).
④ 판정 불가를 어떻게 셌는가. 확정적 결론만 세면 99%가 넘고, 판정 불가를 넣으면 63.5%까지 내려간 사례가 있다 (PMID 37155908).
⑤ 감정인이 무엇을 알고 있었고, 누가 다시 봤는가. 사건 정보가 판단을 바꾼 실험이 여러 분야에 있고 (PMID 30769302), 블라인드 검증에 준하는 재검토가 위양성 오류를 전부 잡아낸 연구도 있다 (PMID 21518906).
⑥ 결론이 어떤 말로 법정에 옮겨졌는가. 오판 사건 유형화 연구가 가장 흔하게 지목한 것은 식별 오류가 아니라 결과가 잘못 전달되거나, 기준을 지키지 않거나, 한계가 함께 밝혀지지 않은 것이었다 (PMID 36946413).
여섯 질문 중 어느 것도 "이 증거를 버려라"로 이어지지 않는다. 반대로 어느 것도 "이제 다 해결됐다"로 이어지지 않는다. 블라인드 시험만 봐도 그렇다. 20년도 더 전에 유전자 감식 분야에서 시도됐는데, 열다섯 번의 시험 중 하나는 실험실이 알아챘고 하나는 수사기관이 알려 줬으며 하나는 연락이 끊겨 끝내 완료되지 못했다 (DOI: 10.1520/jfs2002043, 타당성 연구). 준비와 시행의 부담이 커서 실험실 관리자가 시작조차 못 한다는 지적도 뒤따랐다. 다만 같은 보고의 결론은 반대쪽에 있다 — 계획과 시행착오를 거쳐 프로그램은 실행 가능함이 입증됐고, 어떻게 최적화할지도 분명해졌다 (PMID 31922611, 프로그램 보고). 개선안이 문헌에 있다는 것과 그것이 실험실마다 깔려 있다는 것은 다른 이야기이지만, 실행할 수 없다는 이야기도 아니다.
이 글이 남기고 싶은 구분은 하나다. 재지 않은 것과, 재서 낮게 나온 것은 다르다. 2009년에 없던 것은 숫자였고 지금 있는 것은 숫자다. 그런데 그 숫자는 홀로 서지 못한다. 어떤 문제를 몇 명이 풀었는지, 유보한 답을 어떻게 셌는지가 함께 있어야 한다.
드라마에서 확대경을 든 사람은 언제나 답을 준다. 실제로 그 자리에 앉은 사람은 대체로 조심스럽고, 자주 판단을 유보하며, 문제에 따라 아주 드물게도 꽤 자주도 틀린다. 이 문장 전체가 한 사람의 인생을 정하는 방에서 읽히려면, 마지막 조건절까지 함께 읽혀야 한다.