Paperis 아티클
인간 판사보다 공정하리라 믿었던 알고리즘, 그 약속이 수학 앞에서 흔들리기까지
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
법정에서 누군가의 자유가 걸린 결정을 내릴 때, 우리는 오래 인간 판사를 믿어 왔다. 그러나 인간은 편견에 약하다. 같은 사건이라도 판사의 기분, 피고의 피부색, 그날의 컨디션에 따라 결과가 갈린다는 의심은 늘 따라다녔다. 그래서 한 가지 매력적인 발상이 등장했다. 객관적이고 일관된 알고리즘에게 재범 위험을 계산하게 하면, 인간의 변덕과 편견을 걷어낼 수 있지 않을까.
미국 법원은 실제로 그렇게 했다. COMPAS라는 재범 위험 평가 도구가 보석·양형·보호관찰 결정의 보조 자료로 20년 넘게 쓰여 왔다 (DOI: 10.36645/mtlr.30.2.fairness). 데이터 기반이니 더 공정하리라는 기대였다.
이 글은 그 기대가 어떻게 흔들렸는지를 따라간다. 결론부터 말하면, "공정한 알고리즘"이라는 말 자체가 생각보다 훨씬 까다로운 약속이었다. 한 가지 미리 밝혀 둘 것이 있다. 여기 인용하는 거의 모든 근거는 미국을 중심으로 한 특정 관할권의 법학·기계학습 학술 논쟁이다. 그래서 "어느 나라나 그렇다"가 아니라 "주로 미국 형사사법에서 이렇게 논쟁됐다"로 읽어야 한다.
알고리즘 도입의 논리는 단순했다. 인간 판사는 일관되지 않고 편향될 수 있으니, 데이터로 학습한 도구가 그 변덕과 편향을 줄여 주리라는 기대였다. 실제로 예측 분석을 형사사법에 들이려는 흐름은 "인간의 편향되거나 변덕스러운 판단을 바로잡아 결과의 평등과 공정을 개선한다"는 약속을 내걸고 퍼졌다 (DOI: 10.24908/ss.v17i3/4.10410).
도구 자체의 예측력도 근거로 제시됐다. COMPAS의 예측 타당도를 검증한 연구는 재범 예측의 판별력 지표(AUC)가 .66~.80 범위로, 비슷한 세대의 도구들과 동등하거나 그 이상이었다고 보고했다 (DOI: 10.1177/0093854808326545). "데이터가 사람보다 낫다"는 통념은 그럴듯해 보였다.
그런데 검증이 쌓이며 다른 그림이 나왔다. 탐사보도 매체 ProPublica가 COMPAS의 예측이 흑인 피고에게 인종적으로 편향돼 있다고 폭로한 것이 출발점이었다. 이를 인과추론 틀(FACT)로 다시 분석한 연구는 COMPAS가 아프리카계 미국인 피고에게 인종적 편향을 보인다는 강한 증거를 제시했고, 그 추정이 측정되지 않은 교란 요인이 있어도 견고하다고 보고했다 (DOI: 10.1609/aaai.v34i10.7192).
문제의 핵심은 오류의 분포였다. COMPAS를 정밀 감사한 연구는 위험 점수를 뜯어보자 범죄 전력 특성이 구조적으로 증폭되고, 나이라는 변수가 인종 집단별로 극단적인 비대칭을 보여 — 사실상 집단마다 다른 판단 규칙이 작동하는 것과 같아 — 동등 대우 원칙을 위반한다고 결론지었다 (DOI: 10.2139/ssrn.6168631).
비판의 무게를 더한 결정적 연구가 또 있다. 상업용 재범 위험 평가 소프트웨어가 형사사법 전문성이 없는, 무작위로 모은 사람들의 판단보다 나을 게 없다는 선행 연구를 재현한 작업은, 로지스틱 회귀·SVM·XGB까지 동원하고 편향 제거 기법을 적용해도 정확도는 소폭만 개선될 뿐이라고 정리했다. 그리고 데이터에 박힌 편향은 AI 위험 평가 도구 안에 그대로 남는다고 못 박았다 (DOI: 10.1007/s43681-026-01116-0). 도구를 정교하게 다듬는 것만으로는 풀리지 않는 무언가가 있다는 신호였다.
여기서 더 깊은 문제가 드러난다. 알고리즘은 자기가 학습한 데이터를 거울처럼 비춘다. 그런데 형사사법 데이터의 출발점인 체포 기록 자체가 범죄를 공정하게 반영하지 못한다.
체포가 범죄의 척도로서 갖는 인종적 차이를 검토한 종설은, 위험 평가 도구 연구 대부분이 체포 데이터를 사실상 편향 없는 범죄 척도로 쓰지만 이는 "체포가 범죄의 편향된 대리지표"라는 오랜 우려와 충돌한다고 지적했다. 체포 데이터가 도구의 핵심인 한, 체포가 범죄를 대리하는 방식의 인종 차이가 도구를 편향시키는 핵심 경로일 수 있다는 것이다 (DOI: 10.1146/annurev-criminol-022422-125019).
예측 치안에서도 같은 함정이 보인다. 예측 치안의 공정성을 체계적으로 검토한 연구는 모델 차별의 주요 원인이 다름 아닌 경찰의 활동 자체라고 짚었다 (DOI: 10.1007/s43681-024-00541-3). 한 정책 브리프는 이를 "구조적" 한계로 명명한다 — 도구가 범죄가 일어나는 곳이 아니라 경찰이 순찰하는 곳을 반영하는 치안 데이터에서 편향을 물려받는다는 것이다 (DOI: 10.2139/ssrn.6713159). 즉 알고리즘을 비난하기 전에, 알고리즘이 먹은 데이터를 의심해야 한다.
여기까지는 "데이터를 고치면 되지 않나"라는 반문이 가능하다. 그런데 이 이야기의 가장 깊은 층에는, 데이터를 아무리 손봐도 풀리지 않는 수학적 사실이 있다. 공정성 불가능성이다.
직관적으로 우리는 공정한 도구라면 두 가지를 동시에 만족하길 바란다. 하나는 위험 점수의 보정 — 같은 점수를 받은 사람은 인종과 무관하게 실제 재범률이 같아야 한다는 것이다. 다른 하나는 오류율의 균형 — 재범하지 않을 사람을 위험하다고 잘못 분류하는 위양성률이 집단별로 같아야 한다는 것이다. ProPublica의 비판이 겨눈 지점이 바로 이 위양성률이었다.
문제는 이 둘을 동시에 가질 수 없다는 데 있다. 재범 예측 도구의 공정성을 형식화한 연구는, 학자들이 제안한 공정성 기준들이 서로 충돌하며 상호 배타적이라, 한 시스템이 그 기준들을 동시에 만족하는 것은 수학적으로 불가능하다고 정리했다 (DOI: 10.36645/mtlr.30.2.fairness). 더 일반적인 증명도 있다. 공정성-정확도 한계를 분석한 연구는 집단별 기저 재범률이 다를 때, 어떤 분류기도 통계적 동등성·균등화 오즈·예측 동등성을 (퇴화된 경우를 빼면) 동시에 만족할 수 없다는 불가능성 정리를 제시했다 (DOI: 10.21203/rs.3.rs-8598316/v1).
이 사실이 형사사법에서 갖는 의미는 묵직하다. 한 정책 브리프는 이렇게 명료하게 정리한다. 집단별 재범 기저율이 다를 때 어떤 알고리즘도 모든 공정성 지표를 동시에 만족할 수 없으며, 예측 동등성을 달성하면 집단별 오류율이 불균등해지고, 오류율을 균등화하면 예측 동등성이 깨진다. 따라서 공정성 지표 사이의 선택은 기술적 최적화가 아니라 가치 판단이라는 것이다 (DOI: 10.2139/ssrn.6713159). 같은 주제를 다룬 또 다른 연구도 어떤 통계적 척도를 공정성의 기준으로 삼을지를 결국 선택해야 한다며, 자신은 위양성 동등성을 최선의 기준으로 제안한다 (DOI: 10.36645/mtlr.30.2.fairness).
심지어 일부 철학적 분석은 더 나아가, '알고리즘 공정성'이 같은 상황에 적용되면서 동시에 적용되지 않을 수 있는 비일관적 개념일 수 있다고 본다 (DOI: 10.5406/21521123.62.1.04). 다시 말해 우리가 한 단어로 부르는 '공정'은 사실 양립 불가능한 여러 요구를 한데 묶은 이름이었던 셈이다.
공정성이 가치 선택의 문제라면, 그 선택을 누가 어떻게 정당화하는가라는 절차의 문제가 따라온다. 여기서 형사사법 특유의 쟁점들이 불거진다.
첫째는 투명성과 정당절차다. 미국에서 COMPAS가 양형에 쓰인 사건(State v. Loomis)은 공권력을 검증 불가능한 AI에 무비판적으로 외주화하는 것이 인권과 법치를 위협할 수 있음을 보여준 사례로 거론된다 (DOI: 10.47348/sacj/v34/i1a2). 자동화 재범 위험 평가 시스템을 분석한 연구도 COMPAS 같은 프로그램이 내린 결정의 설명 가능성과 비차별성 문제를 정당절차의 핵심 과제로 짚었다 (DOI: 10.18572/2072-4152-2024-12-16-20). 피고가 자신을 위험하다고 판정한 근거를 들여다볼 수 없다면, "반박할 기회"라는 정당절차의 약속은 공허해진다.
둘째는 헌법적 정당성이다. COMPAS를 헌법·국제인권 틀로 분석한 연구는, 흑인 피고가 비슷한 전력의 백인 피고보다 더 높은 위험 점수를 받는다는 연구들을 근거로 현행 적용이 미국의 정당절차·평등보호 법리상 부적합하다고 보았다. 다만 이 연구는 도구의 전면 폐지보다 EU AI법 같은 강한 규제가 더 현실적인 길이라고 제안한다 (DOI: 10.2139/ssrn.6387640).
셋째는 인간의 존엄과 도덕적 지위다. 알고리즘 양형과 인간 존엄을 다룬 연구는, 양형이 요구하는 규범적 판단을 단순한 경험적 예측으로 치환하는 것은 범주 오류일 뿐 아니라 피고를 도덕적 행위자로 인정하지 못하는 실패라고 본다 (DOI: 10.2139/ssrn.6536358). 비슷하게, '개별 정의'를 다룬 연구는 각 사건을 그 자체의 사정으로 판단하는 일이 미리 정해진 규칙으로 추론하는 알고리즘과 본질적으로 대립하므로, 그 가치를 지키려면 인간의 개입과 감독이 필요하다고 논했다 (DOI: 10.31228/osf.io/kz4s2).
그렇다면 알고리즘을 버리고 인간 판사로 돌아가면 되는가. 이야기는 그렇게 깔끔하지 않다. 공정성·책임·투명성(FAT) 문제를 정면으로 다룬 연구는, 그 우려들이 심각하지만 해결 불가능한 것은 아니며, 무엇보다 똑같은 공정성·책임·투명성 문제가 기존의 인간 의사결정에는 더 절박하게 적용된다고 지적한다. 질문은 결국 비교적이라는 것이다 — 알고리즘이 형사사법의 현 상태를 개선할 수 있는가. 여기에 단정적 답은 없지만 신중한 낙관의 여지는 있다고 본다 (DOI: 10.1017/s1744552319000077).
실증 근거도 양쪽으로 갈린다. 보석 전 단계에서 위험 평가에 기반한 석방 정책의 효과를 인과 분석으로 추정한 연구는, 14만 6천여 명의 연방 피고 데이터에서 그 정책이 구금을 34.2% 줄이고 공공 안전 위험은 1.6%만 늘리며, 흑인 피고가 백인 피고보다 더 큰 혜택을 받는다고 보고했다 (DOI: 10.1111/1745-9133.70015). 보석 전 위험 평가 도구를 옹호하는 연구는, 인종·민족 집단 간 차이가 있어도 도구가 재범을 잘 예측하며, 그 결과가 실제로 의사결정에 반영될 때 유색인종과 백인 모두에게 구금을 줄이는 효과적 전략이 될 수 있다고 정리한다 (DOI: 10.1177/00938548211041651). 한 다지점 검증 연구는 널리 쓰이는 PSA 도구가 여섯 개 인종-성별 집단 전반에서 타당하고 일관된 예측을 보였다고 보고했다 (DOI: 10.1177/00938548241233934).
그리고 학계는 불가능성을 우회할 길도 모색한다. '공정성 불가능성'을 다룬 연구는, 형식적 공정성이 고립된 의사결정 절차에만 분석을 가두기 때문에 불가능성에 빠진다며, 법·철학의 실질적 평등 이론에 기댄 실질적 공정성으로 분석 범위를 넓히면 그 함정을 벗어날 수 있다고 제안한다 (DOI: 10.1007/s13347-022-00584-6). 최적수송 기법으로 불리한 집단을 유리한 집단처럼 다루는 반사실 보정을 시도한 연구는, 법적으로 보호되는 집단에 대해 파레토 개선에 부합하는 공정성 향상을 일관되게 얻을 수 있음을 보였다 (DOI: 10.1177/00491241231155883).
COMPAS 논쟁이 가르치는 것은, "공정한 알고리즘"이 하나의 정답을 가진 공학 문제가 아니라는 사실이다. 통념은 알고리즘이 인간의 편견을 걷어 주리라 했지만, ProPublica의 폭로는 위양성의 인종 격차를 드러냈고, 공정성 불가능성 정리는 그 격차를 완전히 없애려는 시도가 동시에 다른 공정성을 깨뜨린다는 수학적 한계를 보여줬다. 어떤 공정성을 택할지는 가치 판단이고, 그 판단의 정당화에는 투명성·정당절차·존엄·책임이라는 절차의 문턱이 따른다. 인간 판단 대비 우열조차 — 인간 역시 같은 결함을 안고 있기에 — 여전히 논쟁적이다.
그래서 정직한 결론은 단정이 아니라 트레이드오프의 인정이다. 알고리즘이 형을 정하게 둘 것인가라는 물음에 대한 답은, 어떤 공정성을 우리가 더 중히 여기는지, 그리고 그 선택을 누가 책임지고 설명할 수 있는지를 먼저 정직하게 묻는 데서 시작한다.
이 글은 정보 제공을 위한 것이며, 인용한 근거의 상당수는 미국 등 특정 관할권의 법학·기계학습 학술 분석입니다. 법적 조언이 아니며, 관할권에 따라 결론이 달라질 수 있습니다.
COMPAS와 ProPublica 폭로
데이터라는 함정
공정성 불가능성
절차의 쟁점
정직한 현주소