알고리즘이 형을 정한다 — AI 재범 예측은 공정한가

법정에서 누군가의 자유가 걸린 결정을 내릴 때, 사람들은 오래 인간 판사를 믿어 왔습니다. 그러나 인간은 편견에 약합니다. 같은 사건이라도 결과가 갈린다는 의심이 늘 따라다녔습니다. 판사의 기분, 피고의 피부색, 그날의 컨디션이 변수라는 것입니다. 그래서 한 가지 발상이 등장했습니다. 객관적이고 일관된 알고리즘에게 재범 위험을 계산하게 하면 어떨까. 인간의 변덕과 편견을 걷어낼 수 있다는 발상이었습니다.

미국 법원은 실제로 그렇게 했습니다. COMPAS는 피고가 다시 범죄를 저지를 위험을 점수로 매기는 소프트웨어입니다. 이 도구가 재판 전 석방(보석), 형량을 정하는 양형, 보호관찰 결정의 보조 자료로 쓰여 왔습니다. 재범 위험 평가 도구가 이런 판단을 돕는 데 늘어나고 있다는 점은 인용 연구가 짚습니다 (DOI: 10.36645/mtlr.30.2.fairness). 데이터에 기반하니 더 공정하리라는 기대였습니다.

이 글은 그 기대가 어떻게 흔들렸는지를 따라갑니다. 결론부터 말하면, "공정한 알고리즘"이라는 말 자체가 생각보다 훨씬 까다로운 약속이었습니다. 먼저 이 글이 어느 법을 놓고 쓰였는지 밝혀 둡니다. 인용하는 거의 모든 근거는 미국 형사사법을 중심으로 한 법학·기계학습 학술 논쟁입니다. 그러므로 "어느 나라나 그렇다"가 아니라 "주로 미국에서 이렇게 논쟁됐다"로 읽어야 합니다. 한국 법의 이야기는 아닙니다.

통념 — 알고리즘이 인간 판사보다 공정할 것이다

알고리즘 도입의 논리는 단순했습니다. 인간 판사는 일관되지 않고 편향될 수 있습니다. 데이터로 학습한 도구가 그 변덕과 편향을 줄여 주리라는 기대였습니다. 예측 분석을 형사사법에 들이려는 흐름은 하나의 약속을 내걸고 퍼졌습니다. "인간의 편향되거나 변덕스러운 판단을 바로잡아 결과의 평등과 공정을 개선한다"는 약속입니다 (DOI: 10.24908/ss.v17i3/4.10410).

도구의 예측력도 근거로 제시됐습니다. 한 검증 연구(2,328건)에서 COMPAS의 판별력 지표(AUC, 0.5는 우연 수준이고 1은 완벽)는 하위집단과 결과 기준에 따라 .66~.80이었습니다. 비슷한 세대의 도구들과 동등하거나 그 이상이었습니다 (DOI: 10.1177/0093854808326545). "데이터가 사람보다 낫다"는 통념은 그럴듯해 보였습니다.

폭로 — ProPublica가 짚은 COMPAS의 인종 편향

그런데 검증이 쌓이며 다른 그림이 나왔습니다. 출발점은 탐사보도 매체 ProPublica의 분석이었습니다. 이 매체는 COMPAS의 예측이 흑인 피고에게 인종적으로 편향돼 있다고 보도했습니다.

이를 인과추론 틀(FACT)로 다시 분석한 학생 초록(Student Abstract)이 있습니다. 이 초록은 COMPAS가 아프리카계 미국인 피고에게 인종적 편향을 보인다는 강한 증거를 제시했다고 보고합니다. 측정되지 않은 교란 요인이 있어도 그 추정은 견고하다고 합니다 (DOI: 10.1609/aaai.v34i10.7192).

문제의 핵심은 오류가 어떻게 분포하느냐였습니다. 민감도 분석으로 COMPAS 자료를 살핀 SSRN 워킹페이퍼가 있습니다. 범죄 전력 특성이 구조적으로 증폭되고, 나이라는 변수는 인종 집단별로 크게 다른 비대칭을 보였다고 합니다. 저자들은 이를 사실상 집단마다 다른 판단 규칙이 작동하는 것과 같다고 보았습니다. 같은 조건의 사람을 같게 대우한다는 원칙을 위반한다는 결론입니다 (DOI: 10.2139/ssrn.6168631).

비판의 무게를 더한 연구가 또 있습니다. 선행 연구는 상업용 재범 위험 평가 소프트웨어가 무작위로 모은 비전문가의 판단보다 나을 게 없다고 보고했습니다. 이 결과를 재현한 작업이 있습니다. 여러 기계학습 모델을 쓰고 편향 제거 기법까지 적용했더니 정확도가 소폭 개선됐습니다. 저자들은 편향 제거 기법이 한계까지는 도움이 되지만, 데이터에 박힌 편향이 AI 위험 평가 도구 안에 남을 수 있다고 정리했습니다 (DOI: 10.1007/s43681-026-01116-0). 도구를 정교하게 다듬는 것만으로는 풀리지 않는 무언가가 있다는 신호로 읽힙니다.

왜 편향이 사라지지 않는가 — 데이터라는 함정

여기서 더 깊은 문제가 드러납니다. 알고리즘은 자기가 학습한 데이터를 거울처럼 비춥니다. 그런데 형사사법 데이터의 출발점인 체포 기록이 범죄의 편향된 대리지표라는 우려가 오래전부터 있습니다.

알고리즘 편향을 검정하는 연구 대부분은 체포 데이터를 사실상 편향 없는 범죄 척도로 씁니다. 그 우려와 충돌하는 관행입니다. 체포가 범죄의 척도로서 갖는 인종적 차이를 검토한 종설이 이렇게 지적했습니다 (DOI: 10.1146/annurev-criminol-022422-125019). 체포 데이터가 도구의 핵심인 한, 체포가 범죄를 대리하는 방식의 인종 차이가 도구를 편향시키는 핵심 경로일 수 있다는 것입니다. 다만 편향된 체포 기록이 알고리즘 편향을 얼마나 만드는지 측정한 연구는 거의 없다고 이 종설은 덧붙입니다.

예측 치안(predictive policing), 곧 데이터로 다음 범죄 장소를 예측해 경찰을 배치하는 방식에서도 같은 함정이 보입니다. 예측 치안의 공정성을 체계적으로 검토해 보니 모델 차별의 주요 요인 가운데 하나가 경찰의 활동 자체였습니다 (DOI: 10.1007/s43681-024-00541-3). 한 정책 브리프는 이를 "구조적" 한계로 부릅니다. 치안 데이터는 범죄가 일어나는 곳이 아니라 경찰이 순찰하는 곳을 반영하고, 도구는 거기서 편향을 물려받습니다 (DOI: 10.2139/ssrn.6713159). 이 논지에 따르면 알고리즘만이 아니라 알고리즘이 먹은 데이터도 함께 따져 봐야 합니다.

공정의 기준이 서로 부딪히면 — 공정성 불가능성

여기까지는 "데이터를 고치면 되지 않나"라는 반문이 가능합니다. 그런데 이 이야기의 가장 깊은 층에는 데이터를 아무리 손봐도 풀리지 않는 수학적 사실이 있습니다. 공정성 불가능성(impossibility of fairness)입니다.

공정한 도구라면 두 가지를 동시에 만족해야 한다고 직관적으로 생각하게 됩니다. 하나는 위험 점수의 보정(calibration)입니다. 같은 점수를 받은 사람은 인종과 무관하게 실제 재범률이 같아야 한다는 뜻입니다. 다른 하나는 오류율의 균형(error rate balance)입니다. 재범하지 않을 사람을 위험하다고 잘못 분류하는 비율(위양성률)과 재범할 사람을 놓치는 비율(위음성률)이 집단별로 같아야 한다는 뜻입니다. COMPAS 논쟁은 어떤 기준으로 편향을 잴지를 놓고 세 갈래로 나뉘었습니다 (DOI: 10.36645/mtlr.30.2.fairness).

문제는 집단별 재범률이 다를 때 이 기준들을 동시에 가질 수 없다는 데 있습니다. 학자들이 제안한 공정성 기준들은 서로 충돌하며 상호 배타적입니다. 한 시스템이 그 기준들을 동시에 만족하는 것은 수학적으로 불가능합니다. 재범 예측 도구의 공정성을 형식화한 연구가 이렇게 정리했습니다 (DOI: 10.36645/mtlr.30.2.fairness).

더 일반적인 증명도 있습니다. 기저 재범률(base rate)은 각 집단에서 실제로 재범하는 사람의 비율입니다. 집단별 기저 재범률이 다르면, 어떤 분류기도 세 가지 기준을 (퇴화된 경우를 빼면) 동시에 만족할 수 없습니다. 세 기준은 통계적 동등성, 균등화 오즈, 예측 동등성입니다. 통계적 동등성(statistical parity)은 점수가 높은 비율이 집단마다 같다는 뜻입니다. 균등화 오즈는 두 오류율이 같다는 뜻이고, 예측 동등성(predictive parity)은 같은 점수의 재범률이 같다는 뜻입니다. 공정성과 정확도의 한계를 분석한 프리프린트가 이 불가능성 정리를 제시했습니다 (DOI: 10.21203/rs.3.rs-8598316/v1).

이 사실이 형사사법에서 갖는 의미는 묵직합니다. 한 정책 브리프의 정리는 이렇습니다. 집단별 재범 기저율이 다르면 어떤 알고리즘도 모든 공정성 지표를 동시에 만족할 수 없습니다. 예측 동등성을 달성하면 집단별 오류율이 불균등해지고, 오류율을 균등화하면 예측 동등성이 깨집니다. 그래서 이 브리프는 지표 사이의 선택이 기술적 최적화가 아니라 가치 판단이라고 봅니다 (DOI: 10.2139/ssrn.6713159). 앞서 본 형식화 연구도 어떤 통계적 척도를 공정성의 기준으로 삼을지는 결국 선택해야 한다고 봅니다. 이 연구는 위양성 동등성을 최선의 기준으로 제안합니다 (DOI: 10.36645/mtlr.30.2.fairness).

일부 철학적 분석은 더 나아가 '알고리즘 공정성'이 비일관적 개념인지 묻습니다. 같은 상황에 적용되면서 동시에 적용되지 않을 수 있는 개념이라는 가설입니다 (DOI: 10.5406/21521123.62.1.04). 이 가설이 맞다면 한 단어로 부르는 '공정'은 양립 불가능한 여러 요구를 묶은 이름일 수 있습니다. 저자는 이를 확정하기보다 더 따져 볼 선택지로 내놓습니다.

절차의 쟁점 — 설명할 수 있는가, 반박할 수 있는가

공정성이 가치 선택의 문제라면, 그 선택을 누가 어떻게 정당화하는가라는 절차의 문제가 따라옵니다. 여기서 형사사법 특유의 쟁점이 불거집니다.

첫째는 투명성과 정당절차입니다. 정당절차(due process)는 처분을 받는 사람이 그 근거를 알고 반박할 기회를 가져야 한다는 원칙입니다. COMPAS가 양형에 쓰인 State v. Loomis 사건이 있습니다. 한 논문은 이 사건을 위험의 사례로 보고, 공권력을 AI 시스템에 아무 견제 없이 넘기면 인권과 법치가 위협받을 수 있다고 봅니다 (DOI: 10.47348/sacj/v34/i1a2). 한편 위스콘신주 대법원은 2016년 이 사건에서 양형 법원이 COMPAS 점수를 참고하는 것 자체는 정당절차 위반이 아니라고 판단했습니다. 다만 점수는 구금 여부나 형량을 정하는 결정적 근거로 쓸 수 없고, 점수의 한계를 서면으로 알려야 한다는 조건을 달았습니다.

자동화 재범 위험 평가 시스템을 분석한 연구도 비슷한 문제를 짚었습니다. COMPAS 같은 프로그램이 내린 결정의 설명 가능성과 비차별성이 정당절차의 핵심 과제라고 봅니다. 이 연구는 정당절차 요건을 충족하는 허용 가능한 사용 방식도 제안합니다 (DOI: 10.18572/2072-4152-2024-12-16-20). 이 비판에 따르면 판정 근거를 볼 수 없는 피고에게 "반박할 기회"는 형식에 그칩니다.

둘째는 헌법적 정당성입니다. COMPAS를 미국 헌법과 국제인권 틀로 분석한 논문이 있습니다. 저자는 흑인 피고가 비슷한 전력의 백인 피고보다 높은 위험 점수를 받는다는 연구들을 근거로 듭니다. 그리고 현행 적용이 미국의 정당절차와 평등보호(법 앞의 평등을 보장하는 헌법 원칙) 법리에 비추어 부적합하다고 주장합니다. 다만 도구의 전면 폐지보다 EU AI법 같은 강한 규제가 더 현실적인 길이라고 제안합니다 (DOI: 10.2139/ssrn.6387640).

셋째는 인간의 존엄과 도덕적 지위입니다. 한 논문에 따르면 많은 법제의 양형법은 판사에게 "얼마나 위험한가"에 더해 사람과 행위에 대한 규범적 판단을 요구합니다. 이를 단순한 경험적 예측으로 바꿔 놓는 것은 범주 오류일 뿐 아니라, 피고를 도덕적 행위자로 인정하지 못할 위험이 있다는 주장입니다 (DOI: 10.2139/ssrn.6536358). '개별 정의'를 다룬 연구도 있습니다. 각 사건을 그 자체의 사정으로 판단하는 일은 미리 정해진 규칙으로 추론하는 알고리즘과 본질적으로 대립합니다. 그래서 그 가치를 지키려면 인간의 개입과 감독이 필요하다는 논지입니다 (DOI: 10.31228/osf.io/kz4s2).

알고리즘을 버리면 해결되는가 — 인간 판단과의 비교

그렇다면 알고리즘을 버리고 인간 판사로 돌아가면 될까요. 이야기는 그렇게 깔끔하지 않습니다. 공정성·책임·투명성(FAT) 문제를 정면으로 다룬 연구는 그 우려들이 심각하지만 해결 불가능하지는 않다고 지적합니다. 더 중요하게는 똑같은 문제가 기존의 인간 의사결정에 더 절박하게 적용된다고 봅니다. 그래서 질문은 결국 비교적입니다. 알고리즘이 형사사법의 현 상태를 개선할 수 있는가 하는 질문입니다. 저자는 단정적 답은 없지만 신중한 낙관의 여지는 있다고 봅니다 (DOI: 10.1017/s1744552319000077).

실증 근거도 양쪽으로 갈립니다. 먼저 보석 전 단계 연구입니다. 미국 연방의 재판 전 위험 평가 도구(PTRA)가 낮다고 본 피고를 원칙적으로 석방하는 정책을 가정해, 인과 분석으로 효과를 추정했습니다. 미국 연방 피고 14만 6천여 명의 데이터로 판사의 현행 결정과 비교했습니다. 이 정책은 구금을 34.2% 줄이고 공공 안전 위험은 1.6% 늘리는 것으로 추정됐습니다. 흑인 피고가 백인 피고보다 더 큰 혜택을 받는다고도 보고했습니다. 저자들은 이 도구가 판사의 재량을 대체하기보다 강하게 이끄는 역할을 해야 한다고 봅니다 (DOI: 10.1111/1745-9133.70015).

보석 전 위험 평가 도구를 옹호하는 연구도 있습니다. 이 연구의 정리로는 인종·민족 집단 간 차이가 있어도 도구가 재범을 잘 예측합니다. 그 결과가 실제로 의사결정에 반영되면 유색인종과 백인 모두에게 구금을 줄이는 효과적 전략이 될 수 있습니다 (DOI: 10.1177/00938548211041651). COMPAS가 아닌 다른 도구(PSA)의 예측 편향 검정에서, 여섯 개 인종-성별 집단 전반에서 타당하고 일관된 예측이 나왔다고 저자들은 보고합니다 (DOI: 10.1177/00938548241233934).

학계는 불가능성을 우회할 길도 모색합니다. 한 연구는 형식적 공정성이 분석을 고립된 의사결정 절차에 가두기 때문에 불가능성에 빠진다고 봅니다. 해법은 법·철학의 실질적 평등 이론에 기댄 실질적 공정성으로 분석 범위를 넓히는 것입니다. 그러면 그 함정을 벗어날 수 있다는 제안입니다 (DOI: 10.1007/s13347-022-00584-6). 다른 연구는 불리한 집단을 유리한 집단처럼 다루는 반사실 보정을 최적수송 기법으로 시도했습니다. 한 대도시의 30만 명 표본에서, 법적으로 보호되는 집단의 공정성을 상당히 높일 수 있다고 보였습니다. 이 향상은 파레토 개선과 양립한다고 합니다. 파레토 개선(Pareto improvement)은 한쪽을 나쁘게 만들지 않고 이루는 개선입니다. 이 결과는 해당 표본과 연구가 정한 공정성 척도 안에서의 것입니다 (DOI: 10.1177/00491241231155883).

남은 질문 — 어떤 공정성을 택할 것인가

COMPAS 논쟁은 "공정한 알고리즘"이 정답 하나를 가진 공학 문제가 아님을 보여 줍니다. 통념은 알고리즘이 인간의 편견을 걷어 주리라 했습니다. 그러나 ProPublica는 위양성의 인종 격차를 지적했습니다. 공정성 불가능성 정리도 있습니다. 집단별 재범률이 다를 때 그 격차를 완전히 없애려는 시도는 다른 공정성을 깨뜨린다는 수학적 한계를 보였습니다.

어떤 공정성을 택할지는 가치 판단입니다. 그 판단을 정당화하려면 투명성·정당절차·존엄·책임이라는 절차의 문턱을 넘어야 합니다. 인간 판단도 같은 문제를 안고 있다는 반론이 있어, 인간 판단과 비교한 우열은 여전히 논쟁적입니다.

그래서 이 글이 남기는 것은 트레이드오프를 인정하는 일입니다. 알고리즘이 형을 정하게 둘 것인가라는 물음은 두 질문에서 시작합니다. 어떤 공정성을 더 중히 여기는가. 그 선택을 누가 책임지고 설명할 수 있는가.

이 글은 정보 제공을 위한 것이며, 인용한 근거의 상당수는 미국 등 특정 관할권의 법학·기계학습 학술 분석입니다. 법적 조언이 아니며, 관할권에 따라 결론이 달라질 수 있습니다.

---

근거 논문

COMPAS와 ProPublica 폭로

• COMPAS 재범 위험 데이터셋 재현·편향·공정성 — DOI: 10.1007/s43681-026-01116-0
• 인과추론(FACT)으로 본 COMPAS의 인종 편향 — DOI: 10.1609/aaai.v34i10.7192
• COMPAS 감사: 위험 점수의 구조적 증폭과 비대칭 — DOI: 10.2139/ssrn.6168631
• COMPAS 예측 타당도 검증(AUC .66~.80) — DOI: 10.1177/0093854808326545
• COMPAS 논쟁: 공정성·투명성·데이터(독일어권) — DOI: 10.1007/s11757-022-00741-9
• COMPAS와 인간 결정권 침식 — DOI: 10.22197/rbdpp.v12i1.1287

데이터라는 함정

• 체포가 범죄의 편향된 대리지표라는 문제 — DOI: 10.1146/annurev-criminol-022422-125019
• 예측 치안의 공정성: 경찰 활동이 차별의 원인 — DOI: 10.1007/s43681-024-00541-3
• 예측 치안: 차별의 원인이자 해법이라는 역설 — DOI: 10.24908/ss.v17i3/4.10410

공정성 불가능성

• 재범 예측 도구 공정성의 형식화(상호 배타적 기준) — DOI: 10.36645/mtlr.30.2.fairness
• 공정성-정확도 불가능성 정리 — DOI: 10.21203/rs.3.rs-8598316/v1
• 보석 전 도구의 구조적·기술적 한계와 가치 판단 — DOI: 10.2139/ssrn.6713159
• 알고리즘 공정성은 비일관적 개념인가 — DOI: 10.5406/21521123.62.1.04

절차의 쟁점

• Loomis 사건과 알고리즘 양형의 위험 — DOI: 10.47348/sacj/v34/i1a2
• 자동화 재범 평가의 설명 가능성·비차별 과제 — DOI: 10.18572/2072-4152-2024-12-16-20
• COMPAS의 헌법·인권 도전과 강한 규제론 — DOI: 10.2139/ssrn.6387640
• 알고리즘 양형과 인간 존엄 — DOI: 10.2139/ssrn.6536358
• 개별 정의와 인간 판단의 필요 — DOI: 10.31228/osf.io/kz4s2

정직한 현주소

• FAT의 비교적 질문: 인간 현 상태 대비 개선 가능한가 — DOI: 10.1017/s1744552319000077
• 위험 기반 보석 전 석방 정책의 효과(인과 분석) — DOI: 10.1111/1745-9133.70015
• 보석 전 위험 평가 도구를 옹호하는 실증 근거 — DOI: 10.1177/00938548211041651
• PSA의 인종-성별 집단 간 예측 타당성 — DOI: 10.1177/00938548241233934
• 형식적 공정성에서 실질적 공정성으로 — DOI: 10.1007/s13347-022-00584-6
• 최적수송 기반 공정성 향상(파레토 개선) — DOI: 10.1177/00491241231155883