Paperis 아티클
"정확도 99퍼센트"에는 최소 네 개의 빈칸이 있다. 1대1 대조인가 1대다 검색인가, 어떤 사진으로 잰 것인가, 문턱을 어디에 두었는가, 데이터베이스가 얼마나 큰가. 그런데 법이 실제로 마주한 문제는 알고리즘이 얼마나 틀리느냐가 아니라, 수사 단서로 쓰라고 들여온 출력이 신원 확정처럼 취급되어 영장을 받치는 경로다. 브리지스 판결과 EU 인공지능법 5조, 그리고 영구 금지가 3년으로 줄어든 캘리포니아의 기록을 따라간다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
미국 법정에 올라온 얼굴인식 사건 네 건을 나란히 읽은 논문이 있다. 딜런, 윌리엄스, 파텔, 마일스. 저자는 이 네 건에서 되풀이되는 문제가 결함 있는 알고리즘 하나가 아니라 서로 맞물린 위험들의 사슬이라고 적는다. 조회 사진의 품질, 인구집단별 성능 차이, 닮았다는 수치를 같은 사람일 확률로 오해하는 것, 기계의 답을 먼저 믿고 시작하는 습관, 암시적인 확인 절차, 불완전한 개시, 독점 시스템, 지나치게 넓은 얼굴 데이터베이스가 그 고리들이다 (DOI: 10.2139/ssrn.7356558, 심사 전 공개본).
이 논문은 윌리엄스 사건을 오인 대조가 사람에게 무엇을 하는지, 보강 수사를 의무로 둘 때 그것이 왜 가치가 있는지를 보여 주는 사례로 들고, 딜런 사건에서는 다른 것을 본다. 정밀해 보이는 점수 하나가, 그에 어긋나는 사실들이 앞에 있는데도 수사관을 그 자리에 붙들어 둘 수 있다는 것이다.
같은 문제를 절차의 언어로 적은 논문은 한 발 더 나간다. 저자는 서두에서 기술적 오류와 고르지 않은 성능이 중요하기는 하지만 이 논문의 주된 관심사는 아니라고 못 박는다. 저자가 들여다보는 것은 제도와 절차의 위험이다 — 수사 단서를 만들라고 들여온 도구가 이미 신원을 확정한 것처럼 취급되는 순간, 잠정적인 후보 하나가 실행 가능한 혐의로 승격될 수 있고, 그 승격은 행동의 근거가 충분히 검증되기 전에 영장 청구를 받치는 데 쓰일 수 있다. 그렇게 되면 실패한 것은 잘못된 출력 하나가 아니다. 위법한 체포와 부당한 구금 — 저자는 이것을 헌법적 실패라고 부른다 (DOI: 10.2139/ssrn.6505861, 심사 전 공개본).
여기서 얼굴이 왜 특별한지 나온다. 생체정보는 얼굴·지문·홍채처럼 몸의 생김새에서 뽑아낸, 그 사람을 가리키는 정보다. 비밀번호는 새어 나가면 바꾸면 되지만 얼굴은 바꿀 수 없다. 한국 헌법학 지면의 한 논문이 짚는 것이 정확히 이 성질이다. 얼굴을 포함한 생체정보는 기존의 개인정보와 달리 바뀌지 않기 때문에 유출로 인한 침해가 막대하다 (DOI: 10.35901/kjcl.2022.28.4.535).
읽기 전에 두 가지. 첫째, 이 글은 얼굴로 감정을 읽어 내겠다는 기술을 다루지 않는다. 다루는 것은 신원 식별 — 이 얼굴이 누구인가 — 하나다. 둘째, 인용하는 연구의 등급이 고르지 않다. 법학 논문이 심사 지면보다 공개 저장소에 먼저 올라오는 일이 잦고 하중 큰 인용 여럿이 그렇다. 그때마다 인라인으로 표시했다. 그리고 아래 나오는 수치는 전부 그 보고서가 그 조건에서 관측한 값이라, 조건을 함께 적는다.
미국 국립표준기술연구소(NIST)는 세계 각지에서 제출받은 얼굴인식 알고리즘을 같은 조건에서 돌려 보고, 그 결과를 정기적으로 갱신되는 공개 웹페이지에 올린다. 이 글이 인용한 NIST 보고서들에서 먼저 눈에 띄는 것은 이것이다. 거기에는 '얼굴인식의 정확도'라는 하나의 숫자가 없다. 대신 보고서가 갈라진다 — 무엇을 하는 중인가에 따라, 어떤 사진인가에 따라.
1대다 검색은 얼굴 한 장을 데이터베이스에 든 수많은 얼굴과 차례로 견주어 닮은 후보들을 뽑아 오는 작업이다. 공항 게이트에서 여권 사진과 지금 얼굴이 같은지 확인하는 것은 1대1 대조이고, 카메라에 찍힌 얼굴 하나를 수백만 장의 면허증 사진과 맞춰 보는 것은 1대다 검색이다.
NIST가 1대다 검색을 다룬 보고서는 이 작업을 둘로 쪼갠다. 긍정 식별은 찾는 사람이 데이터베이스 안에 있을 것이라고 기대하는 경우다 — 사무실에 들어가는 직원처럼. 부정 식별은 반대로 그 사람이 거기 없을 것이라고 전제하는 경우다 — 강박적 도박자가 카지노에 들어오는지 보는 것처럼. 보고서는 이 구분이 왜 유용한지를 이렇게 설명한다. 두 응용은 엉뚱한 사람을 짚는 오류와 있는 사람을 놓치는 오류를 견디는 정도가 서로 다르기 때문이다 (DOI: 10.6028/nist.ir.8381). 같은 알고리즘인데 무엇을 실패로 셀지가 달라진다.
"정확도 99퍼센트"라는 문장을 들었을 때 채워야 할 빈칸이 최소 넷이다. 1대1인가 1대다인가. 어떤 사진들로 잰 것인가. 같다고 선언할 문턱을 어디에 두었는가. 그리고 견주는 데이터베이스가 얼마나 큰가.
빈칸을 다 채워도 오해가 하나 남는다. 시스템이 내놓는 것이 실제로 무엇인가다. 유사도 점수는 두 얼굴이 얼마나 닮았는지를 시스템이 매긴 숫자일 뿐, 두 얼굴이 같은 사람일 확률이 아니다. 체중계가 가리키는 눈금이 건강 점수가 아닌 것과 같다. 앞서 본 논문이 위험의 사슬에 넣은 항목 하나가 정확히 이것이다 — 닮음 점수가 신원 확률로 오해되는 것.
기계가 판정하는 것은 신원이 아니라 닮음이다. 닮음을 신원으로 바꾸는 일은 사람이 한다.
2019년 NIST는 인구집단별 성능 변이를 정량화한 보고서를 냈다. 그 후속으로 나온 공개 초안이 그사이 밝혀진 것을 요약하는데, 이 대목이 가장 조심해서 읽어야 할 곳이다. 오류의 방향에 따라 원인이 다르다고 말하기 때문이다. 두 방향의 이름부터. 사실은 서로 다른 데서 나온 두 흔적을 같은 데서 나왔다고 잘못 말한 비율, 이것이 위양성률이다. 얼굴인식에서는 다른 사람인데 같은 사람이라고 말한 비율이다. 반대로 같은 사람인데 다른 사람이라고 놓쳐 버린 비율, 이것이 위음성률이다. 얼굴이 있는데 못 찾는 쪽의 실패다.
NIST의 요약은 이렇다. 위음성 쪽의 불평등은 상당 부분 특정 집단을 잘 못 찍은 데서 온다 — 특히 어두운 피부의 얼굴이 노출 부족으로 찍히는 문제다. 이건 나쁜 화질을 더 잘 견디는 알고리즘을 쓰거나, 더 좋게는 더 나은 카메라와 촬영 환경으로 찍는 단계 자체를 고쳐서 해결할 수 있다. 반면 훨씬 큰 위양성 쪽 변이는 고품질 사진에서도 나타나며, 알고리즘을 만드는 쪽이 완화해야 한다 (DOI: 10.6028/nist.ir.8429.ipd, 공개 초안). 조건을 하나 덧붙여야 한다. 이 보고서가 지표를 표로 만든 대상은 1대1 대조 트랙에 제출된 알고리즘들이다.
이 문단을 반으로 자르면 어느 쪽으로든 거짓이 된다. 앞쪽만 남기면 "카메라만 좋아지면 된다"가 되고, 뒤쪽만 남기면 "얼굴인식은 원래 인종차별적이다"가 된다. 보고서가 말한 것은 두 문제가 다른 문제이고 다른 곳에서 고쳐야 한다는 것이다.
편향을 줄이려는 시도들도 숫자를 내놓고 있고, 그 숫자를 같이 적지 않으면 그것도 잘라내기다. 한 연구는 정확도와 공정성이 맞거래 관계라는 널리 퍼진 가정을 반박한다고 적는다. 불확실한 예측을 골라 사람 전문가에게 라벨을 받고 이어서 학습시키는 방식으로 둘을 동시에 개선했다는 것이다. FairFace 데이터셋에서 정확도가 92.58퍼센트에서 96.47퍼센트로 올랐고 편향 정도를 나타내는 지표는 3.86에서 1.16으로 약 70퍼센트 줄었다. 특히 흑인 여성에 대한 정확도가 80.2퍼센트에서 90.86퍼센트로 올랐다 (DOI: 10.37284/eaje.9.1.4850). 이건 단일 연구가 특정 데이터셋에서 특정 파이프라인으로 낸 값이다. "편향이 해결되었다"가 아니라 "이 조건에서는 이만큼 줄었다"로 읽어야 한다.
한계를 더 분명히 적은 보고도 있다. 공정성 정규화를 넣은 프리프린트는 인종 하위집단 사이의 최대-최소 정확도 격차가 18~27퍼센트 줄고 표준편차가 12~20퍼센트 낮아졌다면서도 격차를 완전히 없애지는 못했다고 결론짓는다. 직관에 어긋나는 결과도 덧붙인다. 더 깊은 망이 오히려 집단 간 분산이 더 컸다 — 모델 용량이 인구집단 불균형을 증폭할 수 있다는 것이다 (DOI: 10.21203/rs.3.rs-8330446/v1, 프리프린트).
두 절 앞에서 세운 규칙을 이 숫자들에도 대 봐야 한다. 이 보고들은 어떤 작업의 정확도인지 — 1대1 대조인지 1대다 검색인지 — 도, 같다고 선언할 문턱을 어디에 두었는지도 밝히지 않는다. 채워진 빈칸은 데이터셋 이름 하나뿐이다. "정확도 99퍼센트"에 물었던 질문이 개선을 보고하는 쪽에도 똑같이 남아 있다.
기술 쪽 이야기는 여기까지다. 법이 마주한 문제는 "알고리즘이 얼마나 틀리나"가 아니다. 법은 오래전에 답을 마련해 두었다. 사람이 마지막에 확인하게 하면 된다는 것이고, 알고리즘에 기반한 경찰 활동에서 의미 있는 인간의 개입은 법적 요구사항이다.
그 요구사항이 현장에서 어떻게 작동하는지 들어가 본 연구가 있다. 경찰의 얼굴인식 운용에 드물게 허용된 현장 접근을 바탕으로 쓰인 한 권의 민족지 연구다. 저자는 핵심 질문이 인간의 개입이 일어나느냐가 아니라 그 판단이 어떤 성격의 것이냐라고 적는다. 관찰된 결정 지점은 통제실의 정보 부서일 때도, 거리의 개입 팀일 때도 있었다. 그런데 그 제각각의 배치를 가로질러 하나가 일관되게 나타났다. 저자는 그것을 개입 추정이라고 부른다. 재량이 알고리즘의 의심 판정에 양도되었고, 그 판정의 정확성과는 무관하게 그랬다 (DOI: 10.1093/9780191979927.003.0010).
이름을 붙여 두자. 기계가 먼저 내놓은 답을 사람이 검토의 출발점이자 기본값으로 삼아 버리는 습관, 이것을 자동화 편향이라고 한다. 내비게이션이 이상한 길을 가리켜도 일단 그쪽으로 핸들을 꺾어 본 적이 있다면 그것이다.
같은 연구서의 결론은 더 세다. 효능과 인종적 공정성과 공공 안전에 관해 되풀이되는 주장들이 자세히 뜯어보면 근거가 부족했고, 사람이 최종 확인을 한다는 안전장치의 역할 자체가 무력화되고 있었다. 다만 진단에서 끝나지는 않는다. 경찰의 얼굴인식 사용에 맞춘 인권 실사 프레임워크를 따로 만들어 제시한다 (DOI: 10.1093/9780191979927.001.0001).
그 끝에 무엇이 남는가. 시 단위 경찰기관 연구를 실무자용으로 요약한 브리핑은 이렇게 적는다. 얼굴인식을 상시 사용한 기관일수록 흑인과 백인 사이의 체포 격차가 더 컸고, 특히 성인 체포에서 그랬다. 그리고 곧바로 한정한다 — 이 연구는 얼굴인식 소프트웨어가 단독으로 그 격차를 일으켰다는 것을 보이지 않는다. 더 그럴듯한 우려는 이 기술이 어떻게 그리고 어디에 쓰이느냐에 따라 이미 있는 격차를 깊게 만든다는 쪽이다. 브리핑의 권고는 짧다. 얼굴인식을 단독 증거가 아니라 수사 단서로 취급하고, 보강 수사와 기록과 감독을 규칙으로 두라는 것이다 (DOI: 10.22215/apb.v3i3.6097).
브라질을 사례로 삼은 인권법 논문의 주장은 더 불편하다. 기술적으로 정확한 시스템이더라도 인종화된 치안과 구조적 불평등이 있는 맥락에 놓이면 차별적 결과를 낳을 수밖에 없다는 것이다. 저자는 규모와 이의제기 가능성의 제한을 근거로, 공공장소에서 실시간으로 얼굴만 보고 사람을 골라내는 방식이 구별되는 종류의 차별 피해를 만든다고 적는다 (DOI: 10.1017/bhj.2026.10047).
여기서 멈추면 한쪽만 본 것이다. 미국 508개 도시 경찰기관의 2016년부터 2020년까지를 다룬 연구는, 얼굴인식 사용이 경찰 관련 사망의 상당한 감소와 직접 연관되며 특히 백인 주민에서 그렇다고 보고한다. 고정 카메라 밀도만으로는 독립적 연관이 거의 없었지만, 얼굴인식과 결합되면 카메라가 늘어날수록 흑인 주민이 연루된 사망이 꾸준히 감소하는 것으로 예측되었다. 저자들은 우려되는 맞거래도 함께 적는다. 얼굴인식 사용은 경찰관이 폭행당하는 비율의 상승과 상관이 있었고, 얼굴인식이 쓰이는 환경에서 고정 카메라를 더 늘리면 그 위험은 더 올라갔다. 그리고 바디캠이 포화되면 백인 주민에게서 나타난 그 사망 보호 효과가 약해졌다. 결론은 이 기술의 공공 안전 편익이 카메라 구성과 배치에 관한 거버넌스 선택에 달려 있다는 것이다 (DOI: 10.2139/ssrn.6753771, 심사 전 공개본).
이건 관측 연구이고 저자들도 연관의 언어로 쓴다. 그래도 논쟁의 한쪽 끝에 이런 보고가 있다는 사실은 지우면 안 된다.
개인정보 법제가 오래 기대 온 문이 하나 있다. 동의다. 「잊혀질 권리」 편이 다룬 것도 내가 준 것을 내가 물릴 수 있느냐는 문제였다. 그 문이 얼굴 앞에서는 잘 닫히지 않는다.
프라이버시 법의 동의를 정면으로 검토한 논문은 미국식 고지·선택 방식과 유럽식 명시 동의 방식을 나란히 놓고 둘 다 실패한다고 적는다. 고지·선택 쪽에서는 실제 동의의 증거가 없고 사람들은 압박받거나 조종당한다. 명시 동의 쪽도 규모에서 무너진다 — 전문가조차 알고리즘이 그 데이터로 무엇을 할지 알지 못하고, 수천 곳에서 오는 요청은 감당이 안 된다. 저자의 결론은 프라이버시에서의 동의가 대부분 허구라는 것이다. 다만 저자는 거기서 문을 닫지 않는다. 동의를 아주 약한 라이선스로 격하한 위에 네 가지 의무를 얹자고 제안한다 — 적절하게 동의를 받을 의무, 합리적 기대를 저버리지 않을 의무, 충실 의무, 불합리한 위험을 피할 의무다 (DOI: 10.2139/ssrn.4333743, 심사 전 공개본).
얼굴에서는 그 실패가 구조적이다. 공공 인프라에 얼굴인식이 깔린 뒤를 다룬 논문은 아예 고지·동의 패러다임의 구조적 붕괴라는 표현을 쓴다. 비대칭적인 권력과 기능의 확장 때문에 그런 환경에서의 동의는 허울이 되었다는 것이다. 이 논문도 대안을 내놓는다. 생체정보를 준공공재로 보고 위험 배분과 수익 공유를 묶는 민관 협력 모델인데, 저자 스스로 가설이라고 적는다 (DOI: 10.62517/jel.202614123). 카메라 앞을 지나가는 사람에게는 동의를 물은 적도 없고, 물을 자리도 없다.
한국은 개인정보 보호법으로 생체정보를 민감정보로 보호한다. 앞서 인용한 헌법학 논문은 그 틀을 인정하면서도 개선을 요구한다. 민감정보를 예외적으로 처리하게 하는 규정과 손해배상 규정이 개선되어야 하고, 얼굴인식 기능이 붙은 지능형 CCTV에 대한 규정이 마련되어야 한다는 것이다. 저자는 미국 일리노이주의 생체정보 프라이버시법과 그 위반으로 페이스북이 6억 5천만 달러를 물게 된 일을 대조 사례로 든다 (DOI: 10.35901/kjcl.2022.28.4.535).
자동화된 결정 일반에 관해서는 제37조의2가 신설되었다. 이 조항을 유럽 일반개인정보보호법 제22조와 비교한 논문은 세 군데에서 보호 수준이 낮다고 지적한다. 한국법은 일반적 금지가 아니라 거부권을 주기 때문에 그 권리를 행사하지 못하는 사람을 보호하는 데 한계가 있고, 시스템 전체 수준에서 완전히 자동화된 상태를 규율하기 때문에 다단계 프로파일링에 규제 공백이 생기며, 설명을 요구할 권리에도 한계가 남는다 (DOI: 10.1057/s41599-024-03470-y). 이 조항은 얼굴인식을 겨냥해 만든 것이 아니다. 그러나 카메라가 얼굴을 골라내고 사람이 그 뒤에 붙는 구조가 정확히 다단계라는 점에서, 지적된 공백은 남의 이야기가 아니다.
이 기술에 대한 세계 최초의 승소는 영국에서 나왔다. 남웨일스 경찰의 실시간 얼굴인식 운용을 다툰 브리지스 사건이다. 항소법원은 그 운용이 위법이라고 판단했고, 이유는 셋이었다.
첫째, 유럽인권협약 제8조가 보장하는 사생활 존중의 권리를 침해했다 — 법에 적절한 근거가 없었기 때문이다. 둘째, 2018년 데이터보호법 제64조에 따른 데이터 보호 영향평가가 부실했다 — 시스템이 처리하는 개인들의 권리와 자유에 대한 위험을 평가하지 않았기 때문이다. 셋째, 2010년 평등법 제149조가 부과한 공공기관 평등의무를 이행하지 않았다 — 그 소프트웨어가 성별과 인종에 관해 편향되어 있는지 여부를 평가하지 않았기 때문이다 (DOI: 10.1111/1468-2230.12623).
세 번째 이유는 다시 읽어 볼 만하다. 법원이 위법이라고 한 것은 "편향되어 있다"가 아니라 "편향되어 있는지 확인하지 않았다"이다. 법이 기술에 요구할 수 있는 것의 모양이 여기 있다.
그런데 법학자들은 판결이 남긴 여지를 더 크게 본다. 한 논문은 판결이 승인한 것을 짚는다. 법원은 공공장소의 얼굴인식이 — 아주 많은 사람을 식별하고 추적하는 경우라 하더라도 — 법집행 목적을 달성하는 수용 가능한 수단이라고 보았다. 경찰이 쓰는 기술의 투명성을 요구하지도 않았는데, 그 기술은 흔히 제조사의 영업비밀 뒤에 있다. 저자는 이 판결이 장기적으로는 오히려 확장을 정당화한다고 결론짓는다 (DOI: 10.52214/stlr.v22i2.8666).
유럽인권재판소도 답을 냈다. 글루힌 대 러시아 사건에서 재판소는 형사 절차에서의 얼굴인식 사용이 사생활 권리에 대한 간섭을 발생시킨다고 확인했다. 그 간섭이 정당화되는지는 사안마다 답이 다를 수 있다. 그러나 한 가지는 확실하다고 그 논문은 적는다 — 그 논문이 다룬 나라의 헌법도, 유럽인권협약도 형사 절차에서의 얼굴인식 사용을 그 자체로 금지하지는 않는다 (DOI: 10.59295/spd2024j.10, 학술대회 논집). 어느 나라 헌법인지는 초록이 밝히지 않는다. 우리 헌법에 대한 판단이 아니다.
가장 멀리 간 것은 유럽연합 인공지능법 제5조다. 이 조항이 금지한 행위 하나를 먼저 풀어 두자. 원격 생체식별은 상대가 협조하지 않아도, 멀리서, 몸의 특징만으로 그가 누구인지 알아내는 것을 말한다. 지문은 손가락을 대야 찍히지만 얼굴은 대지 않아도 찍힌다.
제5조는 인간의 존엄과 자율과 기본권에 양립할 수 없는 여덟 가지 관행을 금지한다. 이 조항을 분석한 논문은 그것을 어떤 안전장치를 붙이든 상관없는 절대적 금지라고 소개하면서, 같은 호흡으로 조항마다 활용 가능한 예외와 경계 사례가 있다고 밝힌다 (DOI: 10.2139/ssrn.6973579, 심사 전 공개본). 두 말이 한 초록 안에 같이 있다.
조항별 주석서가 그 둘을 갈라 준다. 인공지능법을 조항별로 주석한 한 장은 제5조의 금지를 전면 금지와 조건부 금지로 나누는데, 갈리는 자리가 정확히 이 글의 주제다. 법집행 목적으로 공중이 접근할 수 있는 공간에서 하는 실시간 원격 생체식별은 절대 금지가 아니라 조건과 안전장치와 회원국의 승인 절차가 딸린 "복잡한 체제"다 (DOI: 10.1093/law/9780198925705.003.0003).
그 조건이 구체적으로 무엇인지는 이 글이 인용한 두 초록 어디에도 없다. 확인할 수 있는 것은 조건이 딸려 있다는 사실까지다.
여덟 가운데 얼굴이나 몸의 특징에 걸리는 것은 넷이고(무차별 스크래핑·직장과 학교에서의 감정 인식·민감한 속성에 따른 생체 분류·실시간 원격 생체식별), 그중 신원 식별에 직접 걸리는 것은 둘이다. 얼굴 데이터베이스를 만들려고 이미지를 무차별적으로 긁어 오는 것, 그리고 방금 본 실시간 원격 생체식별이다. 이 금지들은 2025년 2월 2일부터 적용되었고 제재는 2025년 8월 2일부터 집행 가능해졌다 — 최대 3,500만 유로 또는 전 세계 연매출의 7퍼센트 중 높은 쪽이다 (DOI: 10.2139/ssrn.6973579, 심사 전 공개본).
가장 강한 규제조차 금지와 예외를 같은 문장 안에 썼다. 그 예외를 어떻게 볼 것이냐에서 법학자들이 갈린다.
한쪽은 예외를 없애라고 한다. 앞서 인용한 브라질 사례 논문은 유럽의 예외 조항을 복제하지 말라고 한다. 구조적 불평등이 큰 나라에서는 법집행 목적의 실시간 원격 생체식별에 한해 전면 금지가 옳고, 어떤 기술적 관행은 평등과 비차별이라는 헌법적 보장과 본래적으로 양립할 수 없다는 것이다.
다른 쪽은 전면 금지에 반대한다. 영국 사례를 검토한 논문은 점진적 접근을 제안한다. 쓸어 담는 규제 변화 대신, 대조할 얼굴 목록을 규율하는 국가 차원의 규칙을 두고, 비례성과 필요성 평가에 근거해 배치에 공간적·시간적·맥락적 제한을 걸자는 것이다. 여기에 투명성 절차를 더하고, 나머지는 긴급한 경우를 제외하고 사전 사법 승인을 받은 은밀한 감시로 하자고 한다 (DOI: 10.1017/s0008197323000454).
법이 늦게 도착하는 사이에 무슨 일이 있었는지도 기록돼 있다. 2020년 1월 한 미국 신문이 클리어뷰 AI를 보도했다. 인터넷에서 긁어모은 수십억 장의 이미지로 데이터베이스를 만든 회사였고, 아무런 공적 검토 없이 미국에서만 600곳이 넘는 경찰 기관을 고객으로 확보한 상태였다. 규칙이 없었던 것이 아니라 규칙이 도착하기 전에 배치가 끝나 있었다. 그런데 저자들은 뒷맛을 이렇게 적는다. 언론과 경찰의 복잡한 관계가 비판을 누그러뜨렸고, 그 자리에 덜 논쟁적인 다른 얼굴인식 용도들이 정당화될 여지가 생겼다 (DOI: 10.2139/ssrn.7308163, 심사 전 공개본).
가장 오래 남을 교훈은 미국 캘리포니아의 입법 과정에서 나온다. 2019년 캘리포니아는 경찰이 바디캠 영상에 얼굴인식을 쓰는 것을 3년간 금지하는 법을 통과시켰다. 원래는 영구 금지로 발의된 것이었고, 왜 3년으로 줄었는지를 추적한 연구가 있다. 초기에 의원들과 시민사회가 내놓은 비판은 이 기술이 소수자와 유색인에 대한 차별을 악화시킬 수 있다는 것이었다. 그런데 비판자들은 이후 금지의 명분을 기술 자체의 낮은 정확도 쪽으로 옮겼다. 그러자 제조사와 경찰 로비를 포함한 찬성 측이 반박할 수 있게 되었다 — 이 기술은 사람보다 정확하고, 앞으로 더 좋아질 것이다. 그 반박이 영구 금지의 필요를 무너뜨렸다. 저자들은 알고리즘 통치에 대한 반대가 기술 중심이 아니라 생명정치적이어야 효과가 있다고 결론짓는다 — 기계가 얼마나 잘 맞히느냐가 아니라 몸과 인구를 어떻게 다스리느냐로 싸우라는 말이다 (DOI: 10.16997/book55.m).
앞에서 수치의 조건을 끈질기게 붙인 이유가 이것이다. 정확도는 논쟁의 무기로 쓰기에 나쁜 축이다. 시간이 지나면 상대편으로 넘어간다.
여론 연구는 묘한 단서를 보탠다. 미국 성인 전국 표본을 쓴 조사는 얼굴인식 지지가 공공 안전에 대한 믿음과 프라이버시 우려 양쪽 모두에 영향받고, 프라이버시 우려의 효과는 치안 맥락과 경찰 신뢰에 따라 달라진다고 보고한다 (DOI: 10.1177/00111287221150172). 크라우드소싱 표본을 쓴 연구의 실험도 눈에 띈다. 참가자 496명에게 얼굴인식의 인구집단별 편향 정보를 보여 주었더니 반대가 늘었고, 그 효과는 이념 성향에 거의 좌우되지 않았다. 다만 같은 논문은 이념 성향이 애초의 수용도를 예측한다는 것도 보고한다 — 우익 권위주의와는 양의 방향, 자유지상주의와는 음의 방향이었다 (DOI: 10.1177/09636625221113131).
즉 무엇을 알려 주느냐가 태도를 바꾼다. 그리고 캘리포니아 사례가 보여 준 것은, 알려 주는 내용이 "정확도"일 때 그 태도는 기술 개선에 인질로 잡힌다는 것이다.
법이 정하지 못한 것을 이제 목록으로 적을 수 있다.
첫째, 기계가 만든 단서가 절차 안에서 어떤 지위를 갖는가다. 네 사건을 종합한 논문의 결론이 여기에 있다. 법정에서 얼굴인식이 갖는 정당성은 알고리즘이 후보를 만들어 낼 수 있느냐보다, 그 후보가 만들어진 뒤 법적 절차가 그것을 따져 물을 수 있는 상태로 보존하느냐에 훨씬 더 크게 달려 있다. 그래서 저자는 조건부 사용 모델을 제안한다 — 얼굴인식은 수사 단서로 남아야 하고 체포나 유죄의 단독 근거가 되어서는 안 되며, 검색의 실질적 세부가 공개되어야 하고, 독립적인 증거가 영장보다 먼저 있어야 한다. 오류가 가장 위험해지는 때를 저자는 이렇게 적었다 — 단서가 이후 수사 단계를 오염시키고, 재판 전에 시야에서 사라질 때다.
둘째, 감시의 피해를 무엇으로 셀 것인가다. 국제인권법은 권리를 제한하는 조치를 세 단계로 심사한다. 법에 근거가 있는가, 정당한 목적을 좇는가, 민주사회에서 필요한가. 앞의 민족지 연구서에서 이 심사를 대입한 장은, 이 기술이 사생활만이 아니라 표현의 자유와 집회의 자유와 차별 금지를 동시에 건드린다고 지적하며 복합 인권 침해라는 개념을 제안한다. 한꺼번에 건드리는 위축효과는 하나씩 세어서는 포착할 수 없다는 것이다. 같은 장은 새로 주장되고 있는 권리 하나도 소개한다. 사람에게 판단받을 권리다 (DOI: 10.1093/9780191979927.003.0004).
셋째, 공적 공간에 모이는 일 자체에 무슨 일이 일어나는가다. 공공장소 얼굴인식이 평화적 집회와 정치적 시위에 미치는 위축효과를 다룬 한 장은, 감독과 책임 장치가 부재한다는 점을 지적하며 국가 권력이 크게 강화되었다고 적는다. 그리고 그 공백을 정부와 그 감시를 돕는 기술 회사 양쪽을 구속하는 강행적 인권 의무로 메우자고 주장한다 (DOI: 10.2139/ssrn.5333821, 심사 전 공개본). 여기서 피해자는 잘못 잡힌 사람이 아니라 나가지 않기로 한 사람이다. 그리고 나가지 않은 사람은 어떤 통계에도 잡히지 않는다.
이 셋을 관통하는 질문은 「알고리즘이 형을 정한다」 편이 재범 예측 도구를 놓고 묻는 것과 같다. 기계의 출력이 사법 절차 안에서 사실로 취급되는 순간은 정확히 언제이고, 누가 그것을 뒤집을 수 있는가. 얼굴인식에서 그 순간은 재판정이 아니라 훨씬 앞, 수사관의 화면 앞에서 온다.
그래서 이 글이 열었던 문장으로 돌아간다. 단서가 이유가 되는 순간에 실패하는 것은 알고리즘이 아니다. 단서와 이유 사이에 있어야 할 검증 단계가 실패한다. 그 단계는 카메라가 좋아져도, 데이터셋이 균형을 찾아도, 위양성률이 내려가도 저절로 생기지 않는다. 법이 만들어 넣어야 하는 것이다.
그리고 법이 아직 정하지 못한 것은 이 기술이 정확한가가 아니다. 정확해졌을 때 무엇을 해도 되는가다. 반대의 근거를 정확도에 걸어 두면, 정확도가 충분히 좋아진 날 그 반대는 스스로 무너진다. 그날 남아 있어야 할 질문은 다른 것이다 — 이 나라는 거리를 걷는 사람이 이름 없이 지나갈 수 있는 곳이기를 바라는가. 그건 알고리즘이 답할 수 있는 질문이 아니다.
등급(심사 전 공개본·프리프린트·공개 초안)은 본문에 그때마다 표시했다.