Paperis - "거짓말을 하면 반드시" — 대법원이 거짓말탐지기에 건 세 개의 조건

"거짓말을 하면 반드시" — 대법원이 거짓말탐지기에 건 세 개의 조건

비디오를 보고 자백했다

1982년 겨울, 한 살인 사건의 피의자가 검찰 조사를 받고 있었다. 그는 범행을 부인하다가 조사관과 약속을 하나 했다. 몇 가지 사실이 확인되면 그때는 자백하겠다는 약속이었다. 그중 하나가 거짓말탐지기 검사였다.

검사는 옷을 한 벌씩 보여 주는 방식이었다. 그는 나중에 자기가 검사 도중에 가슴이 떨린다고 말한 시점이 언제였는지를 두고 조사관과 다퉜고, 조사관은 검사 장면을 찍어 둔 테이프를 보여 주었다. 판결문에 남은 그의 진술은 이렇다 — "거짓말탐지기 검사시의 광경을 담은 비데오테이프를 보았던 바", 자신이 주장한 시점이 아니라 "세번째 옷을 마치고 네번째 옷에 대한 질문을 받기 직전 떨린다고 한 것을 확인하였고"(대법원 83도712, 판례내용). 그리고 그는 자백했다. 그때의 심정을 그는 1심 법정에서 도와줄 사람도 없이 영영 범인이 되는구나 하는 생각이 들었다는 취지로 진술했다.

1983년 9월 13일, 대법원은 이 자백을 유죄의 근거로 삼을 수 없다고 판단한 원심을 그대로 유지했다. 그리고 같은 판결에서, 그가 본 그 검사 결과에 대해서는 이렇게 적었다. "이 거짓말탐지기 검사결과는 뒤에서 보는 바와 같이 유죄인정의 증거가 될 수 없는 것이다"(대법원 83도712, 판례내용).

이 판결이 하는 일을 정확히 보려면 낱말 하나가 필요하다. 증거능력은 어떤 자료를 재판에서 유무죄를 따지는 근거로 아예 쓸 수 있는지 없는지를 가르는 자격이다. 믿을 만한지를 따지기 전에 법정 문 앞에서 들여보낼지를 정하는 검문에 가깝다. 대법원은 같은 판결에서 이 둘을 갈라 놓았다 — "자백의 임의성이 인정된다고 하더라도 이것은 그 자백이 엄격한 증명의 자료로서 사용될 자격 즉 증거능력이 있다는 것에 지나지 않고 그 자백의 진실성과 신빙성 즉 증명력까지도 당연히 인정되어야 하는 것은 아니다"(대법원 83도712, 판결요지). 들여보내는 것과 믿는 것은 다른 일이다.

두 가지만 먼저 밝힌다. 첫째, 이 글의 원전은 논문이 아니라 판결문 전문이다. 대법원 다섯 건과 헌법재판소 한 건을 읽었고, 인용마다 사건번호와 어느 층(판시사항·판결요지·판례내용)에서 왔는지를 적었다. 둘째, 위 사건은 실제 살인 사건이고 피해자가 있다. 이 글은 사건의 전개를 다루지 않는다. 거짓말탐지기 검사 결과가 수사와 재판에서 어떤 자리를 차지했는지만 본다. 그래서 이름도 신원도 쓰지 않는다.

세 문장으로 된 요건

1986년 11월 25일, 대법원은 한 폭발물 사건에서 「거짓말탐지기 검사결과의 증거능력」이라는 제목을 판시사항에 그대로 달았다(대법원 85도2208, 판시사항). 이 판결의 요지가 그 뒤 40년 동안 거의 같은 문장으로 되풀이된다.

대법원은 먼저 이 기계가 무엇을 전제로 작동하는지를 적는다. "사람이 의식적으로 거짓말을 하게 되면 양심의 가책이나 거짓발각에 대한 우려등으로 심리상태의 변동이 일어나고, 이것이 호흡, 혈압, 맥박, 피부등에 생리적 반응을 일으킨다는 전제 아래, 그 생리적 반응을 측정하여 거짓말인 여부를 판독한다"(대법원 85도2208, 판례내용). 이 전제를 그대로 뒤집으면 요건이 나온다.

그래서 요건은 이렇게 적혔다. "첫째로, 거짓말을 하면 반드시 일정한 심리상태의 변동이 일어나고 둘째로, 그 심리상태의 변동은 반드시 일정한 생리적 반응을 일으키며 셋째로, 그 생리적 반응에 의하여 피검사자의 말이 거짓인지 아닌지가 정확히 판정될 수 있다는 세가지 전제요건이 충족되어야 할 것이며"(대법원 85도2208, 판결요지). 그리고 셋째 요건에는 조건이 더 붙는다. "질문사항의 작성과 검사의 기술 및 방법이 합리적이어야 하며, 검사자가 탐지기의 측정내용을 객관성 있고 정확하게 판독할 능력을 갖춘 경우라야만 그 정확성을 확보할 수 있는 것"이라고 했다(대법원 85도2208, 판결요지).

이 문언이 1986년에 처음 나온 것은 아니다. 세 요건은 이 글을 연 1983년 판결에 이미 들어 있고(대법원 83도712, 판결요지), 그 판결은 이 쟁점에 1979년 대법원 판결을 참조판례로 달고 있다. 우리는 그 1979년 판결의 전문을 갖고 있지 않다. 한 해 전인 1985년 판결은 셋째 요건이 요구하는 것을 "인적·물적 장치가 구비되었다는 전제조건이 충족되어야 한다"고 묶었다(대법원 84도2277, 판결요지). 기계만의 문제도 아니고 사람만의 문제도 아니라는 뜻이다.

여기서 이 글의 출발점이 나온다. 이 세 문장은 법 논리가 아니다. "거짓말을 하면 반드시 일정한 심리상태의 변동이 일어나고"(대법원 85도2208, 판결요지)라는 문장은 법이 정할 수 있는 종류의 명제가 아니라, 사람의 마음과 몸에 대한 경험적 주장이다. 참인지 거짓인지는 법정이 아니라 실험실과 현장에서 갈린다. 그래서 이 요건은 연구 문헌에 그대로 대볼 수 있다. 이 글이 하려는 일이 그것이다.

한 가지 오해는 먼저 막아 두는 게 좋겠다. 우리가 읽은 여섯 건 안에서 대법원이 이 검사를 금지한 대목은 없다. 1984년 판결은 오히려 문을 열어 두었다. "그 기구의 성능, 조작기술에 있어 신뢰도가 극히 높다고 인정되고 그 검사자가 적격자이며, 검사를 받는 사람이 검사를 받음에 동의하였으며 검사자 자신이 실시한 검사의 방법, 경과 및 그 결과를 충실하게 기재하였다는 여러가지 점이 증거에 의하여 확인되었을 경우에" 형사소송법 제313조 제2항에 의하여 이를 증거로 할 수 있다는 것이다(대법원 83도3146, 판결요지).

다만 들어온 뒤가 문제다. 정황증거는 사실을 바로 증명하지는 못하고 다른 증거의 신빙성을 재는 데 보태지는 자료다. 누가 그 방에 있었다는 증언이 아니라, 그 방 불이 켜져 있었다는 말에 가깝다. 같은 판결은 요건이 갖춰져 증거능력이 있는 경우에도 그 결과는 "검사를 받는 사람의 진술의 신빙성을 가늠하는 정황증거로서의 기능을 다하는데 그치는 것"이라고 적었다(대법원 83도3146, 판결요지). 문은 열려 있고, 들어와도 앉는 자리는 뒷줄이다.

첫째 조건 — "거짓말을 하면 반드시"

첫째 요건이 겨누는 검사 방식이 있다. 비교질문검사는 사건을 직접 묻는 질문과 관계없는 잘못을 묻는 질문을 섞어 놓고, 어느 쪽에 몸이 더 크게 반응하는지로 거짓 여부를 가르는 방식이다. ‘당신이 그 돈을 가져갔습니까’와 ‘당신은 살면서 남의 것을 가져간 적이 있습니까’를 나란히 놓고 반응을 견주는 셈이다. 실무에서 나날이 가장 많이 쓰이는 절차가 이쪽이라는 데는 이 방식을 옹호하는 쪽도 같다(PMID 24933412, 이론 제안 논문).

이 방식에 대한 비판은 오래됐다. 1986년의 한 리뷰는 두 검사를 나란히 놓고 근거를 따진 뒤, 심리학 이론에 제대로 뿌리내린 것은 앎을 묻는 쪽뿐이며 비교질문검사를 지지하는 연구들은 여러 종류의 오염으로 방법론상 결함이 있다고 주장했다(DOI: 10.1002/bsl.2370040408, 법·심리학 리뷰). 2013년의 한 리뷰는 미국 국가연구위원회가 2003년에 내놓은 비판을 요약하면서, 그 비판에 이 방식이 검증된 이론에 기반하고 있지 않다는 것과 시행 절차가 표준화되어 있지 않다는 것이 포함되어 있었다고 적었다(PMID 23378840, 리뷰).

반론이 없는 것은 아니다. 2015년에 두 저자가 이 비판에 정면으로 답하는 논문을 냈다. 그들은 폴리그래프 검사 과정이 제대로 쓰이기만 하면 높은 예측 타당도로 작동한다는 것이 반복해서 입증되어 왔다고 적고, 이론적 근거의 부재는 지향 반응에 관한 예비과정이론과 기억·정서에 관한 신경과학 문헌으로 메울 수 있다고 주장했다(PMID 24933412, 이론 제안 논문). 같은 학술지가 여기에 논평을 붙였다. 한 논평은 예비과정이론이나 신경영상 연구를 인용하는 것만으로는 그것이 비교질문검사와 어떻게 연결되는지가 특정되지 않아 구성 타당도가 서지 않으며, 적절한 통제와 표준화의 결여 같은 다른 결함들은 어떤 심리학 이론으로도 해소되지 않는다고 반박했다(PMID 25151652, 논평). 원저자들의 재반박도 실렸다. 그들은 앞으로 연구가 더 필요하고 필요하다면 이론을 수정해야 한다고 인정하면서, 특히 신경과학에서 수렴하는 증거가 늘고 있다는 점을 들었고, 가장 중요한 발견은 아마도 논평자 가운데 이 응용과학 자체를 반대한 사람이 하나도 없었다는 점일 것이라고 적었다(PMID 25479540, 재반박).

2015년의 한 모의범죄 실험은 유료 참가자 250명을 상대로 비교질문검사의 두 변형을 견줬다. 사람이 채점하든 컴퓨터가 채점하든 유죄·무죄 조건의 주효과는 컸지만, 두 변형 사이의 정확도 차이는 뚜렷하지 않았다. 저자들은 다만 지시거짓 변형이 시행과 구성이 본래 더 표준화되어 있다는 점에서 추천할 만하다고 결론지었다(PMID 25703188, 모의범죄 실험·250명).

첫째 요건에는 반드시라는 말이 들어 있다. 지금까지의 문헌이 답하지 못하는 자리도 정확히 거기다. 반응이 갈린다는 보고는 많지만, 그 반응이 거짓말이라는 하나의 원인에서 나온다는 것을 보인 연구는 논쟁 중이다.

이 기계가 재는 것은 거짓말인가, 앎인가

1983년 사건으로 돌아가 보자. 검찰이 실제로 물은 것은 당신이 죽였느냐가 아니었다. 판결문은 검사 방식을 "긴장절정 시험인 피오티(POT)검사방법"이라고 적고, 무엇을 물었는지도 적어 두었다 — 피해자가 입고 있었던 상의와 어떤 전화번호를 대상으로 "이것들을 피고인이 알고 있었는지의 여부를 검사한 결과"였다(대법원 83도712, 판례내용).

이 물음은 앞 절의 물음과 종류가 다르다. 숨긴정보검사는 거짓말을 했는지가 아니라 범인만 알 수 있는 세부를 알아보는지를 재는 검사다. 범행 현장에서 없어진 물건이 반지인지 시계인지를 여럿 사이에 섞어 보여 주고, 반지에서만 몸이 튀는지를 본다. 연구 문헌은 이 구분을 분명히 한다 — 이 검사는 참가자가 거짓말을 하고 있는지를 직접 다루지 않고, 결정적인 세부를 알아보는지를 살피며, 그 판단은 결정적 항목과 그렇지 않은 항목에 대한 생리적 반응의 차이에서 나온다(PMID 23370285, 실험 연구).

성적을 말하려면 눈금이 하나 필요하다. 효과크기는 두 집단의 반응이 서로 얼마나 떨어져 있는지를 한 숫자로 나타낸 값으로, 클수록 두 집단이 잘 갈린다. 키로 남녀를 가르는 것과 몸무게로 가르는 것 중 어느 쪽이 더 깔끔하게 갈리는지를 숫자 하나로 적어 둔 것과 같다.

2003년의 메타분석은 실험실 연구 80편에서 뽑은 169개 조건을 모아 피부 반응 지표를 추정했다. 평균 효과크기는 1.55였고 편차가 컸다. 모의범죄 연구가 가장 높은 평균 2.09를 냈고, 최적 조건에 가장 가까웠던 10편만 모으면 3.12까지 올라갔다. 저자들은 이 결과를 일반화하는 데 제약이 되는 요인들을 논하며 현실적인 상황에서의 추가 연구를 권고했다(PMID 12675401, 실험실 메타분석). 2001년의 또 다른 정량 리뷰는 실험실 모의 연구 22편에서 뽑은 50개 처치집단(총 1,247명)을 모았다. 피부 반응 지표는 숨긴 정보를 가진 참가자의 76%를, 정보가 없는 참가자의 83%를 맞게 가려냈고, 모의범행을 실제로 연기하게 하면 적중률이 82%로 올라갔다. 여기서 잘라 내면 안 되는 문장이 하나 있다 — 정보가 없는 집단에서 나온 오경보의 비율은 우연 수준을 유의하게 넘지 않았다(PMID 11519651, 실험실 메타분석·1,247명).

2014년의 메타분석은 지표를 나눠 봤다. 실험실 연구에서 피부전도 반응의 평균 효과크기는 1.55, 호흡선 길이는 1.11, 심박 변화는 0.89였다(PMID 24916920, 실험실 메타분석). 같은 분석이 뇌파 지표도 함께 쟀는데, 그 이야기는 뒤에서 따로 하겠다.

숫자를 옮길 때 조심할 것이 둘 있다. 첫째, 이 값들은 전부 실험실에서 나왔다. 둘째, 효과크기는 두 집단이 평균적으로 얼마나 갈리는지를 말할 뿐, 눈앞의 한 사람에 대한 판정이 얼마나 맞는지를 말하지 않는다. 두 집단의 분포가 크게 떨어져 있어도 겹치는 구간에 선 사람은 여전히 갈리지 않는다.

신문에 실린 옷

1983년 판결에서 대법원은 그 검사에 두 가지 흠을 지적했다.

첫째 흠은 질문 대상이었다. 피해자가 입고 있었던 옷은 "이 사건 발생후 이미 여러 신문 등에서 그 모양과 색상 등이 자세하게 보도되어 널리 알려졌을 가능성이 있음이 기록상 명백하므로", 검사 전에 피고인이 그 옷을 본 일이 없다고 말했더라도 "질문의 대상물로서 적합하지 못한 것이라고 하겠으니 그 질문조항과 검사방법이 합리성을 결여한 것이라고 보지 않을 수 없다"는 것이다(대법원 83도712, 판례내용).

숨긴정보검사가 성립하려면 결정적 세부를 범인만 알고 있어야 한다. 그 세부가 신문에 실리는 순간 검사는 범인을 가려내는 도구가 아니라 신문 독자를 가려내는 도구가 된다.

이것이 얼마나 큰 문제인지는 2014년의 실험이 숫자로 보여 준다. 참가자들에게 모의범죄를 시키기 전에 훔칠 물건이 무엇인지를 지시문으로 알려 주거나 알려 주지 않고, 그다음에 범행을 실제로 하거나 하지 않게 하는 2×2 설계였다. 결과는 이랬다 — 물건이 무엇인지 미리 알기만 한 무고한 참가자 가운데 69%가 유죄로 잘못 분류됐다. 저자들은 지시문으로 세부를 흘리는 것이 검출률을 민감한 쪽으로 편향시킨다고 결론지었다(PMID 25128283, 모의범죄 실험).

둘째 흠은 판정 자체였다. 같은 검사에서 어떤 전화번호를 모른다고 한 피고인의 답변도 거짓 반응으로 나왔다. 그런데 그는 범행을 자백한 당초부터 그 번호를 종이쪽지에 적어 두었다가 버려서 기억할 수 없다고 진술하고 있었고, 대법원은 자백하는 마당에 전화번호만 기억하지 못하는 척할 이유가 없다고 보았다. 그가 그 번호를 정말 기억하지 못한 것으로 인정할 수밖에 없는데, "위 거짓말탐지기 검사의 결과가 신뢰할만한 것이 못됨을 나타내 보이는 것이라고 하겠다"는 것이다(대법원 83도712, 판례내용).

두 흠은 방향이 반대다. 첫째는 아는 사람을 가려내야 할 검사가 신문을 읽은 사람까지 걸러 낸다는 것이고, 둘째는 정말 모르는 사람이 거짓 반응으로 판정됐다는 것이다. 뒤에 오는 문헌이 매달리는 문제가 바로 둘째 쪽이다.

고치려는 시도도 있다. 2022년의 한 실험은 검사 직전에 새로운 사건 세부를 노출시켜 앞의 기억을 덮어쓰는 조작을 넣었다. 이 조작은 실제로 범행을 한 집단의 검출에는 영향을 주지 않으면서, 세부를 읽어서 알게 된 무고한 참가자를 가려내는 비율을 통제 조건 31%에서 조작 조건 77%로 올렸다. 저자들은 이 조작이 정보를 접한 무고한 사람의 오분류를 줄일 수 있다고 보고했다(PMID 34999143, 모의범죄 실험). 실험실에서 한 번 나온 결과다.

거꾸로 기울지 않도록 반대 방향의 결과도 놓아 둔다. 2021년의 한 반복 실험은 모의범죄 뒤에 잘못된 정보를 주입했을 때, 사건을 말로 떠올리는 능력은 줄었지만 결정적 항목에 대한 생리적 반응은 부분적으로만 약해졌다고 보고했다. 저자들은 피부전도와 호흡을 쓰면 오정보에 노출된 사람에게서도 검출이 가능할 수 있다고 적었다(PMID 33227162, 반복 실험).

모의범죄에는 잃을 것이 없다

지금까지 옮긴 숫자는 거의 전부 실험실에서 나왔다. 그리고 실험실의 모의범죄와 실제 사건 사이의 거리를 정면으로 잰 연구가 있다.

2003년의 한 실험은 표준적인 모의범죄 절차와 더 현실적으로 만든 절차를 비교하고, 검사를 곧바로 하는 조건과 시간을 두는 조건을 비교했다. 결과에 영향을 준 것은 시점이 아니라 절차의 종류였다. 현실적인 절차 쪽이 세부를 기억해 내는 비율도 낮았고 검출력도 약했다. 저자들은 이 효과가 어떤 질문을 쓰느냐에 따라 매개된다고 덧붙였다(PMID 14664677, 외적 타당도 실험).

방향은 한쪽으로 기운다. 적어도 이 실험에서는 절차가 현실에 가까울수록 성적이 떨어졌다. 그리고 실제 사건에는 실험실에 없는 것이 하나 더 있다. 모의범죄 참가자는 걸려도 잃을 것이 없다.

2007년의 한 실험은 남성 수감자 48명과 지역사회 자원자 31명에게 생일 같은 개인적으로 중요한 항목 다섯 개를 묻고 알아보지 못하는 척하게 했다. 수감자들은 자율신경 반응이 전반적으로 낮았지만 검사의 민감도에는 별 영향이 없었고, 검출 효율은 수감자 집단에서도 우연 수준을 유의하게 넘었으며(효과크기 2.67, 정확도 79%) 자원자 집단(효과크기 3.04, 정확도 87%)과 유의하게 다르지 않았다(PMID 17030398, 실험·수감자 48명). 저자들은 이 자료가 범죄자 집단에서 숨긴정보검사의 타당도를 뒷받침한다고 결론지었다. 다만 여기서 물은 것은 범행 세부가 아니라 자기 신상이다.

실제 범죄를 대상으로 한 현장 시험도 하나 있다. 2023년에 발표된 이 연구는 주요 테러 범죄와 그 밖의 실제 범죄에 관한 뇌파 검사 18건과 대테러 작전 참여에 관한 검사 5건을 보고하며, 자신들이 규정한 방식의 검사가 오류율 0%를 냈고 비교 대상으로 삼은 다른 방식은 6%였다고 적었다(PMID 36704633, 현장 시험·단일 연구실). 등급은 문장 안에 남겨야 한다. 저자들이 자기 방법의 표준을 스스로 세우고 그 표준이 충족된다고 검증한 연구이고, 자기 연구실과 다른 모든 연구실의 이전 결과가 전부 이 가설과 양립한다고 적었다. 독립 반복이 아니라 주장에 가까운 형태다.

한 걸음 물러선 평가도 있다. 폴리그래프 응용의 반세기를 정리한 2024년의 관점 논문은, 숨긴정보검사가 과학적으로 방어 가능한 기법으로 관심을 끌었지만 현장에서의 사용은 미미하다고 적는다. 같은 글은 실무에서 폴리그래프 신문의 주된 목적이 여전히 시인과 자백을 끌어내는 것이라고 지적한다(PMID 38718884, 관점 논문·단일 저자). 우리가 이 글을 연 1983년 사건이 정확히 그 모양이었다.

2018년의 실험은 반지를 혼자 훔친 집단과 둘이 함께 훔친 집단을 비교했는데, 혼자 훔친 집단은 무죄 조건과 잘 갈렸지만 함께 훔친 집단은 무죄 조건과 갈리지 않았다. 두 집단에서 한 명씩 무작위로 뽑아 검사가 둘의 순서를 옳게 매길 확률로 따지면 앞의 경우는 0.84였고 뒤의 경우는 0.66이었다. 저자들은 공동 부호화가 검출 효율을 떨어뜨린다고 보고 이 방식이 공범을 가려내는 데는 적용할 수 없다고 결론지었다(PMID 29083483, 모의범죄 실험).

이길 수 있는 검사

셋째 요건은 "정확히 판정될 수 있다"였다. 이 문장에는 숨은 상대가 하나 있다. 검사를 받는 사람이 이기려고 든다면 어떻게 되는가.

대응책은 검사를 받는 사람이 결과를 흐트러뜨리려고 일부러 쓰는 수법을 말한다. 상관없는 항목이 나올 때 혀를 깨물거나 속으로 어려운 계산을 해서 그쪽 반응을 일부러 키우는 식이다.

2004년의 실험이 이 문제를 가장 날카롭게 보여 준다. 대상은 폴리그래프가 아니라 뇌파를 쓰는 검사였다. P300은 아는 것이 드물게 튀어나올 때 머리에 붙인 전극에 잡히는 뇌파의 봉우리다. 낯선 이름들 사이에 자기 이름이 한 번 섞여 지나갈 때, 본인은 가만있어도 머리에서는 봉우리가 하나 솟는다. 이 봉우리를 지표로 쓰는 숨긴정보검사에서, 한 방식의 유죄 집단 적중률은 82%였는데, 상관없는 항목에 몰래 반응을 만드는 대응책을 쓴 집단에서는 18%로 떨어졌다. 다른 방식에서는 같은 집단을 3주에 걸쳐 세 번 검사했다. 첫 주 적중률은 92%였고, 대응책을 쓴 둘째 주에는 50%, 셋째 주에는 58%였다. 저자들이 중요하게 본 것은 그다음이다 — 둘째 주에는 반응 시간 분포로 대응책 사용자를 잡아낼 수 있었지만, 셋째 주에는 잡아낼 수 없었다. 이런 대응책은 쉽게 배울 수 있다는 것이 저자들의 결론이었다(PMID 15032986, 실험·P300 기반). 여기까지의 숫자는 전부 이 뇌파 기반 검사의 값이고, 모의범죄 실험실 값이다.

여기서 잘라 내면 안 되는 결과가 둘 있다. 첫째, 대응책이 언제나 검출을 낮추지는 않았다. 1991년의 두 실험은 마음속으로 쓰는 대응책을 두 종류로 나눴는데, 특정 항목이 나올 때만 딴생각을 하는 방식은 오히려 검출을 높이는 쪽으로 작동했고, 검사 내내 계속 딴생각을 하는 방식만 검출 효율을 낮췄다. 이 양상은 실험실과 현장식 설비 모두에서 일관되게 나타났지만, 전반적 검출 효율이 상대적으로 높았던 현장식 실험에서 더 강했다(PMID 1748599, 실험 2편).

둘째, 지표를 여러 개 묶으면 버틸 때가 있다. 2016년의 실험은 60명에게 모의범죄를 시키고 대응책 조건을 나눴는데, 피부 반응은 대응책에 취약했고 몸으로 쓰는 대응책이 마음으로 쓰는 대응책보다 효과적이었다. 대응책 사용 여부와 무관하게 자율신경 반응들을 하나로 합친 점수가 유죄와 무죄를 유효하게 갈랐다는 보고가 붙어 있지만, 저자들이 결론에서 안정적이라고 적은 범위는 그보다 좁다 — 개별 지표들이 대응책에 크게 영향받은 반면, 여러 반응 측정을 조합한 점수는 마음으로 쓰는 대응책이 사용됐을 때 비교적 안정적인 구별을 냈다는 것이다(PMID 27338719, 모의범죄 실험·60명). 같은 P300 계열에서도 비슷한 보고가 있다. 2013년의 리뷰는 모의범죄에 적용했을 때 진단 정확도가 90%에서 75%로 떨어진 적이 있었고, 검사 중 피드백을 주는 등의 보완으로 정확도가 회복됐다고 정리한다(PMID 24012907, 리뷰).

대응책은 검사를 무너뜨리는 만능 열쇠도 아니고, 무시해도 되는 잡음도 아니다. 지금 확인된 것은 이 정도다. 개별 지표 하나에 기대면 대응책에 무너지고, 여러 지표를 묶은 점수는 마음으로 쓰는 대응책에 대해서만 비교적 안정적이라고 보고됐으며, 몸으로 쓰는 쪽이 더 효과적이었다. 그리고 대응책을 쓴 사실 자체를 탐지하는 일은 학습으로 무력화될 수 있다.

기계를 바꾸면 되는가

셋째 요건은 장치 이야기처럼 들린다. "정확히 측정할 수 있는 장치"라는 말이 판결문에 그대로 있으니, 더 좋은 기계를 쓰면 통과할 것 같기도 하다.

앞 절에서 만난 P300으로 돌아가 보자. 2014년의 메타분석에서 이 봉우리의 평균 효과크기는 1.89로 네 지표 가운데 가장 컸다. 다만 같은 분석은 이 우위가 개인 소지품을 쓰는 설계에서만 나타났고 모의범죄 설계에서는 나타나지 않았다고 적었다(PMID 24916920, 실험실 메타분석). 2025년의 메타분석은 실험 연구 54편을 모아 평균 효과크기 1.59를 보고하고, 이 값이 설계의 종류와 선택한 시행 프로토콜, 그리고 대응책 사용 가능성에 따라 달라진다고 적었다. 그리고 저자들은 결론에서 P300이 범죄 관련 정보의 존재를 가려내는 데 유용하다고 적고, 효과크기를 키우려면 복합 시행 프로토콜을 쓰라고 권고했다(PMID 40759338, 실험실 메타분석).

여기서 분명히 해 둘 것이 있다. 이 지표를 연구하는 사람들은 이 지표에 대해 부정적이지 않다. 이 절이 하려는 말은 지표가 나쁘다는 것이 아니라, 지표를 바꾸는 일과 요건이 묻는 일이 같은 층위가 아니라는 것이다.

뇌 영상은 어떤가. 2009년의 한 재분석은 거짓말과 관련된 뇌 영역을 찾아냈던 기존 연구의 참가자 14명 자료를 다시 열어, 집단에서 찾은 그 영역으로 개인의 거짓말을 맞힐 수 있는지를 시험했다. 결과는 이랬다 — 모든 개인에 대해 통하는 영역은 하나도 없었다. 가장 좋았던 내측 전전두피질이 참가자의 71%를 거짓말하는 것으로 맞게 짚었고 오경보는 없었으며, 기준을 낮추면 적중과 오경보가 함께 늘었다. 저자들은 뇌 영상이 전통적인 폴리그래프보다 인지에 더 가까운 지표이기는 하지만 같은 단서들이 그대로 따라붙으며, 거짓말에 고유한 과정을 드러내 주는 것으로 보이지는 않는다고 결론지었다(PMID 18633832, 재분석·14명).

원리 쪽의 지적은 더 근본적이다. 2008년에 뇌 영상 거짓말탐지를 옹호하는 쪽에서 쓴 글조차, 이 방법이 오직 두 뇌 상태 사이의 차이에만 민감하다는 점을 핵심 개념으로 짚는다. 그래서 지금까지의 연구는 거짓과 참을 구별했다고 말할 수 있을 뿐 거짓을 적극적으로 식별했다고 말할 수는 없다는 것이다(DOI: 10.1348/135532507x251641, 옹호 논평). 2005년에 국가안보 목적의 거짓 탐지를 검토한 글은 폴리그래프가 그 단계로는 국가안보의 필요를 충족하기에 불충분하며 뇌파나 뇌 영상 같은 대안들도 실무 도입을 논하기에는 이르다고 적었다(DOI: 10.1111/j.1541-1338.2005.00166.x, 정책 검토).

그리고 2017년의 한 책 챕터가 이 절의 결론을 대신한다. 저자들은 폴리그래프와 뇌 활동 측정에서 쓰이는 질문 형식이야말로 검사의 타당도를 좌우하는 주된 요인이며, 잘못된 검사 결과는 논리적 추론의 오류에서 나오는 것이라 새 기술로는 고쳐지지 않는다고 주장한다. 이 분야의 가장 큰 과제는 거짓말만을 떼어 내는 질문 형식을 찾는 것과, 실험실 자료를 방법론적으로 건전한 현장 연구로 뒷받침하는 것이라는 게 이들의 결론이다(DOI: 10.1093/oso/9780190612016.003.0010, 책 챕터·리뷰).

대법원이 셋째 요건에 기계와 함께 "질문사항의 작성"과 판독자의 능력을 나란히 적어 둔 것이 우연으로 보이지 않는 대목이다.

법정에 들어오면 무슨 일이 생기나

2005년 5월 26일, 대법원은 20년 만에 같은 요건을 다시 꺼냈다. 뺑소니 사건이었다. 경찰은 피고인에게 거짓말탐지기 검사를 했고, 판결문에 남은 질문은 이런 것들이다 — "당신이 그 사고를 내고 도주했습니까.", "그날 밤 당신이 그 골목길에서 사고를 낸 것입니까."(대법원 2005도130, 판례내용). 1983년 사건이 물었던 앎의 여부와는 종류가 다른 질문이다. 항소심은 이 검사에서 거짓 반응이 나왔다는 점 등을 근거로 1심의 무죄를 뒤집고 유죄를 선고했다.

대법원은 이 부분을 이렇게 정리했다. "미국 유타대학 심리학 교수 라쉬킨과 키셔 등이 연구개발한 유타구역비교검사법을 사용하였다는 것인바, 기록을 모두 살펴 보아도 위 검사법이나 피고인에 대한 이 사건 거짓말탐지기 검사가 위와 같은 세 가지 전제요건을 모두 갖추었음을 인정할 만한 아무런 자료가 없으므로, 피고인에 대한 거짓말탐지기 결과회시는 증거능력이 없다고 할 것이다"(대법원 2005도130, 판례내용). 원심은 파기환송됐다.

같은 구조가 앞선 판결들에도 있다. 1986년 판결에서 대법원은 검사 당시 피고인이 "4회의 강요에 의한 검사를 받는 등 검사의 신빙성을 보장하기에 충분한 심신상태에 있지 아니하였고" 검사자 겸 판정자도 "사전에 편견을 가지고 검사를 하였다는 것이므로" 원심이 그 결과를 배척한 것은 정당하다고 했다(대법원 85도2208, 판례내용). 1985년 판결에서는 검사관의 보고서가 있었지만 요건 충족을 인정할 자료가 없었다(대법원 84도2277, 판례내용).

우리가 읽은 여섯 건 안에서는, 세 요건이 충족된 것으로 인정된 사건이 하나도 없다. 이 문장의 범위는 여섯 건이다. 그 밖의 사건에 대해서는 우리가 가진 자료로 말할 수 없다.

거짓 탐지 증거가 사실을 판단하는 사람을 어떻게 움직이는지 재 본 실험도 있다. 2011년의 한 모의배심 연구는 330명에게 재판 요약문을 읽히고, 일부에게는 피고인이 거짓말하고 있다는 거짓 탐지 증거를 함께 보여 주었다. 유죄 평결이 올라간 것은 뇌 영상에 근거한 증거를 본 집단에서만이었다 — 이 집단이 폴리그래프에 근거한 증거를 본 집단, 열화상에 근거한 증거를 본 집단, 그리고 아무 탐지 증거도 못 본 집단보다 유죄 평결을 더 많이 냈다. 폴리그래프 증거가 아무 증거 없는 조건보다 평결을 움직였다는 보고는 초록에 없다. 그리고 반대신문에서 그 증거의 타당성이 다투어지자 유죄 평결은 통제 조건 수준으로 돌아왔다(DOI: 10.1002/bsl.993, 모의배심 실험·330명). 이 실험은 배심 재판을 전제한다. 앞에서 본 한국 사건들은 배심 재판이 아니고, 이 결과를 그 판결들의 이유로 옮겨 놓을 수는 없다.

이것이 한국만의 태도도 아니다. 독일의 상황을 정리한 2025년의 글은 지난 수십 년의 다수 판결로 독일 법정에서 이 기계의 사용이 거의 불가능해졌다고 적으면서, 그 거부의 밑바탕에 이 기계가 재판에 쓰일 만큼 과학적으로 뒷받침된 결과를 내놓지 못한다는 판단이 있다고 본다. 같은 글은 그 비판이 거꾸로 표적이 분명한 연구를 통한 진입로를 열어 준다고도 적는다(DOI: 10.2478/ep-2025-0005, 법제 검토). 반대로 영국을 다룬 2012년의 논문은, 증거능력이 없다는 통념을 뒷받침하는 영국 판례가 실제로는 매우 적다고 지적하면서 검사 결과에 관한 전문가 증거와 검사 과정에서 피검사자가 한 진술을 구별해야 한다고 주장한다(DOI: 10.1350/jcla.2012.76.3.771, 법학 논문·주장).

그리고 이 문제가 순수한 과학 문제가 아니라는 지적이 있다. 2012년의 한 법학 논문은, 어느 정도의 정확성과 타당성을 요구할 것인지가 법 제도의 목적과 그 과학이 쓰일 용도에 비추어 답해야 하는 규범적 물음이고 그 답을 과학자에게도 법률가에게도 독점시켜서는 안 된다고 주장한다(DOI: 10.2139/ssrn.2165391, 법학 논문·주장).

반대 방향의 질문 하나는 헌법재판소에 갔다. 2022년 12월 28일, 한 수용자가 자신이 과거에 받은 거짓말탐지기 검사 결과가 부당하다며 재검사를 요청했는데 같은 사안이라는 이유로 다시 해 주지 않은 것이 기본권 침해라고 주장하며 헌법소원심판을 청구했다. 2023년 1월 10일, 헌재는 각하했다. 각하는 청구한 내용이 옳은지 그른지를 판단하지 않고 문 앞에서 돌려보내는 결정이다. 이유는 이렇다 — "헌법의 규정상 또는 헌법의 해석상 특별히 검사에게 거짓말탐지기를 사용하여 수사를 하여야 할 작위의무가 부여되어 있다고는 볼 수 없고, 따라서 거짓말탐지기 재검사를 실시하지 아니한 부작위는 헌법소원의 대상이 될 수 없으므로, 이 사건 심판청구는 부적법하다"(헌법재판소 2022헌마1754, 전문). 검사에게 그런 작위의무가 없다는 데서 멈췄고, 본안 판단은 없었다.

남는 질문

여섯 건의 판결문에서 확실히 말할 수 있는 것은 좁다. 요건이 갖춰지면 형사소송법 제313조 제2항으로 증거로 할 수 있고, 그 경우에도 앉는 자리는 정황증거다. 그리고 우리가 읽은 여섯 건 안에서는 그 요건이 충족되었다고 인정된 사건이 없다.

여기서 미끄러지기 쉬운 자리가 있다. ‘요건이 충족된 사건이 없다’는 ‘이 검사가 아무것도 재지 못한다’와 같은 명제가 아니다. 앞에서 본 실험실 숫자들은 무엇인가가 재어지고 있다고 말한다. 다만 그 무엇이 ‘거짓말’인지, 그리고 실험실 밖에서 한 사람에 대한 판정으로 쓸 만한지가 요건이 묻는 것이고, 그 물음에 아직 답이 없다.

반대편의 목소리도 있다. 2015년의 한 법학 논문은 자율신경에 기대는 전통적 방식이 아니라 뇌파에 기반한 숨긴정보검사가 비교우위를 가진다고 주장하면서, 특히 법정 증거가 아니라 기소 전 협상 단계에서 무고한 피고인이 자신의 결백을 수사기관과 검찰에 신빙성 있게 신호하는 수단이 될 수 있다고 논한다(DOI: 10.1177/1365712714561189, 법학 논문·주장). 지금 이 기계를 가장 많이 만나는 자리가 법정이 아니라 조사실이라는 점을 생각하면, 이 각도는 가볍지 않다.

같은 자리에 1982년의 오래된 경고도 놓아 둔다. 그 논문은 거짓말 자체가 측정 가능한 하나의 생리적 반응을 만들어 내지 않으므로 ‘거짓말 탐지’라는 말이 성립하지 않는다고 주장하고, 대신 앎을 묻는 검사가 특정 정보가 확보된 경우에 한해 훨씬 정확한 도구가 될 수 있다고 제안했다(DOI: 10.2307/3053533, 법·사회 리뷰). 40년 뒤의 관점 논문은 정확히 그 검사가 현장에서는 거의 쓰이지 않는다고 적는다(PMID 38718884, 관점 논문·단일 저자).

그러니 남는 질문은 기계의 성능에 대한 것이 아닐지도 모른다. 1983년의 그 조사실에서 검사 결과가 실제로 한 일은 재판에서 증거가 되는 것이 아니라, 조사받는 사람에게 더 버틸 수 없다고 생각하게 만드는 것이었다. 대법원은 그 결과를 증거로 쓰지 못하게 했지만, 그것이 조사실에서 하는 일까지 막을 수 있는 요건은 판결문 어디에도 없다.

지문 감정의 오류율을 다룬 편에서 우리는 오래된 감정 기법이 뒤늦게 숫자로 측정되기 시작한 이야기를 했다. 이 편의 기계는 사정이 다르다. 숫자는 많다. 없는 것은 그 숫자가 실험실 밖 한 사람의 사건에서 무엇을 뜻하는지에 대한 합의다.

근거 논문

인용의 하중이 가장 큰 것은 판결문 원문이다. 큰따옴표 안은 판결문 원문 그대로이고, 요약한 자리에는 따옴표를 쓰지 않았다. 우리가 세운 명제나 지어낸 예시는 홑따옴표로 구별했다.

대법원 83도712 「살인·사체은닉·절도」 (1983) — 원전(판결문 전문) — 세 전제요건의 정식화(이 쟁점에 1979년 대법원 판결을 참조판례로 단다. 우리는 그 판결의 전문을 갖고 있지 않아 "최초"라고 쓰지 않는다), POT 검사의 두 흠 — 질문 대상의 누설과, 정말 모르는 사람이 거짓 반응으로 판정된 것 —, 비디오테이프 확인 뒤의 자백과 그 신빙성 배척.
대법원 83도3146 「강간치사ㆍ업무상횡령」 (1984) — 원전(판결문 전문) — 요건이 충족되면 형사소송법 제313조 제2항으로 증거로 할 수 있으나, 그 경우에도 정황증거로서의 기능에 그친다.
대법원 84도2277 「업무상과실장물취득·고물영업법위반」 (1985) — 원전(판결문 전문) — 세 요건을 "인적·물적 장치"로 묶은 정식, 요건 충족 자료의 부재.
대법원 85도2208 「폭발물사용」 (1986) — 원전(판결문 전문) — 판시사항이 「거짓말탐지기 검사결과의 증거능력」인 표준 문언, 검사 원리의 서술, 강요된 검사와 판정자의 편견.
대법원 2005도130 「특정범죄가중처벌등에관한법률위반(도주차량)」 (2005) — 원전(판결문 전문) — 20년 뒤 같은 요건의 적용, 유타구역비교검사법과 요건 충족 자료의 부재, 파기환송.
헌법재판소 2022헌마1754 「거짓말탐지기 재검사 요청 거부 위헌확인」 (2023) — 원전(결정문 전문) — 청구 2022년 12월 28일 · 결정 2023년 1월 10일. 검사에게 거짓말탐지기를 쓸 헌법상 작위의무는 없다는 이유로 각하. 본안 판단은 없다.
"Psychology and the lie detector industry: A fifty-year perspective." (2024) — PMID 38718884 — 관점 논문·단일 저자. 숨긴정보검사는 과학적으로 방어 가능하나 현장 사용은 미미하고, 폴리그래프 신문의 주된 목적은 여전히 시인·자백의 확보다.
"Advancing lie detection by inducing cognitive load on liars." (2013) — PMID 23378840 — 리뷰. 2003년 국가연구위원회 비판에 검증된 이론의 부재와 시행 절차의 비표준화가 포함되어 있었다고 적는다.
"Credibility assessment: preliminary process theory, the polygraph process, and construct validity." (2015) — PMID 24933412 — 이론 제안 논문. 제대로 쓰이면 높은 예측 타당도로 작동하며 예비과정이론이 구성 타당도를 메운다는 주장.
"Preliminary process theory does not validate the comparison question test." (2015) — PMID 25151652 — 논평. 이론 인용만으로는 구성 타당도가 서지 않고 통제·표준화 결여는 해소되지 않는다는 반박.