Paperis 아티클
기계가 할 수 있는 조각을 가져가면 남은 조각이 사람에게 온다 — 감시·기량·모드, 그리고 총량이 아니라 배분을 건드리는 쪽을 실험들이 가리킨다
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
병리 전문가 28명이 조직 슬라이드를 보고 종양 세포의 비율을 추정했다. 한 번은 혼자서, 한 번은 인공지능 진단 보조의 조언을 받으면서. 일부는 시간에 쫓기는 조건에서 하게 했다.
앞 절반은 이렇다. 인공지능을 함께 쓴 조건에서 전체 성적은 통계적으로 유의하게 올랐다.
뒷 절반은 이렇다. 혼자서는 맞게 판단한 사례가 틀린 조언 때문에 뒤집힌 비율이 7%였다. 시간 압박은 이 뒤집힘이 얼마나 자주 일어나는지는 늘리지 않았지만, 일어났을 때의 심각도는 키운 것으로 보였다 (arXiv:2411.00998, 프리프린트).
두 절반은 모순이 아니다. 둘 다 참이고, 이 글은 그 둘이 어떻게 같이 참일 수 있는지에 관한 것이다.
이 구조를 정면으로 적은 논문이 40년 전에 나왔다. 1983년 리산 베인브리지의 「자동화의 아이러니」다.
먼저 밝힐 것이 있다. 우리는 그 논문을 읽지 못했다. 오래된 논문이라 초록이 서지 데이터에 없고, 확인할 수 있는 건 그 논문을 인용하며 내용을 진술하는 후대 문헌뿐이다. 그래서 이 글은 베인브리지의 문장을 옮기지 않고 후대 문헌이 전하는 요지까지만 적는다. 한 건은 그 논문이 "더 복잡한 기술이 인간 조작자의 문제를 없애기는커녕 오히려 넓힐 수 있다"는 주장을 폈다고 전하고 (DOI: 10.31229/osf.io/f46bu, 프리프린트), 다른 한 건은 베인브리지가 사람과 기계의 상호작용이 늘어날 때 생기는 반직관적 결과를 다루면서 시스템 성능·안정성·안전에 미치는 영향에 집중했다고 전한다 (DOI: 10.1007/s00146-021-01320-y). 여기까지가 그 논문에 대해 말할 수 있는 전부다. 뼈대는 초록이 온전히 남은 실험들로 세운다.
베인브리지가 그 뒤에 무엇을 적었는지는 모른다. 다만 이어지는 실험 문헌이 배분의 순서를 적어 둔다. 한 공정안전 논문은 기술 중심 접근을 기계에 최대한 많은 책임을 할당하고 남은 과제를 사람 조작자에게 맡기는 것으로 요약하고 (DOI: 10.1002/prs.680160304), 1997년의 또 다른 논문은 그 결과를 한 줄로 적는다 — 조작자의 역할이 자동화의 부산물로 정의된다 (DOI: 10.1518/001872097778543886).
사람의 일은 설계되는 것이 아니라 남는 것이다. 여기서부터는 이 글의 정리다 — 남는 쪽은 규칙이 애매하고, 드물게 일어나고, 매번 다르다. 이건 이어지는 절들의 실험에서 거꾸로 읽은 것이지 어느 초록이 적어 둔 것이 아니다. 그 남은 조각들을 이어 붙인 것이 사람의 새 직무가 된다.
그 직무에 이름이 있다. 감독 제어(supervisory control)는 사람이 기계를 직접 움직이지 않고, 기계가 일하는 것을 지켜보다가 필요할 때만 끼어드는 방식이다. 정속 주행을 켜 놓고 발을 뗀 채 앞차를 보는 운전자, 자동으로 잡아 준 종양 영역을 확인만 하는 병리 전문가가 이 상태에 있다. 손은 쉬는데 책임은 그대로다.
이 시리즈의 되먹임 제어 편은 기계만으로 된 고리를, 그리고 거기서 "되돌리는 힘을 키우면 좋아진다"는 직관이 어떻게 깨지는지를 다뤘다. 이 편은 같은 고리 안에 사람이 들어갔을 때를 다룬다. 여기에도 짝이 되는 직관이 있다 — "자동화를 늘리면 사람이 실수할 자리가 줄어든다." 이 글이 검사하는 문장이 그것이다.
항공 관제 실험이 이 맞바꿈을 보여 준다. 경력 관제사들에게 충돌 위험을 미리 짚어 주는 결정 보조를 붙였더니, 제대로 작동할 때는 성적이 올랐고 정신적 부하가 줄었다. 그다음 실험에서 같은 보조를 부정확하게 만들자 특정한 충돌 하나는 자동화가 붙은 조건보다 수동 조건에서 더 잘 탐지됐다 (DOI: 10.1518/0018720053653802).
상황 인식(situation awareness)은 지금 무슨 일이 벌어지고 있고 그것이 곧 어떻게 될지에 대해 사람이 머릿속에 갖고 있는 그림이다. 지하철에서 고개를 들었을 때 "여기가 어디고 다음이 어디고 몇 정거장 남았지"가 즉시 떠오르면 그림이 있는 것이고, 한참 걸리면 없다. 이 개념을 세운 1995년 논문은 그림을 만드는 데 주의와 작업기억이 병목이라고 정리한다 (DOI: 10.1518/001872095779049543).
자동화가 어느 단계에 붙느냐에 따라 그 값이 달라진다. 정보를 모아만 주는 것, 분석해 주는 것, 무엇을 할지 골라 주는 것, 실행까지 하는 것을 나란히 놓은 관제 실험이 있다. 자동화가 신뢰할 수 없게 됐을 때 다가오는 충돌을 탐지하는 데 걸린 시간은 정보를 모아만 주는 자동화에 견줘 나머지 모든 유형에서 유의하게 길었다. 저자들은 이 저하가 상황 인식을 매개로 일어났다고 보고하며 결론짓는다 — 자동화가 정보 처리의 더 높은 단계에 적용될수록, 그것이 실패할 때 치르는 값도 커진다 (DOI: 10.1177/154193120905300102).
자동화 수준을 올려 가며 60명을 관찰한 실험은 두 곡선이 반대로 간다고 보고한다. 수준이 올라갈수록 성적은 올라갔고 상황 인식은 내려갔다. 여기에 조건이 붙는다 — 정보 처리 능력과 작업기억 용량이 높은 참가자는 높은 자동화에서 이득을, 낮은 참가자는 손해를 봤다 (DOI: 10.1177/1555343416637517).
한 번 데어 보면 고쳐질까. 관제 과제로 물은 실험의 답은 아니오에 가까웠다. 자동화 실패를 한 번 겪은 뒤에도, 높은 단계의 자동화를 쓰던 사람들은 정보를 모아만 주는 조건에 비해 여전히 상황 인식이 낮았고 다음 실패에 더 느리게 반응했다 (DOI: 10.1177/1071181311551072).
1993년 비행 시뮬레이션 실험 하나가 이 문제의 크기를 보여 준다. 참가자들은 추적 과제와 연료 관리 과제를 하면서 자동화된 감시 과제가 실패하는지도 지켜봐야 했다. 자동화와 함께 보낸 처음 40분 동안 세 집단 모두 자동화 실패를 탐지할 확률이 낮았다 (DOI: 10.1177/154193129303700102). 아직 조건을 갈라 놓기 전이라 세 집단이 같은 상태였다. 이 40분은 처치의 결과가 아니라 출발선이다.
여기에는 서로 다른 두 가지가 겹쳐 있다.
첫째. 경계 저하(vigilance decrement)는 같은 것을 오래 지켜볼수록 놓치는 것이 늘어나는 현상이다. 위험물이 거의 안 나오는 보안 검색대 화면을 두 시간째 보는 상태를 떠올리면 된다. 이건 시간이 만든다.
둘째. 자동화 안일(automation complacency)은 자동화가 잘 돌아가는 것을 여러 번 본 사람이 그것을 점점 덜 확인하게 되는 상태다. 이쪽은 시간이 아니라 신뢰가 만든다. 우주 로봇 팔 과제로 이 상태를 계산 모형으로 재현한 연구는 만드는 방법부터 적어 뒀다 — 자동화가 여러 번 연속으로 정확히 수행되게 한 다음, 실패시킨다. 모형은 평상시 성적과 안일이 자리 잡은 뒤의 실패 반응을 잘 예측했다. 다만 구멍도 명시한다 — 시선 훑기를 재현하는 모형만으로는 안일이 만드는 주의 배분 효과를 다 설명하지 못했다 (DOI: 10.1177/0018720814566454).
이 둘이 겹쳐 만드는 상태에는 오래된 요약이 있다. 사람이 실시간 조작에서 물러나 지켜보기만 하게 됐을 때 따라오는 것 가운데 네 가지를 이렇게 적는 1997년 공정안전 논문이다 — 시스템 값의 변화를 못 보고 개입하지 못하는 것, 컴퓨터를 지나치게 믿는 것, 시스템과 상황에 대한 인식을 잃는 것, 그리고 직접 조작 기량이 쇠퇴하는 것. 같은 논문은 이것들이 평상 운전에서도 나타나지만 시스템이 고장 난 상황에서 더 크게 나타난다고 덧붙인다 (DOI: 10.1002/prs.680160304).
1995년 항법 과제 실험이 이 자리를 깨끗하게 잡아냈다. 전문가 시스템에 항법을 맡긴 뒤 그 시스템을 실패시켰더니, 상황 인식이 낮은 상태가 실패 직후의 의사결정 시간 저하와 함께 나타났다. 저자들이 놓은 원인 후보는 넷이다 — 기량의 상실, 경계와 안일 문제에서 오는 상황 인식의 상실, 능동적 처리에서 수동적 처리로의 전환, 그리고 조작자에게 주어지는 되먹임의 변화. 그중 가장 유력하다고 지목된 것이 능동에서 수동으로의 전환이었다. 이 인식 손실을 누그러뜨리는 주요 요인으로는 사람이 자동화와 상호작용하는 동안 쥐고 있는 통제의 수준을 들었다 (DOI: 10.1518/001872095779064555). 직접 조작하는 사람은 자기가 만든 변화로 시스템을 이해하는데, 지켜보기만 하는 사람에게는 그 통로가 없다.
여기서 멈추면 이 글은 "상황 인식만 지키면 된다"로 끝난다. 그럴 수 없다.
이 개념과 성적의 관계를 모은 메타분석이 있다. 열 가지 측정법에서 논문 77편·효과 678개를 코딩했더니 전체 평균 상관은 r = 0.26으로 유의하지만 크기는 제한적이었고, 설명되지 않는 체계적 변동이 커서 개별 효과의 그럴듯한 범위가 r = -0.15에서 0.60까지 벌어졌다. 저자들의 결론은 조심스럽지 않다 — 상황 인식을 개선하는 개입이 의미 있는 성적 개선으로 이어지지 않을 수 있고, 이 분야의 주요 이론을 손볼 필요가 있을지 모른다 (DOI: 10.31234/osf.io/kv7n3, 프리프린트).
그 넓은 범위의 위쪽 끝에 해당하는 개별 연구도 있다. 모의 공중전 90회에서 조종사의 인식을 중간에 물어 잰 1990년 연구는, 청군 참가자가 어떤 항공기를 인식하고 있었을 때 나중에 그 항공기를 격추할 가능성이 그렇지 않을 때보다 거의 두 배였다고 보고한다 (DOI: 10.1177/154193129003400110). 강한 개별 결과는 그 메타분석을 반박하지 않는다.
정직한 정리는 이렇다. 상황 인식은 자동화가 무엇을 앗아 가는지 설명하는 데는 잘 듣지만, 올리기만 하면 성적이 따라 오른다는 보증은 아니다.
이 시리즈의 칼만 필터 편을 들은 사람이라면 반가운 접근도 있다. 달 착륙 모의 실험에서 자동조종과 수동 비행 사이를 오갈 때의 조종사를 모형화한 연구는, 상태를 추정하는 최적 제어 모형과 시선 배분 모형을 붙여 상황 인식을 "조작자가 가진 시스템 상태 추정치의 불확실성"으로 정의한다. 불확실성이 커진 것이 곧 인식이 줄어든 것이다. 이 모형은 모든 계기에 대해 주의 배분 비율의 평균 차이가 3.6% 이하로 실측을 따라갔고, 저자들이 짚은 위험은 구체적이다 — 자동조종에서 수동으로 넘어가는 순간 전체 주의 요구가 사람의 용량을 넘길 수 있다 (DOI: 10.1177/0018720816665759).
의류 공장에서 봉제 기계 조작자 67명을 가르친 실험이 있다. 전원에게 복잡한 공정을 수동 재봉기로 먼저 익히게 했고, 훈련이 끝난 시점에 세 집단의 성적에는 유의한 차이가 없었다. 그다음 한 집단은 계속 수동 기계를, 한 집단은 자동 주머니 부착기를, 한 집단은 둘을 번갈아 쓰게 했다.
6주 뒤 다시 수동 작업을 시켰다. 자동 기계로 옮겼던 집단은 한 사이클 평균 시간이 늘고 한 번에 제대로 만든 비율이 떨어졌다. 계속 수동을 쓴 집단은 정반대였다. 번갈아 쓴 집단은 생산량과 사이클 시간을 거의 유지했다 (DOI: 10.3390/app112311098).
기량 저하(deskilling)는 할 줄 알던 동작을 오래 쓰지 않는 사이에 손이 굳어 실제 성적이 떨어지는 것이다. 자전거는 안 잊는다고들 하지만, 6주 만에 다시 잡은 재봉틀은 그렇지 않았다는 게 이 실험의 답이다.
기량 저하 자체를 잰 것은 아니지만, 숙련도에 따라 부호가 뒤집히는 결과도 실측돼 있다. 우주선 도킹 모의 조작을 초심자 15명과 숙련자 12명에게 시킨 연구는 자동화가 초심자의 성적을 올리고 부하를 줄이고 상황 인식을 높인 반면, 숙련자에게는 과제 성적과 상황 인식을 오히려 떨어뜨릴 수 있다고 보고한다 (DOI: 10.3357/amhp.4398.2019). 이 연구는 파지나 재훈련을 재지 않았다 — 뒤집힌 건 자동화 효과의 부호이지 기량 저하의 방향이 아니다. 그래도 같은 도구가 누구에겐 사다리고 누구에겐 브레이크라는 사실은 남는다.
민항 조종석에서는 이게 훈련 과제로 다뤄진다. 2025년의 한 논문은 자동화 의존이 늘면서 수동 비행 연습 기회가 줄었고, 불충분한 수동 비행 경험이 여러 사고·준사고에서 기여 요인으로 지목됐다고 정리하고, 정기적인 수동 비행 훈련을 축으로 한 프로그램을 제안한다 (DOI: 10.22488/okstate.26.100218). 다만 이건 한 연구진의 제안이고, 그 프로그램의 효과를 잰 실험은 아니다.
1995년, 유리 조종석 항공기의 조종사와 자동화를 관찰한 연구가 새로운 오류 형태를 보고했다. 새 기술은 유연하다 — 같은 일을 상황에 따라 여러 방식으로 할 수 있게 여러 모드를 준다. 그런데 그 유연함에는 값이 붙는다. 사람이 맞는 모드를 골라야 하므로 전보다 시스템을 더 많이 알아야 하고, 지금 자동화가 어느 모드에 있고 무엇을 하는지 계속 추적하는 새로운 주의 요구까지 생긴다. 결론은 설계 쪽을 향한다 — 설계자가 이 새 인지 요구를 받쳐 주지 않은 채 모드만 늘리면, 새로운 형태의 오류와 새로운 실패 경로가 생긴다 (DOI: 10.1518/001872095779049516).
모드 혼동(mode error)은 기계가 지금 어느 모드에 있는지 사람이 잘못 알고, 그 상태에 맞지 않는 조작을 하는 것이다. 카메라를 동영상 모드에 두고 셔터를 눌러 놓고는 사진이 찍힌 줄 아는 게 작은 판본이다. 조종석에서 같은 일이 벌어지면 판본이 작지 않다.
모드만의 이야기는 아니다. 자동화와 얽힌 이상 상황에서 사람이 무엇을 하는지 본 연구가 있다. 민항 조종사 12명에게 자동화 관련 과제와 사건을 심은 한 시간 시나리오를 태웠다. 이상 상황의 탐지가 자주 늦었다. 원인을 따지는 단계는 지식의 빈틈과 시간 압박 때문에 드물게만 나타났다. 마지막 관찰이 이 절의 핵심이다 — 많은 경우 조종사들은 오류의 결과를 수습하기 위해 다시 높은 수준의 자동화에 기댔다 (DOI: 10.1518/001872007x215647). 이 연구는 모드 혼동을 다루지 않는다. 그런데도 결말은 같다. 자동화를 다 이해 못한 채 생긴 문제를, 그 자동화에 더 기대서 처리한다.
여기까지만 보면 결론이 "사람이 기계를 너무 믿는다"로 굳는다. 이 분야의 표준 참조가 된 1997년 논문이 정확히 그 굳음을 막는다. 이 논문은 사람과 자동화의 관계를 네 갈래로 나눈다 — 쓰는 것, 지나치게 기대는 것, 불신해서 안 쓰는 것, 그리고 사람 쪽 사정을 보지 않고 자동화해 버리는 것. 세 번째와 네 번째가 빠지기 쉬운 절반이다.
불신해서 안 쓰는 것. 이 논문은 흔한 원인을 잘못 울리는 경보로 지목하고, 왜 잦은지까지 적는다 — 탐지하려는 사건의 기저율을 고려하지 않은 채 오경보와 놓침 사이의 문턱을 정하기 때문이다. 문턱을 낮추면 오경보가 쏟아지고, 오경보가 쏟아지면 사람이 꺼 버린다.
사람 쪽 사정을 보지 않고 자동화해 버리는 것. 같은 논문은 이걸 설계자와 관리자의 몫으로 적고, 앞에서 본 대로 조작자의 역할이 자동화의 부산물로 정의된다고 말한다. 그리고 결정적으로, 이것이 다시 과신과 불신을 낳는다고 덧붙인다 (DOI: 10.1518/001872097778543886). 사람이 왜 기계를 너무 믿거나 안 믿는지를 성격에서만 찾으면 절반을 놓친다.
오경보와 놓침이 남기는 상처도 서로 다르다. 무인기 조종 과제 두 실험(32명, 24명)은 잘못 울리는 자동화는 경보에 따르는 정도를 갉아먹고, 놓치는 자동화는 경보가 없을 때 안심하는 정도를 갉아먹는다고 보고했다. 저자들은 이 둘이 비교적 독립적이며, 자동화 보조가 전반적 이득을 주려면 상당히 신뢰할 만해야 한다고 결론지었다 (DOI: 10.1518/001872006778606822).
신뢰는 말과 행동에서 다르게 드러난다. 140명이 참여한 모의 수색구조 과제에서 자동화의 신뢰도는 실제로 기대는 정도와 r = .66, 말로 보고한 신뢰와 r = .21, 성적과 r = .34로 상관했다. 효과의 크기는 자기보고보다 행동 쪽이 훨씬 컸다 (DOI: 10.1177/154193120805201908). 얼마나 믿느냐고 물어서 알아낼 수 있는 건 생각보다 적다.
과신과 불신을 같은 자에 놓고 잰 연구도 있다. 미 육군사관학교 생도 236명과 인구 구성이 비슷한 일반인 표본에게 표적 식별 과제를 시키고, 알고리즘 또는 사람 분석가의 조언을 준 뒤 판단을 고칠 기회를 줬다. 생도들은 일반인보다 인지적 왜곡이 덜했고 알고리즘 조언에 대한 신뢰가 더 잘 맞춰져 있었다. 저자들은 곧바로 한정을 단다 — 결과는 제한적이고, 교육과 노출이 이 관계를 바꿀 수 있음을 시사하는 정도다 (arXiv:2604.04333, 프리프린트).
앞의 1993년 감시 실험에는 뒷부분이 있다. 출발선을 확인한 뒤, 두 집단에게는 세션 중간에 10분짜리 완전 수동 블록을 넣었고 세 번째 집단은 계속 자동화 상태로 뒀다. 수동 블록을 거친 두 집단은 그 이후 자동화 실패 탐지 확률이 대조군보다 높았다. 두 번째 실험은 이 전환을 여러 번 반복하면 더 긴 자동화 구간에서도 이득이 유지된다고 보고한다 (DOI: 10.1177/154193129303700102). 자동화의 양을 줄인 게 아니다. 사람이 손을 대는 때를 바꾼 것이다.
기능 배분(function allocation)은 하나의 일을 조각으로 나눠 어느 조각을 사람이 맡고 어느 조각을 기계가 맡을지 정하는 설계 결정이다. 식기세척기를 살 때 "설거지를 기계가 한다"고 생각하지만 실제로 나뉘는 것은 헹굼·세척·건조·정리 같은 조각들이고, 어느 조각을 남기느냐에 따라 사람이 하는 일의 성격이 달라진다. 자동화 논쟁의 진짜 손잡이가 여기 있다.
손잡이를 돌리는 방향 하나는 중간 수준에 세우기다. 앞의 1997년 공정안전 논문은 사람과 컴퓨터가 감시·계획·선택·실행을 나눠 갖는 중간 수준을 시험했고, 그 구간에서 조작자가 간과하는 시스템 과제의 수가 줄었다고 보고한다. 다만 이건 동적 제어 과제를 쓴 실험실 결과이고, 저자들도 공정 제어 현장에 적용될 수 있으리라 기대한다고만 적는다 (DOI: 10.1002/prs.680160304).
30년치 실험을 정리한 2008년 종합이 균형을 잡아 준다. 이 논문은 정보 분석이나 의사결정에 자동화를 붙이면 이득과 비용이 함께 생기며 그래서 수준과 단계를 고르는 일이 중요하다고 적고, 경보에 대한 사람의 의존이 설계자가 놓침과 오경보 사이에 정한 문턱에 좌우된다고 짚는다. 사람의 상태에 맞춰 자동화를 켜고 끄는 방식은 부하를 고르게 하고 상황 인식을 지키는 데 추가적인 이득을 줄 수 있지만, 그 전환을 사용자가 통제해야 할지 시스템이 통제해야 할지는 더 연구가 필요하다고 적는다 (DOI: 10.1518/001872008x312198). 처방이 확정됐다고 말하지 않는다는 점이 중요하다. 실패 뒤의 신뢰를 다시 맞추는 일을 도와주면 운전자에게 이롭다는 응용 권고도 있다 (DOI: 10.1177/00187208251398449).
인터페이스를 손보기에서는 듣는 것과 안 듣는 것이 갈린다. 98명에게 50% 신뢰도의 선박 식별 보조를 쓰게 한 실험은 겉모습을 사람처럼 만드는 것과 목소리에 억양을 넣는 것을 함께 조작했다. 참가자들은 아바타 쪽을 더 사람 같다고 평가했다. 그런데 신뢰의 눈금이 맞춰지는 정도와 조언을 받아들일 때의 자신감에서는 겉모습의 효과가 나타나지 않았고, 대신 맥락상 유용한 정보를 실어 나르는 억양이 분명한 효과를 냈다 (DOI: 10.1177/00187208231218156). 사람처럼 보이게 하는 것과 쓸 정보를 주는 것은 다른 일이다.
처방에도 값이 붙는다. 설명을 붙이는 쪽이 특히 그렇다. 임상 의사결정에서 설명 모형을 실제 맥락에 넣고 평가한 연구는 부정적 효과부터 적는다 — 참가자 다수에게서 확증 편향, 모형에 대한 과의존 심화, 상호작용에 드는 노력 증가가 나타났고, 표준적인 설명 모형은 의도와 달리 모형의 한계를 비판적으로 이해하는 데는 별 도움이 되지 못했다. 그런데 같은 연구가 긍정적 효과도 보고한다 — 자동화 편향의 감소, 임상의가 확신하지 못하는 애매한 사례에서의 도움, 그리고 경험이 적은 의료진이 새 지식을 얻는 데 대한 지원이다 (arXiv:2204.05030, 프리프린트). 설명은 도구지 해결이 아니다.
이 절의 실험들이 공통으로 말하는 건 하나다. 자동화는 사람을 일에서 덜어 주는 것처럼 보이지만, 훈련과 인터페이스와 상호작용 설계에는 더 적은 것이 아니라 더 많은 주의를 요구한다.
확정되지 않은 자리를 셋만 적어 둔다.
설명 도구 자체가 흔들린다. 상황 인식과 성적의 관계는 평균으로는 있고 개별로는 -0.15에서 0.60까지 흩어졌다 (DOI: 10.31234/osf.io/kv7n3, 프리프린트). 안일 쪽도 마찬가지로, 시선 훑기 모형이 안일의 주의 배분 효과를 다 설명하지 못했다 (DOI: 10.1177/0018720814566454).
신뢰는 한 번 데는 것으로 고정되지 않는다. 조건부 자동 운전에서 위험 수준과 실패를 조작한 2025년 실험에서, 운전자들은 위험이 높을 때 신뢰를 낮게 보고했고 더 자주 수동으로 넘겨받았고 더 많이 감시했다. 저자들의 결론은 운전자가 위험에 적절히 반응한다는 것이다. 자동화 실패를 겪은 직후 신뢰는 즉시 떨어졌지만 시간이 지나면서 완전히 회복됐다 (DOI: 10.1177/00187208251398449). 저자들은 이 회복을 결함으로 부르지 않는다. 다만 한 번의 실패 경험이 영구 예방접종은 아니라는 것이, 앞의 응용 권고가 나온 자리다. 첫인상의 무게를 잰 실험도 있다. 40명에게 17분짜리 고속도로 자동 주행을 시키기 전에 신뢰를 높이는 소개말 또는 낮추는 소개말을 들려줬을 뿐인데, 반드시 넘겨받아야 하는 상황에서 신뢰가 높아진 집단은 평균 인수 시간이 1154밀리초 길었고 충돌까지 남은 최소 시간이 933밀리초 짧았으며, 6명이 장애물과 충돌했다. 신뢰를 낮춘 집단에서는 아무도 충돌하지 않았다 (DOI: 10.31234/osf.io/q6uak, 프리프린트). 표본 40명의 프리프린트라는 점을 함께 들고 가야 한다.
결과가 늘 한 방향인 것도 아니다. 관제 과제에서 항공기 인계를 돕는 자동화가 사건의 30%를 놓치게 만든 2026년 실험은, 인계 과제에서 다중 작업 능력이 낮은 참가자가 신뢰할 만한 자동화에서 더 큰 이득을 보고 신뢰할 수 없는 자동화에서 더 큰 손해를 봤다고 보고하는데, 같은 실험에서 상황 인식은 자동화가 있을 때 오히려 좋아졌고 부하는 줄었다 (DOI: 10.1177/00187208261431968). 앞에서 본 결과와 방향이 다르다. 과제와 자동화 유형과 신뢰도 수준이 달라지면 부호가 뒤집힐 수 있다는 뜻으로 읽는 것이 안전하다.
되먹임 제어 편이 무너뜨린 오해는 "되돌리는 힘을 키우면 좋아진다"였다. 힘을 키우면 빨라지지만 어느 지점을 넘으면 고리가 진동하고 발산한다. 좋은 설계는 힘을 최대로 키우는 것이 아니라 여유를 남기는 위치를 고르는 것이었다.
사람이 들어간 고리도 마찬가지다. 자동화의 총량은 성능 손잡이처럼 생겼지만, 그걸 돌리는 순간 사람의 역할이 함께 바뀐다. 기계가 할 수 있는 조각이 빠져나가고, 감시와 인수라는 남은 조각이 사람에게 오고, 그 조각을 연습할 기회는 줄어든다.
그래서 "이 시스템은 자동화가 되어 있어 더 안전한가"는 답할 수 있는 질문이 아니다. 답할 수 있는 건 목록이다.
① 자동화가 어느 단계에 붙어 있는가. 높은 단계일수록 평상시 성적은 좋아지고 실패할 때 치르는 값은 커진다 (DOI: 10.1177/154193120905300102; DOI: 10.1177/1555343416637517).
② 사람이 자동화와 상호작용하는 동안 무엇을 쥐고 있는가. 상황 인식의 손실을 누그러뜨리는 주요 요인으로 지목된 것이 그 통제의 수준이었다 (DOI: 10.1518/001872095779064555).
③ 사람이 그 손을 언제 마지막으로 썼는가. 6주 만에 다시 잡은 손은 느려졌고, 번갈아 쓴 손은 유지됐다 (DOI: 10.3390/app112311098).
④ 경보의 문턱을 누가 어떻게 정했는가. 그 문턱이 사람이 경보를 얼마나 따르고 얼마나 기대는지를 정하고, 잦은 오경보는 자동화를 아예 안 쓰게 만든다 (DOI: 10.1518/001872008x312198; DOI: 10.1518/001872097778543886).
⑤ 사람이 손을 대는 때가 설계돼 있는가. 세션 중간의 10분이 그다음 탐지율을 바꿨다 (DOI: 10.1177/154193129303700102).
다만 이 목록은 예측 도구가 아니다. 네 갈래를 나눈 그 1997년 논문이 직접 적어 뒀다 — 요인들이 서로 얽히고 개인차가 커서, 사람이 자동화를 쓸지 말지를 예측하기는 어렵다 (DOI: 10.1518/001872097778543886).
이 글이 검사한 문장은 "자동화를 늘리면 사람이 실수할 자리가 줄어든다"였다. 실험들이 말하는 건 그 문장이 통째로 틀렸다는 게 아니다. 자리가 줄어드는 것이 아니라 옮겨 간다는 것이다. 자주 일어나는 작은 실수의 자리에서, 드물게 일어나고 크게 번지는 실수의 자리로. 그리고 옮겨 간 자리에 선 사람은 대개 준비할 기회를 덜 받은 사람이다.
프리프린트는 동료심사와 무관하다. 본문에서 그때마다 표시했다.