모의 피싱 훈련 — 가짜 초인종을 울려 보면 무엇이 달라지나

「이 메일은 훈련이었습니다」

어느 날 아침, 회사 메일함에 그럴듯한 업무 메일이 한 통 와 있습니다. 메일 속 링크를 누르자 기다리던 화면 대신 안내문이 뜹니다. 방금 누른 메일은 회사가 보낸 훈련용 가짜 메일이었고, 그 메일에서 놓친 수상한 점은 이런 것들이었다는 안내입니다. 몇 주 뒤에는 비슷한 메일이 또 옵니다.

모의 피싱 훈련(simulated phishing training)은 조직이 직원들에게 미리 알리지 않고 진짜처럼 꾸민 가짜 피싱 메일을 보내, 누가 속는지 보고 가르치는 훈련입니다. 여기서 피싱은 믿을 만한 곳에서 온 것처럼 꾸민 메시지로 비밀번호 같은 정보를 받아 내거나 해로운 링크·파일을 열게 하는 속임수입니다(「피싱과 사회공학 — 문을 부수는 대신 초인종을 누른다」).

이 훈련 뒤에는 널리 믿는 말이 하나 있습니다. 직원을 가르치고 가짜 메일로 연습시키면 덜 속는다는 것입니다. 그럴듯한 믿음입니다. 피싱 메일은 양이 엄청나고 애초에 속이도록 만들어져서, 기술로 거르는 데는 한계가 있고 사람의 판단이 마지막 방어선으로 남습니다 (PMID 33078362). 문을 여는 손이 집 안에 있다면, 가짜로 초인종을 울려 보며 그 손을 연습시키는 일은 당연해 보입니다.

「피싱과 사회공학」은 이 훈련의 결과가 엇갈린다는 데서 멈췄습니다. 이 글은 그 다음을 묻습니다. 어디서는 효과가 나고 어디서는 나지 않았는데, 그 차이는 무엇에서 왔는가.

되풀이할수록 누르는 사람이 줄었다

미국 의료기관 여섯 곳이 2011년부터 2018년까지 직원들에게 모의 피싱 메일 2,971,945통을 보냈고, 그 가운데 422,062통이 클릭됐습니다. 14.2%, 일곱 통에 한 통꼴입니다 (PMID 30848810). 클릭률(click rate)은 보낸 모의 피싱 메일 가운데 링크가 눌린 비율입니다. 기관마다 캠페인 클릭률의 중앙값은 7.4%에서 30.7%까지 벌어졌습니다 (PMID 30848810). 같은 이름의 훈련인데도 기관에 따라 숫자가 네 배 넘게 달랐다는 뜻입니다.

이 자료에서는 기관이 모의 캠페인을 거듭할수록 그 뒤 캠페인의 메일이 클릭될 가능성이 낮았습니다. 6~10번째 캠페인에서 낮았고, 10번째를 넘었을 때 더 낮았습니다. 연구진은 이것이 모의 훈련과 인식 교육의 이득일 가능성을 시사한다고 적었습니다 (PMID 30848810). 다만 이 연구는 이미 쌓인 기록을 나중에 모아 본 것이고, 표본은 자료를 얻을 수 있었던 기관들이었습니다. 캠페인이 늘어난 것과 클릭이 줄어든 것이 함께 갔다는 것이지, 실험으로 원인을 가른 것은 아닙니다.

한 의료기관 안에서도 같은 방향이 보였습니다. 직원 5,416명이 모의 메일을 스무 차례 모두 받는 동안, 자주 누르던 사람이든 아니든 모든 집단에서 클릭률이 내려갔습니다 (PMID 30861069).

방법을 서로 견준 현장 실험도 있습니다. 네덜란드의 한 정부 부처에서 직원 1만 명 넘게가 참여한 실험에서, 위험을 알려 주는 안내와 모의 피싱을 직접 겪게 하는 방법을 따로, 또 함께 시험했습니다. 두 방법 모두 비밀번호를 내준 직원의 비율을 크게 줄였고, 둘을 합쳐도 효과가 더 커지지는 않았습니다 (PMID 31851688). 이 실험이 잰 결과는 비밀번호를 내준 직원의 비율입니다. 안내문 쪽은 보안 인식 교육, 곧 사람들이 속임수를 알아보고 대처하도록 가르치는 교육과 훈련의 흔한 모습입니다.

모의 피싱을 되풀이한 현장에서는 누르는 사람이 줄었고, 위험을 알려 주거나 겪게 하는 일은 비밀번호를 내주는 직원을 줄였습니다. 통념의 앞 절반은 여기까지 근거가 있습니다.

누른 그 순간에 가르치기

맨 앞의 아침 장면에서 링크를 누르자 뜬 안내문에는 이름이 있습니다. 내장형 훈련(embedded training)은 모의 피싱 메일의 링크를 누른 바로 그 순간에 교육 화면을 보여 주는 방식입니다. 속은 순간이 배우기에 가장 좋은 때라는 생각에서 나왔습니다.

이 방식을 만든 연구진의 실험에서는 결과가 좋았습니다. 실험실에서 내장형 훈련은 보안 공지를 보내는 기존 관행보다 효과가 좋았습니다 (DOI: 10.1145/1240624.1240760). 같은 교육 자료를 메일로 따로 보낼 때보다 속은 직후에 보여 줄 때 더 잘 배웠고, 배운 것을 더 오래 지니고 다른 종류의 피싱 메일에도 더 잘 옮겨 썼습니다 (DOI: 10.1145/1299015.1299022).

실험실 밖에서도 처음에는 결과가 버텼습니다. 포르투갈의 한 회사 직원들에게 적용한 현장 시험에서, 훈련을 받은 사람은 일주일 뒤의 모의 공격에 뚜렷이 덜 속았습니다. 훈련 메시지를 직접 받지 않은 동료들까지 훈련된 것으로 보이는 결과도 나왔습니다 (DOI: 10.1109/ecrime.2008.4696970). 515명이 참가한 실제 환경의 시험에서는 배운 내용이 28일 뒤에도 남아 있었고, 두 번째 훈련 메시지를 더하자 가짜 사이트에 정보를 내주는 일이 줄었습니다 (DOI: 10.1145/1572532.1572536). 두 시험 모두 같은 개발 연구진의 것입니다.

다른 현장에서는 결과가 달랐습니다. 이탈리아의 한 회사 직원 191명을 대상으로 한 실제 피싱 시험에서, 직원들은 내장형 훈련이 효과가 있다고 느꼈지만 훈련이 피싱에 속는 정도를 줄이지는 못했습니다 (DOI: 10.1145/3407023.3409179). 직원들에게 맞춤으로 꾸민 메일을 잇달아 보내며 훈련 메시지의 표현 방식 네 가지를 견준 대규모 실험에서는, 표현 방식이 다음 메일을 누를 가능성에 뚜렷한 차이를 내지 못했습니다. 훈련을 받든 안 받든 모든 링크를 누르거나 하나도 누르지 않는 사람이 많았습니다 (DOI: 10.1109/msp.2013.106).

내장형 훈련을 크게, 오래 시험한 연구 하나는 한 회사와 함께 진행한 실험입니다. 14,000명 넘는 직원이 15개월 동안 평소 업무 중에 여러 모의 피싱 메일을 받았습니다. 저자들의 표현으로, 오늘날 업계에서 흔히 쓰는 방식 그대로의 내장형 훈련은 직원들을 피싱에 더 강하게 만들지 못했고, 오히려 직원들을 더 잘 속게 할 수 있는 뜻밖의 부작용을 낳을 수 있었습니다 (DOI: 10.1109/sp46214.2022.9833766). 그 부작용이 왜 생기는지는 이 연구의 요약에 적혀 있지 않습니다.

누른 순간 가르치는 방식은 이 방식을 만든 연구진의 실험과 현장 시험에서는 효과를 냈지만, 다른 연구진의 현장 시험에서는 뚜렷한 효과가 보이지 않았고, 1만 4천 명 넘는 직원을 15개월 따라간 연구에서는 업계에서 흔히 쓰는 방식 그대로의 이 훈련이 직원을 더 강하게 만들지 못했습니다.

남는 것과 옅어지는 것

28일, 일주일. 앞의 성공 사례들이 효과를 확인한 시점은 대개 훈련 뒤 몇 주 안이었습니다. 효과 감쇠(training decay)는 훈련 직후에 보이던 효과가 시간이 지나며 옅어지는 현상입니다.

메일 피싱 훈련을 다룬 연구 42편을 훑은 문헌 정리에서, 훈련의 짧은 기간 효과는 잘 기록돼 있었지만 행동이 오래 바뀌는지에 대한 근거는 적었습니다 (DOI: 10.1016/j.cose.2023.103695). 메일을 쓰는 습관도 이 감쇠와 관련된 것으로 보입니다. 사람들이 곧 평소의 메일 사용 패턴으로 돌아가면서 짧은 기간 안에 훈련 효과가 옅어진다는 근거가 있습니다 (DOI: 10.1177/0093650215627483).

효과가 옅어진다면, 기억에 기대는 대신 판단하는 자리에 도움을 붙여 두는 길이 있습니다. 온라인 실험에서 경고 화면 안에 짧은 교육을 넣은 쪽은 기존 브라우저 경고만 보여 준 쪽보다, 경고가 없는 다음 단계와 일주일 뒤 단계에서 가짜 로그인 화면을 더 잘 가려냈습니다 (PMID 30526089). 대학생 나이대 성인의 실험에서는 피싱 메일의 특징을 늘 곁에 띄워 두는 분류 도우미가 탐지를 높였고, 그 도우미를 메일 화면 안에 넣었을 때 효과가 가장 컸습니다. 이 연구진은 짧게 한 번 가르치는 기존 방식들의 성과가 제한적이었다고 적었습니다 (PMID 35157483). 두 연구 모두 실험 과제로 잰 결과이고, 실제 조직에서 오래 쓴 결과는 아닙니다.

현장의 기술적 장치도 같은 쪽을 가리킵니다. 15개월 연구에서 메일에 붙인 경고는 효과가 좋았습니다 (DOI: 10.1109/sp46214.2022.9833766).

몇 달 단위의 반대 근거도 있습니다. 한 조직에서 420명을 6개월 동안 따라간 현장 연구에서는, 게임 요소를 넣은 보안 훈련 뒤에 긍정적인 행동 변화가 통계적으로 뚜렷하게 나타났습니다 (DOI: 10.1080/07421222.2019.1705512). 이 연구의 요약은 그 행동 변화가 피싱 메일 클릭을 따로 잰 것인지는 밝히지 않습니다.

한 번 받은 훈련의 효과는 며칠에서 몇 주 단위로는 확인됐지만, 그 효과가 몇 달 넘게 남는다는 근거는 아직 적습니다.

바쁜 오후, 한 번의 클릭

실험실과 현장의 차이를 한 사람의 오후로 따라가 보겠습니다. 한 병원의 직원이 일이 몰린 오후에 모의 피싱 메일을 받습니다.

이 직원이 메일을 받는 조건은 실험실과 다릅니다. 내장형 훈련의 초기 실험실 연구들은 훈련 직후에 참가자를 시험했습니다 (DOI: 10.1145/1299015.1299022). 이 직원에게 다음 모의 메일은 몇 주 뒤에 옵니다.

일의 양도 다릅니다. 병원 직원들의 설문을 실제 클릭 기록과 맞춰 보니, 규칙을 지키겠다는 의도는 실제로 링크를 누르지 않는 행동과 뚜렷한 관계가 없었습니다. 클릭할 가능성과 함께 간 것은 직원의 업무량 하나뿐이었습니다 (PMID 32012071). 설문에서 「조심하겠다」고 답하는 것과 바쁜 오후에 누르지 않는 것은 다른 일이었습니다.

누를 때의 걱정도 다릅니다. 미국의 한 정부 연구기관에서 직원 약 70명의 여러 해 치 훈련 기록을 보니, 링크를 누른 사람들은 누르지 않았을 때 생길 일, 이를테면 제때 응답하지 못하는 일을 걱정했습니다. 누르지 않은 사람들은 눌렀을 때 생길 일, 이를테면 악성 프로그램을 내려받는 일을 걱정했습니다 (DOI: 10.14722/usec.2018.23016). 같은 메일도 그 사람의 업무 사정에 따라 다르게 읽혔습니다.

그리고 링크를 누르면 교육 화면이 뜹니다. 훈련 메시지의 표현 방식을 견준 대규모 실험에서, 연구진은 표현 방식이 효과를 바꿨는지 판단할 수 없었습니다. 직원들이 교육 자료를 읽지 않았기 때문입니다 (DOI: 10.1109/msp.2013.106). 화면이 떠도 읽히지 않으면 가르칠 기회가 생기지 않습니다.

이 사실들은 서로 다른 연구에서 나왔습니다. 이것들이 한 사람에게 겹쳐서 현장의 효과를 지웠다고 직접 잰 연구는 이 글이 모은 근거에 없습니다. 나란히 놓으면 보이는 것은 하나입니다. 초기 실험실 연구가 잰 조건과 현장의 직원이 메일을 여는 조건은 시점에서도, 업무량에서도, 누를 때의 걱정에서도, 교육 화면을 읽었는지에서도 달랐습니다.

클릭률 하나로는 보이지 않는 것

링크를 누르는 것과 비밀번호를 내주는 것은 다른 단계입니다. 15개월 연구가 잰 것도 한 가지가 아니었습니다. 피싱 메일의 클릭률, 비밀번호를 적어 넣는 것 같은 위험한 행동, 그리고 직원들이 수상하다고 신고한 메일입니다 (DOI: 10.1109/sp46214.2022.9833766). 포르투갈 회사의 시험에서는 모의 메일의 링크를 누른 사람 가운데 많은 비율이 가짜 사이트에 어떤 형태로든 개인 정보를 내주는 데까지 나아갔습니다 (DOI: 10.1109/ecrime.2008.4696970).

신고율(reporting rate)은 모의 피싱 메일을 받은 사람 가운데 그 메일을 수상하다고 신고한 사람의 비율입니다. 클릭률이 속은 사람을 센다면, 신고율은 막는 쪽에 선 사람을 셉니다. 15개월 연구에서 회사는 메일 프로그램에 신고 버튼을 달았습니다. 직원들의 신고를 모으자 새로운 피싱 공격을 빨리 찾아낼 수 있었고, 조직이 감당할 일의 양은 받아들일 만했으며, 직원들은 오랫동안 꾸준히 신고했습니다 (DOI: 10.1109/sp46214.2022.9833766). 클릭률만 보면 이 성과는 숫자에 잡히지 않습니다.

클릭률은 사람만이 아니라 메일에 따라서도 움직입니다. 직원이 6,000명 넘는 이탈리아의 한 대형 병원에서 벌인 첫 번째 모의 훈련에서, 누구에게나 보낼 법한 메일은 직원의 64%가 열지 않았고 병원 사정에 맞춘 메일은 38%만 열지 않았습니다. 링크를 누른 직원도 맞춤 메일 쪽이 뚜렷이 많았습니다 (PMID 35321019). 31,000명이 넘는 참가자에게 여러 모의 공격을 보낸 연구는, 메일의 특징만으로 몇 명이 속을지를 미리 내다보는 모형을 만들었습니다. 훈련을 보내기 전에 그 메일이 얼마나 그럴듯한지 가늠하려는 것입니다 (DOI: 10.1109/access.2022.3207272). 메일을 어떻게 꾸몄느냐가 이만큼 숫자를 움직인다면, 두 차례 훈련 사이의 클릭률 차이에는 사람의 변화와 메일의 차이가 함께 들어 있을 수 있습니다.

판정의 기울기도 숫자를 움직입니다. 응답 치우침(response bias)은 메일 하나하나를 가려내는 능력과는 따로, 메일 전체를 진짜 쪽이나 가짜 쪽으로 판정하려는 기울기입니다. 흔히 쓰는 직관적 지표는 이 치우침과 정확도를 뒤섞습니다 (PMID 30063406). 온라인 메일 분류 과제에서, 피싱에 대한 지식은 피싱을 더 잘 찾아내는 것과 함께 모든 메일을 피싱으로 분류하려는 치우침과도 함께 갔습니다 (PMID 38729025). 클릭이 줄었을 때 가짜를 더 잘 알아보게 된 것인지, 아무 메일이나 덜 누르게 된 것인지는 다른 이야기입니다.

반대 방향의 근거도 있습니다. 515명 시험에서 훈련은 진짜 메일의 링크를 누르려는 마음을 줄이지 않았습니다 (DOI: 10.1145/1572532.1572536). 적어도 이 시험에서는 훈련이 모든 메일을 의심하게 만들지 않았습니다.

클릭률이 내려갔다는 것만으로는 사람들이 가짜를 더 잘 알아보게 됐는지, 메일이 쉬웠는지, 모든 메일을 덜 누르게 됐는지가 갈리지 않습니다. 515명 시험처럼 진짜 메일에 대한 반응을 함께 재면, 적어도 모든 메일을 덜 누르게 된 것인지는 가를 수 있습니다.

같은 사람이 또 누른다

스무 차례 모의 메일을 모두 받은 의료기관 직원 5,416명 가운데 한 번도 누르지 않은 사람은 975명, 17.9%였고, 3,565명(65.3%)은 두 번 이상 눌렀습니다. 다섯 번 이상 누른 772명은 따로 고위험군으로 분류됐습니다 (PMID 30861069). 이 고위험군에게는 열다섯 번째 캠페인 뒤부터 의무 교육을 시켰지만, 그 교육은 클릭률에 큰 영향을 주지 못했고 고위험군은 끝까지 더 잘 눌렀습니다 (PMID 30861069).

다른 현장에서도 전에 속은 사람이 또 속았습니다. 미국 조지메이슨 대학교의 교직원 6,938명에게 모의 피싱을 보낸 연구에서, 전에 피싱에 당한 적이 있는 사람이 이번에도 더 잘 넘어갔습니다. 성별과 나이의 효과는 뚜렷하지 않거나 약했습니다 (DOI: 10.1145/3461672).

그래서 가장 잘 속는 사람을 겨냥하자는 주장이 나옵니다. 앞선 연구들의 수치를 넣어 돌린 모의 계산에서, 그 모형의 가정 안에서는 가장 취약한 사용자들은 전체 피싱 위험의 큰 몫을 차지했고, 이들을 겨냥한 개입의 순이익이 훨씬 컸습니다. 이 계산은 또 가려내는 능력을 높이는 것보다 응답 치우침을 줄이는 개입의 순이익이 더 크다고 추정했습니다 (PMID 29023908). 메일의 그럴듯함을 미리 가늠하는 모형을 만든 앞의 연구진도 훈련은 큰 집단보다 개별 사용자에 맞춰야 한다고 결론지었습니다 (DOI: 10.1109/access.2022.3207272).

두 근거를 나란히 놓으면 빈칸이 하나 보입니다. 누가 반복해서 누르는지는 찾아낼 수 있었습니다. 그러나 그 사람들에게 따로 시킨 의무 교육은 앞의 의료기관에서 클릭률을 크게 바꾸지 못했습니다. 적어도 이 의료기관에서는, 위험한 사람을 찾아내는 일과 그 사람의 행동을 바꾸는 일이 같은 일이 아니었습니다.

직원을 속이는 훈련의 값

모의 피싱 훈련은 직원을 속여야 성립합니다. 실제 조건을 흉내 낸 피싱 실험은 널리 받아들여진 사전 동의 요건에 어긋나고 속임을 포함합니다. 한 윤리 분석의 저자들은 그래도 위험을 최소화하고, 비밀과 프라이버시를 지키고, 시작 전에 빠질 기회를 주고, 끝난 뒤 사실을 알려 준다면 윤리적으로 할 수 있다고 주장합니다 (PMID 28812222).

현장에서도 문제가 생겼습니다. 앞의 이탈리아 병원에서 훈련은 병원 안에서 제기된 문제 때문에 계획대로 진행되지 못했습니다. 요약은 그 문제가 무엇이었는지 밝히지 않습니다. 연구진은 모의 훈련이 유용하지만 한계가 있다고 결론지으면서, 거짓 위협이나 약속을 담은 메시지가 직원과 노조의 반발을 부를 수 있다고 적었습니다. 성공적이고 윤리적인 모의 훈련에는 조직 전체의 조율, 정확한 시점, 그리고 직원들이 모르고 있어야 한다는 조건이 필요하다고도 적었습니다 (PMID 35321019).

모의 피싱 훈련은 직원이 모르는 채로 속아야 성립하고, 그 속임이 조직 안의 반발을 부를 수 있습니다. 이 값은 클릭률 표에 나타나지 않습니다.

결과는 왜 엇갈리나

양쪽 근거를 같은 무게로 놓으면 이렇습니다.

마지막 줄의 연구가 시험한 것은 훈련이 아니라, 모의 피싱 직전에 믿음과 행동이 어긋날 때 생기는 불편함을 건드리는 짧은 자극입니다. 무작위로 나뉜 뒤 실제로 설문에 응한 직원 가운데, 자극을 받은 쪽은 44%(32명 중 14명), 대조 쪽은 65%(34명 중 22명)가 링크를 눌렀고, 설문에 응하지 않은 나머지 직원은 53%(753명 중 396명)였습니다. 그러나 이 차이는 통계적으로 뚜렷하지 않았고, 연구진은 이 결과가 믿을 만한 행동 효과를 입증하지 않는다고 적었습니다 (PMID 42224651).

연구를 모아 본 분석도 같은 자리를 가리킵니다. 실제 조직에서 한 현장 실험 48편을 모은 메타분석에서, 피싱 메일에 속은 비율은 평균 21%였습니다. 훈련은 그 비율을 바꾸는 요인 가운데 하나였고, 경고 장치, 메일의 맞춤 정도, 이미 알려진 속임수도 그 비율을 바꿨습니다. 사기의 종류에 따라 성공률이 몇 자릿수씩 차이 나는 것으로도 보였습니다 (DOI: 10.1109/ecrime47957.2019.9037502). 속는 비율을 움직이는 요인이 훈련 하나가 아니므로, 연구끼리 견주거나 훈련 전후를 서로 다른 메일로 잴 때는 어떤 메일을 썼느냐가 훈련의 성적에 섞여 들어갈 수 있습니다. 저자들은 많은 결과가 통제와 표본에 한계가 있었고, 그것이 예상 밖의 결과와 서로 모순되는 결과를 설명할 수 있다고 적었습니다 (DOI: 10.1109/ecrime47957.2019.9037502).

표의 칸을 따라 읽고 연구를 한 사람이 누구인지까지 보면, 결과가 엇갈리는 이유가 적어도 다섯 보입니다. 첫째는 재는 것입니다. 클릭, 비밀번호 입력, 신고, 실험 과제의 판별 점수, 직원이 스스로 느낀 효과는 서로 다른 것을 셉니다. 이탈리아 회사에서는 느낀 효과와 실제 결과가 어긋났습니다. 둘째는 기간입니다. 10일 뒤, 28일 뒤에 잰 효과와 15개월 동안 쌓인 결과는 같은 질문에 답하지 않습니다. 셋째는 비교 대상입니다. 내장형 훈련이 앞선 비교는 보안 공지를 보내는 관행과의 비교였고, 마음챙김 훈련이 앞선 비교는 규칙 기반 훈련과의 비교였습니다. 넷째는 훈련의 모양입니다. 사회공학 공격에 대한 개입을 실험으로 시험한 연구 19편, 23,146명의 결과를 모은 메타분석에서 어떤 개입은 효과가 아주 컸고, 어떤 개입은 효과가 전혀 없었습니다. 강도가 높은 개입이 낮은 개입보다, 초점이 좁은 개입이 넓은 개입보다 효과적이었습니다 (DOI: 10.1108/ics-07-2019-0078). 「훈련」이나 「교육」이라는 한 이름 아래에도 효과가 전혀 다른 것들이 섞여 있을 수 있다는 뜻입니다. 앞의 42편 문헌 정리도 훈련의 강도, 능동적인 학습, 자세한 피드백, 그리고 주의를 기울이는 기술을 가르치는 훈련에 전통적인 단서 찾기 방식을 함께 쓰는 일이 효과를 가르는 요소라고 적었습니다 (DOI: 10.1016/j.cose.2023.103695). 다섯째는 누가 쟀느냐입니다. 내장형 훈련이 효과를 낸 현장 시험 두 건은 이 방식을 만든 연구진의 것이었고, 효과가 보이지 않은 이탈리아 회사의 시험과 15개월 연구는 다른 연구진의 것이었습니다.

같은 문헌 정리의 결론은 양쪽을 다 담습니다. 피싱 메일에 대한 사용자의 저항력이 나아졌다는 것은 훈련이 중요한 방어 수단임을 확인해 주지만, 지금의 방식은 훈련받은 사람들을 여전히 위험에 남겨 둔다는 것입니다 (DOI: 10.1016/j.cose.2023.103695). 참가자 41명의 모의 실험에서도 두 훈련 방식 모두 안전한 행동을 도왔지만, 대부분의 참가자는 훈련 뒤에도 피싱에 속았습니다. 연구진은 훈련만으로는 안전하게 행동하게 만들기에 모자라다고 보았습니다 (DOI: 10.3390/fi14040104).

가짜 초인종이 가르치는 것

통념이 맞는 범위는 이렇습니다. 모의 피싱을 되풀이한 현장에서는 누르는 사람이 줄었고, 위험을 알리거나 겪게 하는 일은 비밀번호를 내주는 직원을 줄였습니다. 누른 순간 가르치는 방식도 이 방식을 만든 연구진의 짧은 기간 시험에서는 효과를 냈습니다.

통념이 넘어서는 범위도 있습니다. 1만 4천 명 넘는 직원을 15개월 따라간 연구에서는 업계에서 흔히 쓰는 방식 그대로의 내장형 훈련이 직원을 더 강하게 만들지 못했습니다. 한 번 받은 훈련의 효과는 대개 몇 주 단위로 확인됐고, 그 효과가 몇 달 넘게 남는다는 근거는 적습니다. 모의 메일을 몇 년씩 되풀이한 현장의 클릭 감소는 관찰 기록이고, 한 번의 훈련이 오래 남는지와는 다른 질문입니다. 반복해서 누르는 사람에게 따로 시킨 교육은 한 의료기관에서 클릭률을 크게 바꾸지 못했습니다. 그리고 클릭률 하나로는 무엇이 바뀌었는지가 다 보이지 않습니다.

같은 15개월 연구에서 효과가 좋았던 것은 메일에 붙인 경고였고, 오래 버틴 것은 직원들의 신고였습니다 (DOI: 10.1109/sp46214.2022.9833766). 가짜 초인종을 울려 보는 훈련은 문을 지키는 여러 장치 가운데 하나이고, 그 효과는 어떤 훈련을 무엇으로 언제 재느냐에 따라 다르게 보입니다.

피싱이 사람의 어떤 순간을 노리는지, 누가 어떤 메일에 속는지는 「피싱과 사회공학 — 문을 부수는 대신 초인종을 누른다」가 다룹니다. 사람이 결국 비밀번호를 내줬을 때 2단계 인증이 무엇을 막고 무엇을 못 막는지는 「2단계 인증의 한계 — 두 번째 문은 어떤 손님 앞에서 열리나」가 이어 갑니다.

근거 논문

• "The Phishing Email Suspicion Test (PEST) a lab-based task for evaluating the cognitive mechanisms of phishing detection." (2021) — PMID 33078362 — 양이 많고 속이도록 설계돼 순수 기술적 해법은 한계, 사람의 판단이 마지막 방어선.
• "Assessment of Employee Susceptibility to Phishing Attacks at US Health Care Institutions." (2019) — PMID 30848810 — 미국 의료기관 6곳, 2011~2018년, 모의 메일 2,971,945통 중 422,062통(14.2%) 클릭. 기관별 중앙값 7.4~30.7%. 캠페인 반복이 클릭 오즈 감소와 연관, 모의 훈련의 잠재적 이득 시사. 후향적·편의 표본.
• "Evaluation of a mandatory phishing training program for high-risk employees at a US healthcare system." (2019) — PMID 30861069 — 직원 5,416명·20회. 0회 클릭 975명(17.9%), 2회 이상 3,565명(65.3%), 5회 이상 772명 고위험군. 모든 집단 클릭률 감소, 15회 이후 고위험군 의무 교육은 큰 영향 없음.
• "Informing, simulating experience, or both: A field experiment on phishing risks." (2019) — PMID 31851688 — 네덜란드 정부 부처 직원 1만 명 이상 현장 실험. 정보 제공과 모의 경험 모두 비밀번호 제공 비율을 크게 줄였고, 결합은 효과를 더 키우지 않음.
• "Protecting people from phishing" (2007) — DOI: 10.1145/1240624.1240760 — 실험실 실험. 내장형 훈련이 보안 공지 관행보다 효과적.
• "Getting users to pay attention to anti-phishing education" (2007) — DOI: 10.1145/1299015.1299022 — 이전 연구는 훈련 직후 시험. 내장형이 메일 발송형보다 학습·보존·전이가 나음.
• "Lessons from a real world evaluation of anti-phishing training" (2008) — DOI: 10.1109/ecrime.2008.4696970 — 포르투갈 회사 현장 시험. 클릭한 사람 중 많은 비율이 정보를 입력. 훈련받은 사람은 일주일 뒤 덜 속음. 직접 훈련받지 않은 동료에게도 효과가 퍼진 것으로 관찰.
• "School of phish" (2009) — DOI: 10.1145/1572532.1572536 — 515명 실제 환경 시험. 28일 뒤에도 지식 유지, 두 번째 훈련 메시지가 정보 제공을 줄임, 진짜 링크 클릭 의향은 줄지 않음.
• "A real world study on employees' susceptibility to phishing attacks" (2020) — DOI: 10.1145/3407023.3409179 — 이탈리아 회사 직원 191명 실제 피싱 시험. 내장형 훈련은 효과적이라고 인식됐으나 취약성을 줄이지 못함.
• "Going Spear Phishing: Exploring Embedded Training and Awareness" (2013) — DOI: 10.1109/msp.2013.106 — 대규모 실험, 훈련 표현 방식 4종은 다음 클릭에 유의한 차이 없음. 다수가 훈련 여부와 무관하게 전부 또는 전무 클릭. 직원들이 훈련 자료를 읽지 않아 효과 판단 불가.
• "Phishing in Organizations: Findings from a Large-Scale and Long-Term Study" (2022) — DOI: 10.1109/sp46214.2022.9833766 — 14,000명 넘게·15개월, 클릭·위험 행동·신고를 측정. 메일 경고 효과 좋음. 업계식 내장형 훈련은 더 강하게 못 만들고 부작용 가능. 신고 집단 탐지는 빠르고 부담 감당 가능, 장기 참여.
• "Exploring the evidence for email phishing training: A scoping review" (2023) — DOI: 10.1016/j.cose.2023.103695 — 42편. 단기 효과는 잘 기록, 지속적 행동 변화 근거는 제한적. 강도·능동 학습·자세한 피드백·주의 기술과 단서 기반의 결합이 효과 요소. 훈련은 중요한 방어 수단이나 현재 방식은 여전히 위험을 남김.
• "Suspicion, Cognition, and Automaticity Model of Phishing Susceptibility" (2016) — DOI: 10.1177/0093650215627483 — 메일 사용 습관 패턴에 빠지며 짧은 기간 안에 훈련 효과가 옅어진다는 근거.
• "Embedding Training Within Warnings Improves Skills of Identifying Phishing Webpages." (2019) — PMID 30526089 — 온라인 실험. 교육을 넣은 경고가 기존 경고보다 경고 없는 다음 단계와 일주일 뒤 단계에서 더 나은 보호.
• "Is the key to phishing training persistence?: Developing a novel persistent intervention." (2022) — PMID 35157483 — 기존 일회성 개입의 성과는 제한적. 대학생 나이대 성인 실험에서 상시 분류 도우미가 탐지를 높였고 과제 안에 넣을 때 효과가 가장 큼.
• "Why Employees (Still) Click on Phishing Links: Investigation in Hospitals." (2020) — PMID 32012071 — 병원 직원 397명 설문과 실제 클릭 대조. 준수 의도는 준수 행동과 유의한 관계 없음, 업무량만 클릭 가능성과 양의 연관.
• "User Context: An Explanatory Variable in Phishing Susceptibility" (2018) — DOI: 10.14722/usec.2018.23016 — 미국 정부 연구기관 약 70명, 4.5년 내장형 훈련 자료. 클릭한 사람은 응답하지 못할 결과를, 안 한 사람은 악성코드를 걱정. 업무 맥락이 단서 해석을 좌우.
• "Phishing simulation exercise in a large hospital: A case study." (2022) — PMID 35321019 — 직원 6,000명 이상 이탈리아 병원. 일반 메일 미개봉 64% vs 맞춤 메일 38%, 맞춤 쪽 클릭 더 많음. 조직 내 문제로 계획대로 진행 못 함. 거짓 위협·약속은 직원·노조 반발 가능. 조율·시점·직원의 무인지가 필요.
• "Avoiding the Hook: Influential Factors of Phishing Awareness Training on Click-Rates and a Data-Driven Approach to Predict Email Difficulty Perception" (2022) — DOI: 10.1109/access.2022.3207272 — 31,000명 이상·모의 공격 144종. 메일 특징으로 속을 인원을 예측하는 모형, 사전 난이도 추정. 훈련은 큰 집단보다 개별 사용자에 초점을 둬야 한다는 결론.
• "Signal Detection Theory (SDT) Is Effective for Modeling User Behavior Toward Phishing and Spear-Phishing Attacks." (2018) — PMID 30063406 — 직관적 지표는 응답 치우침과 정확도를 뒤섞음. 신호탐지 지표로 훈련 효과를 평가·감시할 수 있음.
• "The roles of phishing knowledge, cue utilization, and decision styles in phishing email detection." (2024) — PMID 38729025 — 145명 온라인 분류 과제. 피싱 지식은 더 나은 탐지와 함께 모든 메일을 피싱으로 분류하는 치우침과 연관.
• "Experimental Investigation of Technical and Human Factors Related to Phishing Susceptibility" (2021) — DOI: 10.1145/3461672 — 조지메이슨 대학교 교직원 6,938명, 3주 캠페인. 이전에 피싱당한 사람이 다시 더 잘 속음, 성별·나이 효과는 무의미하거나 약함.
• "Setting Priorities in Behavioral Interventions: An Application to Reducing Phishing Risk." (2018) — PMID 29023908 — 기존 연구 모수로 한 몬테카를로 모의. 가장 취약한 사용자가 위험의 큰 몫, 이들을 겨냥한 개입의 순이익이 큼. 민감도를 높이기보다 응답 치우침을 줄이는 개입의 순이익이 더 큼.
• "Ethics and Phishing Experiments." (2018) — PMID 28812222 — 현실 조건 피싱 실험은 사전 동의 요건에 어긋나고 속임을 포함하나, 위험 최소화·비밀 보호·사전 거부 기회·사후 설명이 있으면 윤리적으로 수행 가능하다는 주장.
• "Training to Mitigate Phishing Attacks Using Mindfulness Techniques" (2017) — DOI: 10.1080/07421222.2017.1334499 — 미국 대학 355명 현장 연구, 10일 뒤 모의 공격. 마음챙김 훈련이 규칙 기반 훈련보다 공격을 더 잘 피하게 함.
• "Using Design-Science Based Gamification to Improve Organizational Security Training and Compliance" (2020) — DOI: 10.1080/07421222.2019.1705512 — 420명·6개월 현장 연구. 게임화한 보안 훈련이 통계적으로 유의한 긍정적 행동 변화.
• "A meta-analysis of field experiments on phishing susceptibility" (2019) — DOI: 10.1109/ecrime47957.2019.9037502 — 현장 실험 48편 메타분석. 평균 속음 비율 21%. 받는 사람 변수 검정 140개 중 116개, 대부분 무의미. 경고 장치·맞춤·훈련·알려진 수법이 비율을 바꾸고 사기 종류에 따라 자릿수 차이. 통제·표본 한계가 예상 밖·모순 결과를 설명할 수 있음.
• "How effective are social engineering interventions? A meta-analysis" (2020) — DOI: 10.1108/ics-07-2019-0078 — 실험 설계 연구 19편·효과 크기 37개·23,146명. 매우 효과적인 개입과 효과 없는 개입이 공존. 고강도·좁은 초점이 더 효과적.
• "Cognitive Dissonance-Based Priming Intervention: Randomized Encouragement With in-the-Wild Phishing Simulation Attack in Health Care." (2026) — PMID 42224651 — 노르웨이 대형 병원 819명. 클릭률 대조 65%(22/34)·자극 44%(14/32)·무응답 53%(396/753), P=.22로 유의하지 않음. 믿을 만한 행동 효과를 입증하지 않는다.
• "Evaluation of Contextual and Game-Based Training for Phishing Detection" (2022) — DOI: 10.3390/fi14040104 — 41명 모의 실험. 두 훈련 모두 안전 행동을 도왔고 맥락 기반 미세훈련이 더 나았으나, 대부분 훈련 뒤에도 속음 → 훈련만으로는 불충분.