Paperis 아티클
같은 증상도 어느 진료 환경에서 보느냐에 따라 다른 확률이다 — 검사 앞에서 이미 만들어지는 절반
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
검사는 확률을 얼마나 옮길지를 정하고, 어디에서 출발할지는 그 사람이 정한다. 앞 편은 거기서 닫혔다. 그리고 그 출발점 — 사전확률 — 은 검사지 어디에도 적혀 있지 않다고 했다.
그럼 그것은 어디에 적혀 있나.
이 글의 답은 시시할 만큼 오래된 것이다. 문진과 진찰, 그리고 그 사람이 여기까지 온 경로. 검사실 문 앞에서 이미 절반이 끝나 있다. 다만 이 절반은 기계가 아니라 사람이 채우는 자리라서, 사람이 하는 일의 성질을 그대로 물려받는다 — 흔들리고, 한쪽으로 치우치고, 그래서 도구가 필요해진다.
앞 편에서 쓴 말은 그대로 가져다 쓴다. 민감도·특이도는 검사의 성질이고, 우도비는 결과 하나가 확률을 몇 배로 미는지를 재는 자이며, 사후확률은 사전확률과 우도비가 함께 만든다. 정의는 다시 세우지 않는다.
먼저 확인해 둘 것이 있다. 사전확률 추정은 경험 많은 임상가들 사이에서도 넓게 흩어진다.
호주와 영국의 내과 전문의·일반의 819명에게 우편으로 같은 시나리오 세 개(허혈성 심질환, 심부정맥혈전증, 뇌졸중)를 주고 검사 전 확률을 적게 한 조사가 있다. 검증된 임상 예측규칙에서 도출한 "정답"의 20%포인트 이내에 들어온 비율은 심질환·뇌졸중 시나리오에서 약 55%였고, 심부정맥혈전증 시나리오에서는 6.7%였다. 두 나라의 중앙값은 서로 달랐지만 정확도와 산포의 크기는 비슷했고, 인구학적·진료·교육 변수 중 정확도를 예측하는 것은 없었다. 저자들의 결론은 임상가를 탓하는 쪽이 아니라 도구 쪽이었다 — 임상 예측규칙을 개발하고 보급해 실무 판단을 받쳐 줘야 한다 (PMID 15115422).
흩어지기만 하는 것이 아니라 한쪽으로 치우친다. 흉통과 호흡곤란으로 왔지만 심전도가 진단적이지 않고 명백한 진단도 없는 환자 840명을 다룬 다기관 자료에서, 임상의가 눈대중(gestalt)으로 매긴 검사 전 확률은 검증된 전산 방식보다 일관되게 높았다 — 급성 관상동맥증후군 17% 대 4%, 폐색전증 12% 대 6%. 두 방식의 상관은 낮았다(각각 r²=0.15, 0.06). 다만 판별력 자체는 폐색전증에서는 비슷했고(곡선 아래 면적 0.81 대 0.84) 관상동맥증후군에서는 낮았다(0.64 대 0.78) (PMID 24070658).
치우침에는 모양도 있다. 운동부하검사를 받은 250명에 대해 의사들의 확률 추정을 문헌상의 유병률과 맞춰 본 오래된 연구에서, 의사들은 넓은 집단 단위의 유병률은 대체로 맞혔지만 유병률이 낮은 환자군에서는 과대추정, 높은 환자군에서는 과소추정했다. 그리고 전형적 흉통 환자에서의 판별이 비전형적 흉통 환자에서보다 나았다 (PMID 1306640). 추정의 오차는 무작위가 아니라 가운데로 끌려오는 방향을 가진다.
만성 콩팥병 환자 257명과 담당 신장내과 의사를 함께 추적한 연구는 이 그림을 더 선명하게 만든다. 2년 안에 말기 신부전에 이른 사람은 13%였는데, 세 종류의 추정(환자·의사·위험 계산식) 모두 순위를 매기는 능력은 좋았다(c 통계량 0.8 초과). 그런데 실제 결과와 견주면 의사와 환자 모두 위험을 과대추정했고, 계산식이 실제 발생률에 가장 잘 맞았다 (PMID 30630859).
오차에 방향이 생기는 데는 이유가 있다. 의사의 생존 예측 행동을 경제학적으로 분석한 연구는, 예측이 빗나갈 때 치르는 대가가 어느 쪽으로 빗나가느냐에 따라 다르다는 점을 지적한다. 이 연구에서 의사들의 주관적 믿음 분포 자체가 잘 보정되어 있지 않았고, 오차는 생존을 과대예측하는 쪽으로 비대칭이었다. 그리고 그 치우침은 ① 분포를 하나의 점 추정으로 압축할 때 ② 그 예측을 환자에게 말로 전달할 때 ③ 의사 자신의 과거 경험과 평판이 걸릴 때 더 커졌다 (PMID 18539349).
작은 것도 들어온다. 폐색전증이 의심되어 CT 폐동맥조영을 받은 208명 연구에서, 의사가 "이 환자가 진료 중에 웃었다"고 기억한 경우가 실제 폐색전증 환자에서 더 흔했다. 웃음 자체의 민감도·특이도는 낮았지만, 웃은 환자에게서 의사들은 "다른 진단일 가능성"을 더 높게 잡았고 그 결과 Wells 점수의 판별력이 떨어졌다. 반면 숫자로 매긴 gestalt 추정치 자체는 웃음 여부로 달라지지 않았다 (PMID 27485261).
여기서 방향을 정해 두자. 이 연구들은 "의사는 못 믿을 존재"라는 이야기가 아니다. 정반대다. 사전확률 추정은 원래 어려운 일이고, 어려운 일이라는 사실이 인정되었기 때문에 병력과 진찰의 무게를 재는 연구가, 그리고 그것을 묶은 예측규칙이 만들어졌다. 이 글의 나머지는 그 도구들에 관한 것이다.
사전확률은 하늘에서 떨어지지 않는다. 재료가 있다.
| 재료 | 무엇인가 | 어디서 오나 |
|---|---|---|
| ① 그 사람이 속한 집단의 유병률 | 이 환경에서 이 증상으로 온 사람들 중 몇 명이 그 병인가 | 진료 환경, 의뢰 경로, 역학 자료 |
| ② 병력과 진찰이 옮긴 확률 | 문진·신체검사 소견 하나하나가 미는 힘 | 우도비, 예측규칙 |
| ③ 이미 나온 다른 검사 결과 | 앞선 검사의 사후확률 | 앞 편의 연쇄 |
이 셋이 합쳐진 값이 다음 검사의 출발점이 된다. 임상역학 개관의 정리대로, 사전확률 추정은 추가 검사를 할지 말지, 어떤 검사를 할지, 결과를 어떻게 읽을지, 그 뒤에 무엇을 할지를 모두 좌우한다 (PMID 34740785).
이 항목이 가장 자주 잊힌다. 그리고 가장 크게 움직인다.
측두동맥염을 다룬 고전적 개관에 그 대비가 그대로 있다. 이 병의 일반 인구 유병률은 1% 미만이다. 그런데 저자들이 핵심으로 삼은 21편의 연구에서, 측두동맥 생검을 받으러 의뢰된 환자 중에서는 39%가 생검 양성이었다 (PMID 11754714). 같은 병, 같은 검사, 그런데 출발점이 40배 가까이 다르다. 사이에 있는 것은 의뢰라는 필터 — 누군가가 이미 한 번 걸러서 보냈다는 사실이다.
이 필터는 어디에나 있다. 몇 가지를 나란히 놓아 보자. 모두 그 연구가 그 환경에서 관측한 값이다.
마지막 항목이 특히 중요하다. 같은 환자 집단 안에서도 어떤 진단을 묻느냐에 따라 사전확률이 통째로 달라진다. 사전확률은 환자에게 붙은 하나의 숫자가 아니라, "이 환자, 이 환경, 이 질문"이라는 세 쌍의 함수다.
의뢰 필터는 논문의 숫자 자체도 물들인다. 어깨 통증의 이학적 검사를 메타분석한 개관은 이 한계를 스스로 명시한다 — 포함된 연구는 전부 전문의가 의뢰된 환자를 진찰한 것이었고, 질 높은 연구들에서 회전근개 질환의 유병률은 33~81%로 흩어졌으며, 저자들은 의뢰되지 않은 집단으로 이 결과가 일반화되는지는 알 수 없다고 적는다 (PMID 23982370). 일반의 진료실에서 폐렴 소견을 평가한 앞의 연구도 폐 소견의 우도비가 2.3을 넘지 못한 이유를 선택 편향으로 일부 설명한다 (PMID 3387706).
여기에 정직한 구멍이 하나 있다. Cochrane 진단정확도 리뷰 59편(메타분석 308건)을 살펴본 연구에 따르면, 사전확률을 실제로 사용한 분석은 148건이었고 그 출처는 리뷰에 포함된 연구들, 외부 자료, 그리고 저자 합의로 제각각이었다. 선택 방법은 중앙값 같은 중심경향 측도가 가장 흔했다. 여러 메타분석을 나란히 비교하려고 동일한 사전확률을 씌운 경우 그 값이 해당 질환의 실제 유병률 범위 안에 든 것은 약 절반이었다 (PMID 32299367).
즉 "이 병의 사전확률은 X%"라는 문장은, 대개 어떤 자료에서 어떤 방식으로 고른 하나의 대푯값이다. 점이 아니라 범위로 읽어야 하는 이유가 여기 있다.
이것이 이 글의 가장 중요한 한 문장일지 모른다. 우도비는 혈액 수치나 영상에만 붙는 것이 아니다. "턱이 아파서 씹다 멈춘 적이 있는가"라는 질문 하나에도 우도비가 있다.
우도비를 임상 평가와 나란히 놓고 검토한 개관은 이 점을 정면으로 주장한다 — 현대 의료는 정교한 검사와 영상을 강조하면서 병력과 진찰을 보완이 아니라 대체로 취급하는 경향이 있는데, 실제로 재 보면 임상 평가와 부가 검사의 판별력이 비슷한 경우가 흔하고, 임상 평가가 더 많은 정보를 주는 일도 자주 있다는 것이다 (PMID 9666947).
실제 값들을 몇 개 보자. 모두 그 연구가 그 환자들에게서 관측한 값이며, 어떤 환자들이었는지가 값만큼 중요하다.
이 대비를 정면으로 잰 연구가 있다. 근골격계 의사 51명에게 고관절 골관절염과 요추 척추관협착증을 감별하는 데 83개 징후·증상이 얼마나 가치 있는지 설문한 뒤, 가장 가치 있다고 꼽힌 증상 32개와 진찰 항목 13개를 실제 환자(고관절 골관절염 77명, 척추관협착증 79명)에게 적용해 양성 우도비를 계산했다.
결과는 반반이었다. 의사들이 꼽은 증상 32개 중 실제로 두 진단을 가른 것은 11개였다. 고관절 쪽을 지지한 것은 서혜부 통증(4.9), 걷다 보면 줄어드는 통증(3.9), 차 승하차 시 통증(3.3) 등이었고, 척추관협착증 쪽을 지지한 것은 무릎 아래 통증(2.3), 다리 저림·감각이상(2.7), 양쪽 다리 통증(2.5)이었다. 반면 쇼핑카트를 밀면 통증이 덜하다는 소견의 우도비는 1.0 — 아무것도 옮기지 않았다. 요통(1.1), 다리 무력감(1.1), 둔부 통증(1.2), 불안정감(1.2)도 마찬가지였다.
그런데 진찰은 달랐다. 의사들의 기대대로 13개 진찰 항목 중 7개가 고관절 쪽을 강하게 지지했고(아픈 다리에 체중을 못 싣는 것 10, 관찰되는 파행 9, 다섯 가지 고관절 운동에서의 통증·제한 21~99), 신경학적 결손 네 가지가 척추관협착증 쪽을 지지했다(3~8) (PMID 30708114).
교훈은 진찰이 문진보다 낫다는 것이 아니다. 어떤 소견이 확률을 옮기는지는 믿음이 아니라 측정의 문제라는 것이다.
앞 편에서 본 구간 우도비는 병력·진찰과 검사실 값 사이에서도 똑같이 쓰인다. 흉수 1,448명분의 환자 단위 자료를 모은 메타분석은, 흔히 쓰는 흉수 검사값들에 대해 단일 절단점 대신 값의 구간마다 우도비를 계산했다. 저자들은 이렇게 하면 단일 절단점 때문에 생기는 "가성 삼출액" 같은 혼란스러운 용어를 피할 수 있고, 임상가의 사전확률 추정과 결합해 판별이 나아진다고 적는다 (PMID 12065357).
패혈성 관절염 개관에서도 같은 구조가 보인다. 관절액 백혈구 수의 구간별 우도비는 낮은 구간에서 0.33, 중간 구간에서 1.06(사실상 아무것도 옮기지 않음), 그 위 구간에서 3.59로 커졌다 (PMID 21843213). 같은 검사가 값에 따라 배제 쪽·중립·확진 쪽을 오간다.
임상 예측규칙(임상 결정규칙)은 병력·진찰·기본 검사 각각이 진단·예후·치료 반응에 기여하는 몫을 수량화해, 환자를 확률에 따라 나누는 도구다. 근거중심의학 사용자 안내서의 정의가 명료하다 — 규칙은 임상가의 직관적 감각을 형식적으로 검증하고, 단순화하고, 정확도를 높이려는 시도이며, 그 개발은 세 단계를 거친다 (PMID 10872017).
| 단계 | 무엇을 하나 | 답하는 질문 |
|---|---|---|
| 도출(derivation) | 한 집단에서 예측인자를 찾아 규칙을 만든다 | 이 자료에서 무엇이 확률을 가르나 |
| 검증(validation) | 다른 집단·다른 환경에서 다시 재 본다 | 그 성능이 여기서도 나오나 |
| 영향 평가(impact analysis) | 규칙을 실제로 쓰게 했을 때 진료와 결과가 바뀌는지 본다 | 이 도구가 사람에게 이득을 주나 |
사용자 안내서는 새 환경에서 검증까지 마친 규칙을 1수준(level 1)으로 두고 이것이 도입에 가장 적합하다고 본다 (PMID 10872017). 영향 평가의 방법론을 따로 정리한 논문은 이 지점을 더 강하게 말한다 — 대부분의 연구가 도출 단계에 머물고 검증까지 가는 것은 소수이며 영향 평가까지 가는 것은 극소수인데, 규칙을 의사결정 과정에 넣는 것이 실제로 환자 진료를 개선하는지 평가하는 가장 효율적인 방법이 바로 영향 평가라는 것이다 (PMID 21999201).
규칙이 어떻게 생겼는지 실물로 보자.
민감도 98%·특이도 21%라는 조합이 낯설게 보인다면, 앞 편의 문턱값 이야기가 여기서 되살아난 것이다. 이 규칙은 놓치지 않는 쪽에 값을 몰아준 도구다. 무엇을 더 싫어하는지가 도구의 모양을 정한다.
재활 영역의 예 하나. 척수손상 1년 후 실외 보행 가능 여부를 예측하는 규칙이 미국 12개 센터 3,721명 자료로 외부 검증됐다. L3·L5 운동점수와 S1 감각점수 세 변수만 쓰는 규칙인데, 전체 자료에서 곡선 아래 면적 0.900이었다. 저자들의 결론에도 다음 단계가 명시돼 있다 — 다음 연구는 이 규칙을 도입했을 때의 임상 결과와 비용-편익 영향 평가여야 한다 (PMID 36630206).
처방형 규칙의 예. 비특이적 목 통증 환자에게 유산소 운동과 목 특이적 운동을 함께 한 무작위 시험의 이차분석에서, 증상 기간 6개월 이하·목 굴곡근 지구력 18초 이상·연관통 없음 세 항목으로 규칙이 도출됐다. 이 자료에서 성공의 검사 전 확률은 단기 61%였는데, 세 항목 중 둘 이상을 만족한 사람에서는 84%로 올라갔다. 저자들은 곧바로 덧붙인다 — 임상 권고 전에 검증이 필요하다 (PMID 34935979).
세 예에서 반복되는 문장이 보인다. 도출된 규칙의 저자들이 스스로 "아직 아니다"라고 적는다.
예측규칙을 평가할 때 자주 하나만 본다. 그런데 성능에는 서로 다른 두 얼굴이 있고, 둘은 서로를 보완한다 (PMID 34882175).
이 둘은 갈라질 수 있다. 그것도 아주 크게.
중환자 사망 예측 모형 43개를 두 코호트(1,075명·2,901명)에서 외부 검증한 연구가 대표적이다. 애초에 재현에 필요한 정보가 있어 검증이 가능했던 모형은 43개 중 11개(26%)뿐이었다. 그중 몇몇의 판별력은 좋았지만(곡선 아래 면적 최대 0.83), 대부분에서 보정이 나빴고 절편과 기울기를 다시 맞춘 뒤에야 중간 수준이 됐다 (PMID 36378565). 논문 제목이 그 자체로 요약이다 — 판별력은 보존, 보정은 나쁨.
재활에서 더 가까운 예가 있다. 뇌졸중 후 실어증의 장기 예후를 예측하는 모형(SPEAK)을 다른 시험 자료 131명에서 외부 검증한 연구다. 판별력은 좋았다 — 곡선 아래 면적 0.87. 그런데 6개월 시점에 좋은 결과를 보인 사람은 124명 중 86명(68%)이었는데 모형은 88%를 예측했다. 보정 절편 −1.98, 보정 기울기 0.88. 저자들은 모형을 재보정한 뒤 이름을 바꿔 달고, 추가 외부 검증이 더 필요하다고 적는다 (PMID 30322381).
같은 결의 사례가 여럿이다.
모형은 순서를 잘 매기면서도 눈금이 틀릴 수 있다. 그리고 한 사람 앞에서 쓰는 숫자는 순서가 아니라 눈금이다.
사전확률을 추정했다면 그다음 질문은 자연스럽게 이것이 된다. 그래서 검사를 하나?
이 질문에 형식을 준 개념이 검사 문턱과 치료 문턱이다. 확률이 아주 낮으면 검사 자체가 득보다 실이고, 아주 높으면 검사를 더 해도 결정이 바뀌지 않는다. 그 사이 구간이 검사가 일하는 자리다.
패혈성 관절염 개관이 그 계산을 실제로 해 보인다. 관절액 백혈구 수의 민감도 56%·특이도 90%, 그리고 진단 관련 위험과 치료의 위험·이득에 대한 최선의 추정치를 넣었을 때, 관절천자의 검사 문턱은 5%, 치료 문턱은 39%로 나왔다. 저자들은 이 값들이 자기들이 넣은 가정에서 나온 예시 계산이며 그 계산을 해 볼 수 있는 표를 제공하는 것이 목적이라고 명시한다 (PMID 21843213). 세운 가정이 달라지면 문턱도 달라진다.
세기관지염 아이에게 흉부 X선을 찍을지 다룬 메타분석도 같은 틀을 쓴다. 다섯 편 1,139명에서 X선 이상 소견의 유병률은 7~23%였고, 가장 강한 예측인자였던 산소포화도 95% 미만조차 양성 우도비 2.3에 그쳤으며 확률을 의미 있게 내려 주는 소견은 없었다. 저자들이 만든 검사-치료 문턱 모형에서는 저산소증만으로는 X선의 이득이 나오지 않았고, 저산소증에 환기 보조가 필요한 호흡부전이 겹칠 때만 검사가 시사됐다. 그리고 저자들은 이 모형을 쓰려면 임상가가 그 상황에서의 경험적 이득을 스스로 어림해야 하며, 그래서 임상 평가가 중요하다고 못 박는다 (PMID 27426736).
언제 멈추는가도 같은 문제다. 순차 진단에서 조기 종결(premature closure)을 다룬 연구는, 선두 가설의 확률이 임의의 문턱에 닿으면 검사를 그만두는 관행이 불안정할 수 있음을 보이고, 대신 확률의 하한이 충분히 높아졌을 때 멈추자고 제안한다. 예컨대 하한이 70%라는 것은 이후 어떤 검사 결과가 나와도 그 아래로는 내려가지 않는다는 뜻이다. 반대로 선두 가설의 확률이 72%, 하한 65%, 상한 75%라면 추가 검사로 얻을 것이 적다 (PMID 9232189).
문턱을 진료 경로 전체로 확장한 것이 진단 전략 권고다. 정맥혈전색전증 진단 지침은 검사 전 확률 구간별로 서로 다른 경로를 권고하고, 정확도 추정치와 인구 유병률로 각 경로의 예상 결과를 모형화해 근거를 세웠다 (PMID 30482764). 폐색전증 개관도 같은 구조를 요약한다 — 현대의 진단 전략은 거의 전부 초기 사전확률 평가에서 시작한다 (PMID 28208193).
가장 궁금해지는 비교부터 보자. 결과는 깔끔하지 않다.
폐색전증에서 gestalt와 예측규칙을 비교한 메타분석(16편·8,306명)은 이렇게 정리한다. gestalt를 쓴 7편에서 낮음·중간·높음 세 구간의 실제 폐색전증 비율은 각각 8~19%, 26~47%, 46~91%였고, 예측규칙을 쓴 10편에서는 3~28%, 16~46%, 38~98%였다. 둘의 판별 능력은 비슷했다. 그런데 저자들이 규칙 쪽을 권한 이유는 정확도가 아니었다 — 경험이 적은 임상가도 쓸 수 있기 때문이다 (PMID 14657070).
반대 방향의 자료도 있다. 응급실 폐색전증 의심 환자 1,038명(실제 유병률 31.3%)을 후향 분석한 연구에서는 gestalt의 곡선 아래 면적이 0.81로 Wells 점수(0.71)와 개정 Geneva 점수(0.66)보다 높았다. gestalt는 낮은 확률군과 높은 확률군에 더 많은 환자를 배정했고, 그 배정이 실제 유병률과 더 잘 맞았다. 그런데 같은 논문의 또 다른 결과가 중요하다 — 세 방법 사이의 일치도는 나빴다(모든 κ 값 0.3 미만) (PMID 23433653). 심부정맥혈전증이 의심된 환자 405명에서 경험적 추정과 Wells 점수를 비교한 연구에서도 그 자료에서는 경험적 추정 쪽이 더 나았다 (PMID 23103729).
정리하면, 어느 한쪽의 완승이 아니다. 예후 예측에서도 마찬가지다. 고관절 골절 환자 244명에서 두 예측 모형과 담당 의사의 평가를 비교한 연구에서, 판별력에는 통계적으로 유의한 차이가 없었다(곡선 아래 면적 0.73~0.80). 한 모형은 30일 사망 고위험자의 다수를 놓쳤고(민감도 33%), 다른 모형은 체계적으로 과대추정했다. 의사들은 고위험자를 더 잘 찾아냈지만(민감도 78%) 역시 과대추정 경향이 있었다 (PMID 35605101).
중환자실에서도 같은 그림이다. 다섯 개 유럽 센터의 인공호흡 중인 중환자 961명에서, 간호사·전공의·전문의의 주관적 28일 생존 추정은 62개 객관 지표를 모은 모형만큼 잘 판별했다(c 통계량 0.74~0.78 대 0.67~0.72). 그런데 주관적 추정은 보정이 나빴고, 고위험 환자에서 사망을 절대값 기준 약 20%포인트 과대추정했다. 저자들의 결론이 이 절의 요지를 대신한다 — 주관적 추정은 간단하고 비용이 들지 않으며 판별력도 비슷하지만, 과대추정 때문에 살릴 수 있는 치료가 보류될 위험이 있으므로 객관적 도구와 견주어 보고, 둘이 어긋나면 신중히 해석해야 한다 (PMID 37076881).
둘을 합치면 나아졌다는 것이 이 연구의 또 다른 결과였다. 이 글이 도구를 소개하는 이유가 대체가 아니라 보완이라는 점이 여기서 분명해진다.
여기가 이 분야에서 가장 크게 벌어진 틈이다.
1차 진료에 관련된 임상 예측규칙을 모아 등록부를 만든 연구가 그 크기를 재 놓았다. 1965~2009년 문헌에서 745편의 논문·989건의 연구를 수집했더니, 도출까지 마친 고유한 규칙은 434개였다. 그중 검증까지 간 것은 54.8%, 그리고 진료 과정이나 결과에 미친 영향까지 분석된 것은 2.8%였다 (PMID 25024245).
재활 영역은 더 뚜렷하다.
그러면 영향 평가를 실제로 한 사례는 어떤 모습인가.
두 사례 모두 "정확도가 올라갔다"가 아니라 사람이 겪는 일이 얼마나 달라졌나를 잰다. 그게 영향 평가다.
이유는 여럿이다. 도출 자료에 과하게 맞춰진 모형, 다른 환자 구성, 다른 측정 방식, 다른 기저 위험. 앞에서 본 실어증 모형과 중환자 모형이 그 전형이었다.
기계학습 모형에서는 문제가 한 겹 더 있다. 애초에 외부 검증이 되어 있지 않다. 정형외과 수술 결과를 예측하는 기계학습 모형을 다룬 체계적 문헌고찰은, 내부 검증만 거친 모형 59개 중 외부 검증까지 된 것은 10개였고 그것을 다룬 연구는 18편이었다고 보고한다. 그 18편에서 판별력은 대체로 유지됐지만 다른 핵심 성능 지표를 보고한 연구는 3편뿐이라 전체 성능을 평가하기 어려웠고, 보고 지침 준수율의 중앙값은 61%였다 (PMID 33870837).
검증 연구 자체가 작기도 하다. 이항 결과를 갖는 예측모형의 외부 검증에 필요한 최소 표본 크기를 계산한 방법론 논문은, 예시로 든 상황에서 보정과 판별을 정밀하게 추정하려면 9,835명(사건 177건)이 필요하다고 계산한다. 그 요구를 끌어올린 것은 대개 보정 기울기 쪽이었다 (PMID 34031906).
검증까지 마친 규칙조차 진료 현장에 잘 들어가지 못한다. 이 문제를 정리한 논평은 원인을 도구의 정확도가 아니라 작업 흐름에서 찾는다 — 전자의무기록이 가장 유력한 통합 지점인데 기반 시설과 조직 차원의 장벽이 크고, 그래서 연구의 무게중심을 새 규칙 도출이 아니라 이미 잘 검증된 규칙의 영향 평가와 실제 도입 방법으로 옮겨야 한다는 것이다 (PMID 24236419).
사람 쪽 이유도 밝혀져 있다. 1차 진료 임상가 15명을 심층 면담한 질적 연구는 두 가지 태도를 구분한다. 연구 근거에 익숙하고 신뢰하는 쪽은 직접 찾아보고 판단해서 규칙 사용을 정했고, 익숙하지 않거나 불신하거나 활용이 어려운 쪽은 수동적으로 접하되 스스로 판단하지 않았다. 저자들의 함의가 실용적이다 — 지식과 기술만 겨냥할 것이 아니라 낯섦·불신·활용의 어려움을 겨냥해야 한다는 것 (PMID 37730553).
앞 절의 자료가 그대로 답이다. 폐색전증에서 gestalt와 규칙의 판별은 비슷했고 (PMID 14657070), 어떤 응급실 자료에서는 gestalt가 더 높았으며 (PMID 23433653), 고관절 골절 사망 예측에서 모형과 의사의 판별력은 통계적으로 다르지 않았다 (PMID 35605101). 중환자실에서 임상진의 주관적 추정은 62개 지표를 모은 모형만큼 판별했다 (PMID 37076881).
규칙이 실제로 하는 일은 다른 것이다. 임상가마다 달랐던 출발점을 같은 자리로 모으고, 경험이 적은 사람도 쓸 수 있게 하고 (PMID 14657070), 사람 쪽에 남아 있는 체계적 치우침(대개 과대추정)을 견줄 기준을 준다 (PMID 37076881, PMID 30630859).
가장 자주 놓치는 오해다. 실어증 모형은 판별력 0.87이었는데 좋은 결과를 68% 대신 88%로 예측했고 (PMID 30322381), 중환자 사망 모형들은 판별은 준수한데 보정이 나빴다 (PMID 36378565). 골절 위험 도구는 한 인구집단에서 위험을 과대추정했고 (PMID 36201065), 체외수정 모형은 반대로 과소추정했다 (PMID 21493154).
성능을 볼 때는 판별력과 보정을 함께, 그리고 가급적 외부 검증 자료에서 봐야 한다 (PMID 34882175). 순서를 잘 매기는 것과 숫자의 눈금이 맞는 것은 다른 일이다.
거의 나오지 않는다. 그리고 그 차이가 논문에서 잘 드러나지 않는 이유도 밝혀져 있다.
기계학습으로 만든 예측모형 연구 152편의 보고 완전성을 평가한 연구에서, 보고 지침 22개 항목 중 충족된 항목의 중앙값은 38.7%였다. 참가자 흐름(3.9%), 모형 명세(5.2%), 모형의 예측 성능(5.9%)처럼 이 모형을 쓸지 말지 판단하는 데 꼭 필요한 정보가 특히 자주 빠졌다 (PMID 35026997).
해석 자체가 부풀기도 한다. 종양학 분야 예측모형 연구 62편을 검토한 연구는 56%가 제목·초록·결과·고찰·결론 어딘가에서 과하게 강한 표현을 썼고, 27%에서 방법과 결과의 보고가 어긋났으며(추가 분석과 선택적 보고), 모형끼리 비교할 때 근거로 든 것은 대부분 판별력 지표(78%)였다고 보고한다 (PMID 36935090).
그래서 논문의 숫자는 "그 저자들이 그 자료에서 관측하고 그렇게 보고한 값"으로 읽어야 한다.
모든 규칙에는 어떤 환자에게서 만들어졌는가라는 꼬리표가 붙어 있다. 그 꼬리표가 곧 적용 범위다.
그리고 무엇을 변수로 넣느냐도 선택이다. 요관결석 예측 점수의 원래 판본에는 인종 항목이 들어 있었는데, 임상 알고리즘에 사회적으로 구성된 정체성을 넣는 것의 부작용이 문제로 제기되면서 저자들이 그 항목을 빼고 다시 만들었다. 인종 대신 육안적 혈뇨를 넣은 개정판의 성능은 곡선 아래 면적 0.85 대 0.86, 오분류율 0.23 대 0.23으로 사실상 같았다 (PMID 39524039). 규칙 안에 무엇이 들어 있는지는 그 자체로 들여다볼 일이다.
대부분의 환자가 있는 자리에 정작 자료가 없는 경우가 있다. 어지럼을 다룬 연구 계획서의 서술이 그 예다 — 어지럼 환자의 80% 이상이 일차적으로 일반의에게 진료받고 전문의에게 의뢰되지 않는데, 권고되는 진찰 방법들에는 경험적 근거가 없고 일반의 진료 환경에서 전정질환의 진단정확도 연구가 수행된 적이 아예 없다는 것이다. 그래서 이들이 그 연구를 지금 하고 있다 (PMID 38569697).
사전확률을 논할 때 이 구멍을 기억할 필요가 있다. 우리가 가진 우도비와 규칙의 상당수는 의뢰된 환자, 즉 이미 걸러진 사람들에게서 나온 값이다.
앞에서 본 Cochrane 리뷰 조사가 그대로 미해결이기도 하다. 사전확률의 출처와 선택 방법이 리뷰마다 달랐고, 여러 메타분석에 같은 사전확률을 씌운 경우 그 값이 실제 유병률 범위 안에 든 것은 약 절반이었다 (PMID 32299367). 재료의 첫 칸부터 정밀하지 않다.
434개 규칙 중 검증 54.8%, 영향 평가 2.8% (PMID 25024245). 기계학습 모형은 외부 검증 자체가 드물고 보고도 불충분하다 (PMID 33870837, PMID 35026997, PMID 36935090). 검증을 마친 규칙도 작업 흐름과 신뢰의 문제로 현장에 들어가지 못한다 (PMID 24236419, PMID 37730553). 이 세 문장은 각각 다른 종류의 미해결이고, 셋을 한꺼번에 푸는 방법은 아직 없다.
사전확률을 잘 추정했다고 해서 그것을 어떻게 말할지가 자동으로 정해지지는 않는다.
말이 숫자로 옮겨지는 방식부터 흔들린다. 확률을 나타내는 말들의 수치적 의미를 다룬 체계적 문헌고찰은, 일반인과 의료인 모두에게서 일관되게 해석된 표현이 다섯 개뿐이었다고 보고한다 — '매우 가능성 높음'은 90%(범위 80~95%), '가능성 높음/개연적'은 70%(60~80%), '가능성 있음'은 40%(30~60%), '가능성 낮음'은 20%(10~30%), '매우 가능성 낮음'은 10%(5~15%). 저자들은 확률 표현을 쓸 때 해당 수치 범위를 함께 제시하고, 숫자는 백분율이나 1 대 X, 오즈, 분수 대신 "100명 중 몇 명" 형태로 주라고 권한다 (PMID 38707974). '가능성 있음'이라는 한 단어가 30%와 60% 사이 어디로도 읽힌다는 사실은, 진료실에서 오가는 말의 폭을 그대로 보여 준다.
도구를 진료실에 들여놓는 것도 간단하지 않다. 일차 진료의 전자 위험평가 도구를 다룬 질적 연구 28편을 종합한 리뷰는, 이런 도구가 진료 중의 위험 소통과 이해를 바꾸는 지점을 여섯 가지 주제로 정리했다 — 새로운 위험, 위험의 정교화, 자율성, 소통, 그리고 두려움과 불신. 앞의 넷은 개선의 여지이고, 뒤의 둘은 잠재적 문제다 (PMID 35768084).
교육 쪽에서도 이 문제는 미완이다. 불확실성 교육을 다룬 논의는, 불확실성이 임상에서 늘 마주치는 것인데도 명시적으로 논의되기보다 암묵적으로 언급되는 데 그친다고 지적하며, 학부부터 전공의 과정까지 이를 명시적으로 다루는 교육과정을 설계·시행·평가해야 한다고 적는다 (PMID 36087299).
여기에는 정답이 없다. 다만 문제의 이름은 붙어 있다.
그리고 마지막은 이 글의 한계에 관한 것이어야 한다.
이 글은 사전확률을 계산하는 법을 알려 주지 않았다. 알려 줄 수 없기 때문이다. 여기 나온 어떤 숫자도 오늘 어떤 개인에게 그대로 씌울 수 있는 값이 아니다 — 전부 그 연구가 그 환경의 그 환자들에게서 관측한 값이고, 그 환경이 그 숫자의 절반을 만들었다.
대신 이 글이 남기고 싶은 것은 모양 하나다. 사전확률은 점이 아니라 범위다. 어떤 사람에 대해 우리가 정직하게 말할 수 있는 것은 "12%"가 아니라 "이 환경에서 이런 소견을 가진 사람들에서는 대략 이 정도에서 저 정도 사이"이며, 병력과 진찰과 예측규칙이 하는 일은 그 범위를 좁히는 것이지 점으로 만드는 것이 아니다.
그래서 검사지의 숫자 하나가 왜 그것만으로는 답이 되지 못하는지는 앞 편의 결론이었고, 이 편의 결론은 그 앞자리에 있다 — 답의 절반은 검사실에 들어가기 전에, 묻고 살피는 동안 이미 만들어진다. 그 절반이 어떻게 만들어졌는지를 아는 것이, 나온 숫자를 더 잘 쓰게 한다.