Paperis 아티클
보정은 교란을 지우는 장치가 아니라, 어떤 변수를 인과 구조의 어느 자리에 놓았는지에 대한 주장이다. 그 자리를 잘못 잡으면 보정은 없던 연관을 만들고, 있던 효과를 지운다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
논문을 읽다 보면 결과 문장 옆에서 이 괄호를 만난다.
adjusted for age, sex, BMI, smoking status, and comorbidity index
이 한 줄이 하는 일을 정확히 말할 수 있는가. 이렇게 읽기 쉽다 — "다른 조건을 똑같이 맞췄으니, 남은 것은 진짜 효과다."
그 읽기는 조건부로만 옳다. 조건이 셋 있다. 맞춰야 할 변수가 측정됐어야 하고, 제대로 측정됐어야 하고, 그 변수가 맞춰도 되는 자리에 있어야 한다. 셋째 조건이 이 글의 중심이다. 보정은 무조건 좋은 일이 아니다. 어떤 변수는 보정하면 없던 연관이 생기고, 어떤 변수는 보정하면 있던 효과가 사라진다.
얼마나 그런가. 한 연구가 같은 전자의무기록 자료에서 같은 노출(1형 당뇨)과 같은 결과(회전근개 파열)를 놓고, 대조군을 뽑는 방식 하나만 바꿔 두 번 분석했다. 한쪽에서는 보정 오즈비가 1.78(95% CI 1.64–1.92), 다른 쪽에서는 0.75(0.57–0.97)였다 — 양(+)의 연관과 음(-)의 연관이다 (PMID 42223248). 자료가 바뀐 것이 아니다. 어떤 사람을 비교 대상으로 삼을지에 대한 판단 하나가 바뀌었을 뿐이다.
이 시리즈의 3부와 4부는 "이 숫자가 무엇을 재는가"를 다뤘다. 5부는 한 층 위다 — "이 숫자가 당신이 생각하는 그것을 일으켰는가."
그러니까 이 글이 가르는 것은 연관(association)과 인과효과(causal effect)다. 둘은 같은 말이 아니고, 이 글에서 결코 같은 말로 쓰지 않는다. 연관은 자료가 보여 주는 것이고, 인과효과는 자료에 가정을 더해야 나오는 것이다. 보정은 그 가정을 세우는 작업이다.
미리 한 줄로 말해 두면 이렇다. 보정은 교란을 지우는 장치가 아니라, 어떤 변수를 인과 구조의 어느 자리에 놓았는지에 대한 주장이다. 그 주장이 틀리면 보정은 문제를 고치는 대신 만든다.
그리고 두 가지 분명히 해 둘 것이 있다.
첫째, 이 글의 주제는 논문을 읽는 법이지 특정 치료·노출·정책에 대한 판단이 아니다. 아래에는 약과 백신과 보충제의 이름이 여러 번 나오는데, 전부 방법론적 사례로만 등장한다. 각 수치는 그것이 나온 연구 설계·인구·시점 안에서만 뜻을 갖고, 그 연구의 임상적 결론은 그 저자들의 것이다.
둘째, 용어를 한 가지만 고정해 둔다. 이 글에서 은 체계적 오차를 가리키는 말로만 쓴다. 그 아래에 선택 편향(selection bias)·과보정 편향(overadjustment bias)·충돌부 편향(collider bias) 같은 종류가 있고, 추정치가 참값에서 벗어난 상태는 "치우쳤다"로 적는다. 그리고 이 글의 는 3부에서 정의한 그대로 두 절대위험의 나눗셈(risk ratio)이다. 아래에 나오는 는 그것과 다른 지표로, 시간에 따른 사건 발생 속도의 비다 — 같은 한국어로 옮기면 두 지표가 한 단어가 되므로 이 글에서는 구분해 적는다.
이건 인상이 아니다. 이 문헌은 자기 자신을 세어 본 적이 여러 번 있다. 각 숫자가 어떤 표본에서 나왔는지를 함께 적는다. 아래 숫자들은 그 표본에 대한 것이고, "논문 일반"에 대한 것이 아니다.
① 교란을 언급은 해도, "신중히 읽으라"까지는 잘 가지 않는다. 2011~2012년에 영향력이 가장 높은 일반의학·역학·전문 저널에 실린 코호트·환자대조 연구 120편을 무작위로 뽑아 조사한 연구가 있다. 초록이나 고찰에서 "교란(confounding)"을 언급한 것이 68편(56.7%, 95% CI 47.8–65.5%), 에둘러 시사한 것이 20편(16.7%), 언급도 시사도 없는 것이 32편(26.7%)이었다. 저자들이 특정 교란변수를 보정하지 못했다고 인정한 것은 34편(28.3%), 교란이 주요 결과에 영향을 줬을 수 있다고 본 것은 29편(24.2%)이었다. 그런데 교란 때문에 "신중하게" 해석하라는 말을 쓴 논문은 2편(1.7%)이었고, 결론부에 교란이나 다른 편향 관련 한계를 적은 것은 4편(3.3%)이었다. 흥미로운 부수 결과도 있다 — 교란의 영향을 인정한 논문이 그렇지 않다고 적은 논문보다 오히려 더 많이 인용됐다(연 6.3회 대 4.0회, P = 0.04) (PMID 28943377).
염증성 장질환 관찰연구 160편을 같은 방식으로 본 조사도 비슷했다. 교란을 언급한 것이 67편(41.9%), 어떤 편향이든 보고한 것이 89편(55.6%)이었다. 대부분은 교란·편향을 줄이는 전략을 실제로 썼고(139편, 86.9%), 보정하지 못한 교란변수를 최소 하나 인정했다(116편, 72.5%). 그런데 그것이 주요 결과에 영향을 줬을지 논평한 것은 60편(37.5%), 신중한 해석을 요청한 것은 7편(4.4%)이었다. 여기서도 교란을 언급하는 것은 인용수와 양(+)으로 연관됐고(P = 0.010), 신중한 해석을 요청하는 것은 그렇지 않았다 (PMID 33296517).
② 보정된 표의 모든 줄을 위험인자로 읽는다. 2019년 영향력지수 상위 7개 정형외과 저널에서 다변량 모형 결과를 표로 제시한 연구 193편을 검토한 리뷰에서, 67%(129/193)가 이른바 'Table 2 fallacy'를 범했다. 인과추론에 근거해 변수를 넣은 것은 16%(31/193)뿐이었고, 그중 인과 다이어그램을 그린 것은 3편이었다. 35%(67/193)는 통계적 방법으로 변수를 골랐다 (PMID 33933587). 구강보건 저널 4곳의 2013~2018년 관찰연구 421편을 본 스코핑 리뷰에서는 189편(45%)이 같은 문제를 보였다 (PMID 33368566).
③ 보정하면 안 되는 변수를 보정한다. 2021년 1월부터 2023년 10월까지 고영향 저널에 실린 장기 대기오염 노출 코호트 연구 175편을 검토한 방법론 연구가 있다. 변수 선택에 유향 비순환 그래프(directed acyclic graph, DAG)를 쓴 것은 26편(14.9%)이었다. 수정 이접 원인 기준으로 판정했을 때 과보정(over-adjustment) 가능성이 있는 것이 122편(69.7%)이었고, 그중 120편(68.6%)은 매개변수를 보정했다. 가장 흔히 보정된 매개변수는 체질량지수(BMI)로 98편(56.0%), 다음이 고혈압(25편, 14.3%)이었다. 그리고 DAG를 쓴 연구는 과보정 비율이 유의하게 낮았다(42.3% 대 74.5%) (PMID 41671745).
이 마지막 숫자가 이 글의 제목이 왜 "연령·성별·BMI 보정"인지를 설명한다. 그 조사에서 가장 흔히 보정된 매개변수가 BMI였다.
④ 여러 위험인자를 한 모형에 다 넣는다. 2018년 1월~2023년 3월 PubMed에서 심혈관질환·당뇨·치매의 다중 위험인자를 다룬 코호트·환자대조 연구 162편(위험인자를 폭넓게 탐색한 것 88편 54.3%, 특정 위험인자를 검토한 것 74편 45.7%)을 검토한 방법론 연구에서, 권장되는 방법(각 위험인자를 각각의 교란변수 집합으로 따로 보정)을 쓴 것은 10편(6.2%)이었다. 70%가 넘는 연구가 모든 위험인자를 한 다변량 모형에 넣어 서로 보정했다. 저자들의 결론은 이 관행이 과보정 편향과 오도하는 추정치로 이어질 수 있으니, 앞으로는 모든 위험인자를 무분별하게 한 모형에 넣지 말자는 것이다 (PMID 40038753).
⑤ 목표와 방법과 해석이 어긋난다. 2014~2018년 일반역학 상위 5개 저널에 실린 논문 100편을 무작위로 뽑아, 연구의 목표·분석방법·해석이 서로 정렬돼 있는지를 본 연구가 있다. 명시적으로 인과를 목표로 내건 것이 13편(13%), 연관의 언어로 틀지었지만 실질적으로 인과를 겨냥한 것이 71편(69%)이었다. 셋이 완전히 정렬된 것은 9편(9%)이었고, 명시적으로 인과를 표방한 연구가 그렇지 않은 연구보다 더 자주 정렬돼 있었다(13편 중 5편 38% 대 71편 중 3편 4%). 목표-방법 불일치는 103건 중 34건(33%), 목표-해석 불일치는 32편(31%)이었다. 다만 가장 흔한 판정은 "방법 보고가 부족해 판단 불가"(47편, 46%)였다 (PMID 34535799).
여기서 한 가지를 붙여 둔다. 이 마지막 조사가 지목한 문제의 한 갈래는 "연관"이라는 말 뒤에 숨는 관행이다. 이에 대해 정면으로 쓴 논평이 있다. 인과추론은 과학의 핵심 과업인데 저자와 편집자가 인과라는 목표를 명시하기를 꺼리고 연관 추정치라고 부른다는 것, 그래서 오히려 과학적 질문이 모호해지고 분석에 오류가 생기고 결과 해석이 과도해진다는 것이다. 이 논평의 주장은 "인과"라는 말을 쓰는 것이 관찰연구의 질을 높인다는 것이다 (PMID 29565659).
교란·보정을 이해하는 가장 짧은 길은, 노출과 결과 사이에 낀 제3의 변수가 어느 자리에 있는가를 구분하는 것이다. 자리는 셋이다.
세 자리는 자료를 들여다봐서 구분되지 않는다. 어느 변수가 노출보다 앞에 오는지, 경로 위에 있는지, 아래에 있는지는 연구자가 가진 지식과 이론에서 나온다. 그래서 변수 선택은 통계적 절차가 아니라 인과 구조에 대한 주장이고, 그 주장을 그림으로 적는 것이 아래에서 볼 인과 다이어그램이다 (PMID 35662623, PMID 36328854).
용어부터 정리해 두는 것이 좋다. 회귀분석 맥락에서 자주 뭉개지는 네 단어를 구분한 해설이 있다. 독립변수(independent variable)는 결과에 대한 영향을 살펴보는 변수 전체이고, 공변량(covariate)은 그중 관심 대상이어서가 아니라 그 영향을 걷어 내기 위해 넣는 변수다. 교란변수(confounding variable)는 독립변수와도 결과와도 연관된 변수라서, 관찰된 관계가 독립변수가 아니라 교란변수 때문일 수 있게 만든다. 적응증에 의한 교란(confounding by indication)은 독립변수의 존재 자체가 교란변수에 의해 결정되는 경우다. 저자의 정리는 포함관계로 요약된다 — 적응증에 의한 교란은 교란의 한 종류이고, 교란변수는 공변량의 한 종류이며, 공변량은 회귀분석에서 독립변수의 한 종류다 (PMID 38524951).
여기에 편향(bias)과 상호작용을 나란히 놓은 개관도 있다. 무작위 오차는 표본추출이나 측정도구의 자연스러운 변동에서 오고, 체계적 오차는 설계나 측정도구 자체의 결함에서 온다. 교란변수는 노출과도 결과와도 상관되는 변수이고, 무작위배정 시험에서는 관찰된 것이든 관찰되지 않은 것이든 잠재적 교란변수가 두 군에 충분히 균형 있게 배분되므로 교란이 대체로 문제가 되지 않는다. 반대로 관찰연구에서는 교란이 주요 문제가 될 수 있고, 이를 무시하면 연관이나 치료효과 추정이 왜곡되는 일이 잦다. 상호작용(interaction), 곧 효과 수정(effect modification)은 한 설명변수의 효과가 다른 설명변수의 수준에 따라 달라지는 현상으로, 이것은 편향이 아니라 그 자체로 이해해야 할 성질이다 (PMID 28817531).
이 자리 구분을 그림으로 옮긴 것이 유향 비순환 그래프(directed acyclic graph, DAG)다. DAG는 교란변수·매개변수·충돌부에 대한 가정을 명시적으로 지도에 그려, 어떤 변수를 보정할지 안내하고 흔한 편향의 원천을 피하게 한다 (PMID 40707288). 의학 연구용 개관 하나는 여기서 한 걸음 더 나간다. 인과 다이어그램은 관찰연구에도 임상시험에도 쓸 수 있고, 다변량 모형 변수 선택의 일부 국면에 과학적 근거를 제공하며, 잠재적 편향의 원천을 분류하는 명시적 틀이 된다. 그리고 저자들은 변수의 종류와 인과 순서를 무시하고 다변량 모형에 넣었을 때 효과 추정치가 얼마나 심각하게 잘못 계산될 수 있는지를 프레이밍햄 심장연구 자료로 수치 예시까지 들어 보인다 (PMID 36328854).
DAG를 그리는 일 자체가 쉽지 않다는 점도 문헌 안에 있다. 표준 인과 다이어그램만으로는 교란과 편향이 완전히 식별되지 않고 잘못된 공변량 집합이 제시될 수 있다는 것을 이론적 사례로 보인 뒤, 이를 돕는 온톨로지 도구를 만든 연구가 있다. 다만 저자들 자신이 그 도구를 더 쓸 만하게 만들려면 추가 연구가 필요하다고 적는다 (PMID 35612081).
보정은 계산이지 실험이 아니다. 회귀모형에 공변량을 넣는다는 것은 그 변수의 값이 같은 사람들끼리 비교한다는 뜻이고, 그 비교가 인과효과를 준다는 보장은 가정에서 나온다.
그 가정에는 이름이 있다. 중환자실 관찰자료로 인과추론 모형을 쓴 연구들을 검토한 스코핑 리뷰가 세 가지를 나란히 적는다 — 조건부 교환가능성(conditional exchangeability), 양성 조건(positivity), 일관성(consistency)이다. 리뷰는 세 이름을 나열할 뿐 정의는 적지 않으므로, 아래 한 줄 설명은 인과추론 문헌의 표준적 정의를 옮긴 것이다. 교환가능성은 측정된 공변량을 고정하면 처치 배정이 잠재 결과와 독립이라는 것(= 미측정 교란이 없다는 것), 양성 조건은 비교하려는 처치들이 공변량의 모든 조합에서 실제로 나타난다는 것, 일관성은 관찰된 결과가 그 사람이 실제로 받은 처치에 대응하는 잠재 결과와 같다는 것이다. 이 리뷰는 2,184편을 걸러 79편을 검토했는데, 표적시험의 다섯 구성요소를 모두 보고한 것은 30편(38%)이었고 세 가정을 모두 언급한 것은 7편(9%)이었다 (PMID 38012221).
세 가정 중 첫째가 이 글의 주제다. 그리고 그것은 두 겹으로 깨진다.
이건 자명하지만 크기가 문제다. 시뮬레이션으로 크기를 재 본 연구가 있다. 노출이 정규분포이고 교란변수가 두 개 또는 네 개인 상황에서, 실제로는 노출이 결과에 아무 인과효과가 없을 때 잔여·미측정 교란만으로 얼마나 큰 겉보기 연관이 생기는지를 계산했다. 교란변수들이 서로 상관되지 않았을 때는 잔여·미측정 교란이 커질수록 노출효과 추정치의 치우침도 커졌고, 상관된 경우에는 양상이 더 복잡했다. 저자들의 결론은 그럴듯한 가정 아래에서, 관찰역학 연구에서 흔히 보고되는 크기의 효과가 잔여 교란이나 미측정 교란만으로도 만들어질 수 있다는 것이다 (PMID 17615092).
같은 논문이 짚는 둘째 층이다. 노출변수의 비차등 측정오차는 특정 조건에서 영값 쪽으로 치우침을 만든다는 것이 잘 알려져 있지만, 교란변수의 측정오차는 잔여 교란으로 이어지고 그 방향은 단순하지 않다 (PMID 17615092). 다시 말해 "보정했다"는 문장은 그 변수를 정확하게 쟀다는 것까지 함께 주장하고 있다.
이론이 아니라 실측으로 이 문제를 본 연구가 있다. 미국 한 주의 메디케이드에서 특정 지역 등록자의 3분의 2 이상이 5개 보험플랜 중 하나에 무작위로 배정된 자연실험이 있었다. 2013~2014년 등록자 137,933명 가운데 31.1%는 스스로 플랜을 골랐고(관찰 인구) 68.9%는 무작위 배정됐다(무작위 인구). 등록자 특성은 예상대로 관찰 인구에서는 플랜 간에 뚜렷이 불균형했고 무작위 인구에서는 그렇지 않았다.
연간 총지출의 플랜 간 변동은 관찰 인구에서 더 컸다(표준편차 등록자당 $147 대 $70). 한 플랜의 지출 점수(평균 플랜 대비 편차)는 관찰 인구와 무작위 인구 사이에서 평균 등록자당 $67(95% CI $38–$123, 등록자당 평균 지출의 4.2%) 차이가 났고(P = 0.009), 위험보정(risk adjustment)을 적용해도 그 차이는 $62로 소폭 줄어드는 데 그쳤다(P = 0.012). 사회적 요인을 추가로 보정해도 추정치는 실질적으로 달라지지 않았다. 다른 성과지표 대부분에서도 잔여 교란은 비슷하게 상당했다. 저자들의 결론은 위험보정된 성과평가에서 잔여 교란이 상당할 수 있으므로, 정책결정자는 위험보정이 플랜의 실제 성과 차이를 분리해 준다고 가정해서는 안 된다는 것이다. 한계로는 두 인구 사이에 플랜 효과의 이질성이 있을 가능성을 적었다 (PMID 34978862).
이 연구가 특별한 것은, 같은 자료 안에 무작위배정된 사람들과 스스로 고른 사람들이 함께 있어서 보정 뒤에 남은 것의 크기를 실제로 잴 수 있었다는 점이다.
이 편의 중심 개념이다. 그리고 논문을 읽는 사람이 표에서 곧바로 마주치는 자리이기도 하다.
다변량 회귀 결과표에는 관심 노출의 계수와 함께 연령·성별·동반질환·생활습관 등 보정변수의 계수가 나란히 실린다. 이 추가 행들이 독립적인 위험인자로 읽히는 일이 잦은데, 애초에 그 분석은 그 변수들의 효과를 추정하도록 설계되지 않았다. 이것이 Table 2 fallacy다. 2026년의 한 해설은 문제의 소재를 정확히 짚는다 — 문제는 보정을 쓴다는 것이 아니라, 보정항 하나하나를 별개의 인과 추정치인 양 해석하는 것이다. 저자들은 DAG와 하나의 작업 예제로, 관심 노출의 계수는 의도한 임상 질문에 답할 수 있지만 보정변수의 계수는 임상적으로 행동 가능한 효과를 나타내지 않을 수 있음을 보인다. 상호작용항을 인과로 해석할 때도 비슷한 오류가 생긴다고 덧붙인다. 권고는 네 가지다 — 추정목표(estimand)와 노출을 명시하고, 가정한 인과 구조에서 보정변수를 고르고, 노출 계수만 해석하고, 추가 질문마다 별도의 모형을 적합할 것. 그리고 마지막 두 문장이 이 절의 요약이다. 회귀표는 수정 가능한 위험의 메뉴가 아니다. 어떤 연관이 임상적으로 행동 가능한 것은 연구가 그 해석을 뒷받침하도록 설계됐을 때뿐이다 (PMID 42531045).
이 개념에 이름을 붙인 것은 2013년 논문이다. 한 모형에서 나온 여러 보정 효과 추정치를 한 표에 함께 제시하는 관행이 어떤 오해를 부르는지를 인과 다이어그램으로 보인 뒤, 세 가지 문제를 든다. 첫째, 공변량의 직접효과 추정치와 총효과 추정치를 혼동하게 만든다. 둘째, 주 노출의 추정치는 교란되지 않았더라도 공변량의 추정치는 교란돼 있을 수 있다. 셋째, 노출효과가 공변량 수준에 따라 달라지는 이질성(효과 수정) 때문에 해석이 더 복잡해진다. 제안은 총효과와 직접효과를 정밀하게 구분해 적고, 공변량의 총효과가 필요하면 그것을 위한 별도 모형을 쓰라는 것이다 (PMID 23371353).
말로는 잘 안 와닿는다. 그래서 같은 자료로 그 차이를 직접 계산해 본 연구가 있다. 2007~2012년 캘리포니아의 단태 출생 2,963,888건 후향 코호트에서, 자간전증이 조기분만에 미치는 총효과를 추정하는 모형(모형 1)을 세우고 이전 조기분만·임신 중 알코올 남용·산모 학력 등을 보정했다. 그런 다음 같은 모형 1 안에 함께 실린 다른 계수들이 무엇인지를 하나씩 따져 봤다.
같은 표에 나란히 실린 세 숫자가 서로 다른 세 종류의 양이었다는 뜻이다. 저자들의 결론은 한 모형에서 나온 여러 효과 추정치를 함께 보고하면 오해와 재현성 부족으로 이어질 수 있으니, 통계 모형이 추정하는 효과의 종류를 신중히 따져야 한다는 것이다 (PMID 29782045).
같은 함정이 사회경제적 지위 연구에서는 '상호보정(mutual adjustment) 오류'라는 이름으로 나타난다. 학력·직업·소득 같은 여러 지표를 한 모형에 넣고 서로 보정한 뒤, 각 계수를 똑같이 그 지표의 "독립적" 효과로 읽는 관행이다. DAG로 따져 보면 **학력 → 직업**이고 **학력·직업이 함께 소득을 결정한다**고 가정할 때 학력의 상호보정 계수는 직업·소득을 거치지 않는 직접효과이고, 직업의 계수는 소득을 거치지 않으면서 학력에 의해 교란되지 않은 직접효과이며, 소득의 계수는 학력·직업에 의한 교란을 보정한 효과다. 셋을 직접 비교하는 것은 같은 것끼리 비교하는 것이 아니다. 다만 이 논문은 반대쪽 절반도 적는다 — 상황에 따라서는 더 원위의 사회경제 지표(학력·직업)를 보정하는 것이 미측정 사회경제 교란을 차단하기에 충분해, 더 근위의 지표(소득)의 보정 추정치에 대한 인과적 확신을 오히려 높여 줄 수 있다 (PMID 30606167).
그럼 여러 예측변수 중 무엇이 중요한지를 알고 싶을 때는 어떻게 하나. 그런 목적을 위한 방법론이 부족했던 것이 애초에 이 오류를 낳았다는 진단과 함께, 기술역학에는 기계학습을 쓰자는 제안이 있다. 성소수자 청소년의 알코올 남용 예측변수를 찾는 예제로, 몇 가지 기계학습 방법을 정하고, 중첩 교차검증으로 모수를 최적화하고, 변수 중요도 점수로 순위를 매기고, 부분의존도 그림으로 연관을 보이고, 그 그림으로 상호작용의 강도를 파악하는 5단계 틀을 제시한다. 저자들은 이 접근의 강점과 약점을 함께 논한다 (PMID 37444042).
과보정(overadjustment)이라는 말은 오래 일관되지 않게 쓰였다. 2009년의 한 논문이 정의를 정리했다. 과보정 편향은 노출에서 결과로 가는 인과 경로 위의 중간변수(또는 그 후손 대리변수)를 통제하는 것이고, 불필요한 보정은 인과관계의 치우침에는 영향을 주지 않지만 정밀도에는 영향을 줄 수 있는 변수를 통제하는 것이다. 저자들은 인과 다이어그램과 실증 예제(산모 흡연이 신생아 사망에 미치는 효과)로 이 구분을 보이고, 시뮬레이션으로 과보정에 따른 치우침의 크기를 정량화한다. 그리고 이 치우침이 교란이나 선택 편향과는 다른 인과 구조에서 나온다는 것, 유한표본 편향이 아니라는 것(반면 불필요한 변수 통제에 따른 비효율은 표본 크기의 함수라는 것)을 보인다 (PMID 19525685).
가장 극적인 것은 연관의 부호가 바뀌는 경우다.
부당경량아(small-for-gestational-age, SGA) 출생이 이후의 비만을 일으키는지를 물은 연구들이, 비만 측정과 같은 시점에 잰 키·체중·BMI를 "보정"해 왔다. 이 관행의 편향 가능성을 보기 위해, 1996~1997년에 태어나 2008~2010년 11.5세까지 추적된 벨라루스 아동 코호트 자료로 두 가지 분석을 나란히 돌린 연구가 있다. ① 기저 공변량만 보정했을 때 SGA 출생은 모든 지방량 결과(피부주름두께, 생체전기저항 체지방)와 음(-)의 연관을 보였다. ② 여기에 동시 측정한 체중이나 BMI를 추가로 보정하자 그 연관은 양(+)으로 뒤집혔다. 주변구조모형으로 통제된 직접효과를 추정했더니, 키로 모형화했을 때는 ①과 비슷했고, BMI로 모형화했을 때는 영값이었으며, 체중으로 모형화했을 때는 제지방량과 지방량의 차이 때문에 교란돼 있었다 (PMID 28338874).
반대 방향의 예도 있다. 산전 스테로이드가 미숙아의 기관지폐이형성증(BPD) 위험인자들을 줄이는데도 BPD 자체에 대한 효과는 연구마다 엇갈렸다. 일부 연구에서 보호효과가 나타나지 않은 것이 치료와 결과 사이 인과 경로의 중간 요인을 통제한 과보정 때문일 수 있다는 가설을 세우고, 이탈리아 롬바르디아 10개 3차 신생아집중치료실에 1999~2002년 입원한 재태 23~32주·1500g 미만 아기 코호트로 확인한 연구다. 1,314명 중 1,118명이 36주까지 생존했고 15.9%가 BPD로 진행했으며 82%가 스테로이드를 받았다.
단변량 분석에서 스테로이드는 BPD에 대해 유의한 보호효과를 보이지 않았다. 그런데 중간 요인들(기계환기, CRIB 점수로 잰 중증도, 동맥관개존)은 BPD의 위험인자이면서(각각 OR 11.0, 1.55, 4.42, 모두 P < 0.001) 동시에 스테로이드에 의해 예방되는 것이었다(각각 OR 0.58, 0.92, 0.58, 모두 P < 0.01). 성향점수를 쓴 다중 로지스틱 회귀에서 이 중간 위험인자들을 빼고 모형을 세우자 스테로이드를 받은 아기의 BPD 위험이 낮았고(OR 0.59, 95% CI 0.36–0.97, P = 0.036), 중간 위험인자들을 모형에 넣자 스테로이드의 효과는 사라졌다. 저자들의 결론은 인과 사슬의 잠재적 매개변수를 포함하면 치료의 보호효과를 탐지하는 능력이 가려질 수 있다는 것, 그리고 이 자료에서는 스테로이드 효과가 부분적으로 고전적 위험인자의 감소를 통해 매개되는 것으로 보인다는 것이다 (PMID 17564592).
개별 논문만의 문제가 아니다. 개인 수준 사회경제적 지위와 건강 결과의 연관을 다룬 체계적 문헌고찰·메타분석 84편(SR 47편, MA 37편)을 2021년 4월까지 검색해 검토한 메타연구가 있다. 노출과 결과를 명확히 정의한 것은 73%였지만, 다른 모든 항목은 55% 미만이었다 — 교란변수와 매개변수를 명확히 구분해 정의한 것 5%, 인과 다이어그램을 그린 것 2%, 포함된 연구들이 무엇을 보정했는지 보고한 것 35%. 편향 위험(risk of bias) 평가에 과보정을 포함한 것은 2%였던 반면 교란을 포함한 것은 54%였고, 메타분석 37편 중 과보정 관련 민감도분석을 한 것은 16%였다. 저자들은 과보정 편향을 문헌고찰 지침에서 강조할 필요가 있다고 맺는다 (PMID 38129958).
이 문헌은 문제만 제기하지 않는다. 사회역학에서의 변수 선택을 다룬 입문 논문 하나가 세 단계를 제시한다. 첫째, 연구 질문과 관심 인과효과를 분명히 할 것. 둘째, 전문지식과 이론을 써서 변수들 사이의 상호관계에 대한 가정을 인과 다이어그램으로 그릴 것. 셋째, 그 다이어그램과 관심 효과에 근거해, 교란에 대한 보정은 최대화하고 매개변수에 대한 보정은 최소화하는 변수 집합을 고를 것. 이 논문은 생애과정에 걸친 변수의 시점, 사회경제 지표의 상호보정, 체계적 문헌고찰 수행 같은 구체적 쟁점도 함께 다룬다 (PMID 35662623).
더 형식적인 기준도 있다. 역학 연구용 방법론 튜토리얼 하나는 수정 이접 원인 기준(modified disjunctive cause criterion)을 가장 유용한 접근의 하나로 소개한다 — 노출이나 결과 또는 둘 다에 영향을 주는 노출 이전(pre-exposure) 공변량은 모두 통제하되, 도구변수는 제외하고, 노출과 결과의 공통 원인에 대한 대리변수는 포함하는 방식이다. 같은 논문은 도구변수·중간변수·기저 결과변수를 보정할 때의 함정을 함께 짚고, 미측정 교란에 대한 민감도 지표로 E-value와 robustness value 두 가지를 소개한다 (PMID 38972732).
여기가 직관을 가장 크게 배신하는 자리다. 어떤 변수는 보정하는 순간 없던 연관이 생긴다.
충돌부는 노출과 결과가 둘 다 영향을 주는 변수다. 그 변수를 보정하거나, 그 변수의 한 수준으로 표본을 제한하면, 노출과 결과 사이에 원래 없던 연관이 만들어진다. 이것이 충돌부 층화 편향(collider stratification bias)이다.
전자의무기록을 다시 쓰는 연구에서 이 문제가 왜 생기기 쉬운지를 정리한 튜토리얼이 있다. 미국의 의료 접근과 이용의 성격 때문에, EHR 자료를 재사용하면 의료이용(healthcare utilization)이라는 흔한 충돌부에 암묵적으로 조건화된다. 이 튜토리얼은 역학 방법론 배경이 없는 정보학 연구자를 대상으로 삼고, 설계 단계에서 편향의 원천을 찾아내는 도구로 DAG를 소개한다 (PMID 36752649).
대규모 코호트에서도 같은 일이 일어난다. 대규모 단면·코호트 연구가 유전·환경 결정요인 이해를 바꿔 놓았지만, 그 표본의 대표성은 연구 참여 선택이나 시간에 따른 탈락 때문에 제한될 수 있다. 흔히 이런 선택은 대표성과 유병률 추정에는 영향을 줘도 연관 추정에는 큰 영향을 주지 않는다고 가정되는데, 그 가정을 정면으로 반박한 것이 이 논문이다. 선택이 충돌부 조건화를 유발할 수 있기 때문에, 연구 진입이나 탈락에 대한 적당한 정도의 영향만으로도 표현형 연관과 유전형 연관 모두에서 치우치고 오도할 수 있는 추정치가 생긴다는 것을 시뮬레이션으로 보였다. 저자들이 제시한 대응은 두 가지다 — 자기 표본이 어떤 인구를 대표하는지 아는 것의 가치, 그리고 선택과 탈락에 영향을 준 요인을 알 수 있다면 그것을 보정할 수 있다는 것 (PMID 29040562).
여기서 방향에 주의해야 한다. 충돌부를 보정하면 편향이 생기지만, 선택이 이미 일어난 뒤에는 그 선택에 영향을 준 변수를 보정하는 것이 편향을 걷어 내는 길이 되기도 한다. 실제 사례가 있다. 입원한 코로나19 환자만 보는 상황은 정의상 충돌부 층화 상태인데, 인과 DAG를 그려 세 가지 모형을 비교한 연구다. 백신접종만 넣은 모형 1에서는 백신이 사망을 예방한다는 증거가 나타나지 않았다. 연령을 공변량으로 넣어 입원 조건화에 따른 충돌부 편향을 보정한 모형 2에서는 백신의 보호 역할이 드러났고, 만성질환을 추가한 모형 3에서는 그 보호효과가 약간 더 강해졌다. 저자들의 결론은 입원 환자를 연구하는 것이 충돌부 층화 편향의 대상이 되며, 교란과 마찬가지로 이 유형의 선택 편향도 입원에 영향을 주면서 결과의 위험인자이기도 한 변수를 회귀모형에 포함시켜 보정할 수 있다는 것이다 (PMID 38111522).
충돌부의 후손을 조건으로 삼는 것만으로 결론이 반대가 된 사례가 있다. 회전근개 파열은 진단에 영상검사가 흔히 필요하기 때문에, 대조군도 영상검사를 받은 사람으로 뽑아야 한다는 주장이 있어 왔다. 그런데 영상검사 여부는 증상이라는 충돌부의 후손이다. 이를 확인하기 위해, 익명화된 전자의무기록에서 대조군을 두 가지(영상검사를 받은 군 / 받지 않은 군)로 구성해 대사 관련 노출(BMI, 1형 당뇨, 2형 당뇨)과 회전근개 파열의 연관을 비교한 연구다.
환자군은 대조군보다 나이가 많고 관절염(57%)·인대질환(9%)·이전 어깨손상(99%)이 더 많았다. 영상검사를 요구한 대조군은 환자군을 훨씬 닮아 있었다 — 관절염 9% 대 1%, 인대질환 6% 대 2%, 이전 어깨손상 54% 대 7%. 1형 당뇨 유병률은 환자군 3%, 영상검사 대조군 4%, 비영상 대조군 1%였고 전국 수준은 약 1%였다. 그리고 결과가 이렇게 갈렸다 — 비영상 대조군을 쓰면 1형 당뇨는 파열과 양(+)의 연관(보정 오즈비 1.78, 95% CI 1.64–1.92), 영상 대조군을 쓰면 음(-)의 연관(0.75, 0.57–0.97) (PMID 42223248).
같은 자료, 같은 노출, 같은 결과인데 대조군 정의 하나로 결론이 반대가 됐다.
글루코사민은 관절통과 골관절염에 널리 쓰이는 보충제인데, 무작위 시험 결과는 결론이 나지 않은 반면 관찰연구들은 사망률과 암 발생의 유의한 감소를 보고해 왔다. 이 놀라운 이득이 편향, 특히 선택 편향으로 설명되는지를 본 연구가 있다. 관찰연구 11편을 찾았고, 전체 사망에 대해 평균 16% 감소(해저드비 0.84, 95% CI 0.81–0.87 — 시리즈 3부의 위험비[risk ratio]가 아니라 시간에 따른 사건 발생 속도의 비다)와 암 발생·심혈관·호흡기·당뇨 등에서의 유의한 감소가 보고돼 있었다.
저자들이 보인 것은 이 유의한 효과들이 충돌부 층화에 의한 선택 편향에서 나올 수 있다는 것이다. 모든 연구가 코호트 진입 전에 이미 글루코사민을 복용 중이던 '유병 사용자(prevalent user)' 코호트를 썼고, 참가자들이 코호트 참여에 동의한 사람들이었기 때문이다. 50만 명 규모의 UK Biobank 논문을 예로 든 시연에서, 인구 전체에서 사망 발생률비가 참으로 1.0일 때 유병 코호트에서는 0.82로 치우칠 수 있음을 보였다. 저자들의 결론은 이 편향을 '신규 사용자(new user)'를 고려해 우회하는 관찰연구가 제대로 수행되기 전까지는, 지금까지의 연구들이 이 보충제를 사망·암·기타 만성질환의 예방 목적으로 처방하는 것을 뒷받침할 수 없다는 것이다 (PMID 36029480).
말라리아 유전역학에서도 같은 구조가 발견됐다. 중증 falciparum 말라리아 자료를 모은 대규모 환자대조 분석들이 G6PD 결핍이 뇌말라리아에 대해 보호적이면서 중증 말라리아 빈혈의 위험은 높인다고 보고했고, 여기에 균형선택 가설의 새로운 형태가 제안됐다. 이를 인과 다이어그램으로 재분석한 연구는 그 주장이 충돌부 편향의 대상임을 보였고, G6PD 결핍이 빈혈에 미치는 이미 알려진 효과의 강도를 바꿔 가며 돌린 시뮬레이션 기반 민감도분석에서 이 편향만으로 관찰된 연관 전부를 설명하기에 충분함을 보였다. 저자들의 권고는 앞으로 중증 말라리아 유전역학 연구가 인과추론을 활용하라는 것이다 (PMID 30688212).
코로나19 초기 관찰연구에도 같은 경고가 나왔다. 입원 환자, 검사받은 사람, 자발적 참여자 같은 비대표 표본에서 나온 관찰 근거를 해석하는 어려움을 지적하며, UK Biobank 자료를 분석했더니 코로나 검사를 받은 참가자들이 더 넓은 코호트에 비해 유전·행동·심혈관·인구학·인체계측 형질의 여러 축에서 크게 선택돼 있었다는 것이다. 저자들은 기존 연구에서 충돌부 편향을 탐색해야 한다고 적으면서도, 최적의 완화책은 설계 단계에서 적절한 표집 전략을 쓰는 것이라고 맺는다 (PMID 33184277).
여기가 이 절에서 가장 조심해야 할 대목이다. 충돌부 편향은 강력한 개념이라 모든 역설을 설명하는 만능 열쇠로 쓰이기 쉬운데, 그렇게 말하지 않는 문헌이 여럿이다.
비만이 사망률 감소와 연관된다는 이른바 '비만 역설'의 흔한 설명이 충돌부 층화 편향이다. 이를 현실적인 생성모형으로 검정한 연구는, 충돌부 층화가 노출→결과 인과효과의 추정을 실제로 치우치게 만든다는 것을 확인했다. 그런데 그 치우침은 변수들 사이의 인과관계에 비하면 작았다. 저자들의 결론은 충돌부 편향이 비만 역설의 부분적 설명은 될 수 있지만 연관의 방향을 참 인과관계와 반대로 뒤집는 주된 설명일 가능성은 낮으며, 다른 설명을 찾아야 한다는 것이다 (PMID 27075676).
전립선암의 '역(逆) 비만 역설'에서도 같은 결론이 나왔다. BMI가 진단과는 음의 연관(5 kg/m² 증가당 해저드비 약 0.9)인데 전립선암 특이 사망과는 양의 연관(약 1.2)인 현상이다. 미측정 배경변수를 넣어 이항 자료를 시뮬레이션하고 편향 백분율을 계산했더니, 전립선암 맥락에서 그럴듯한 모수 범위 전반에 걸쳐 충돌부 편향이 BMI와 전립선암 사망의 오즈비를 4% 넘게 왜곡하지 못했다. 같은 시뮬레이션에서 고전적 교란이 왜곡할 여지는 그보다 컸다. 저자들의 결론은 충돌부 편향만으로는 이 역설을 설명하기 어렵고, 관찰된 양의 관계가 통계적 인공물이 아니라 실재일 가능성을 일부 기전적 근거가 뒷받침한다는 것이다 (PMID 40231651).
문헌 전체의 온도를 잰 체계적 문헌고찰도 있다. 2000년 1월부터 2024년 7월까지의 영어 방법론 논문과 일반역학 교과서를 검색해, 내적 타당도에 초점을 맞추면서 선택 편향이나 충돌부 편향의 크기·방향을 논한 문헌을 추렸다(논문 5,508편 중 33편, 교과서 205권 중 12권). 결과는 이렇다 — 충돌부 편향을 다룬 문헌들은 그 영향을 미미한 것으로 전달했고, 선택 편향을 다룬 문헌들은 다양한 영향을 기술했다. 그리고 대부분의 충돌부 편향 문헌이 첨예 영가설(sharp null, 노출과 결과 사이에 아무 관계가 없다는 가정) 아래에서 편향을 평가했다는 점, 상호작용의 역할과 영향을 받는 층에 대한 논의가 두 갈래 문헌에서 달랐다는 점을 지적한다. 저자들의 제안은 첨예 영가설이 아닌 조건에서 충돌부 편향을 조사하고, 충돌부의 원인들 사이의 곱셈적·덧셈적 상호작용을 함께 고려하면 그 크기를 예측·정량화하는 능력이 나아질 수 있다는 것이다 (PMID 40167168).
용어 정리도 진행 중이다. 한 논평은 충돌부 층화 편향을 두 가지로 나눌 것을 제안한다 — 충돌부의 한 수준으로 제한해 생기는 충돌부 제한 편향과, 회귀모형에 충돌부를 포함해 생기는 충돌부 보정 편향이다. 후자를 선택 편향으로 분류하면 의미상 혼동이 생긴다는 것이 논지다. 회귀모형에 충돌부를 넣는 것은 분석 표본을 고르는 일이 아니기 때문이다. 저자들의 제안은 후자를 과보정 편향의 한 종류로 보자는 것이다 (PMID 37939152).
선택 편향 자체의 정의도 정리 중이다. 참조 인구(선택 과정 이전의 인구)에서의 참 인과효과로부터 벗어난 모든 치우침을 선택 편향으로 통일하자는 제안이 있고, 그 아래 두 유형을 둔다 — 충돌부(또는 그 후손)의 한 수준 이상으로 제한해 생기는 1형과 효과 수정변수의 한 수준 이상으로 제한해 생기는 2형이다. 둘은 동시에 일어날 수 있다 (PMID 35700187). 더 짧은 정리도 있다. 임상연구에서의 선택이 반드시 선택 편향으로 이어지지는 않으며, 언제 그렇게 되는지를 이해하려면 충돌부 조건화 편향을 알아야 한다는 것 — 그리고 이 편향은 흔하고 대개 자초한(self-inflicted) 것이라는 지적이다 (PMID 39891549).
마지막으로, "대표성 있는 코호트를 쓰면 된다"는 해법도 그렇게 단순하지 않다. 노출과 결과의 다른 위험인자들이 함께 그 인구에 속할 확률에 영향을 준다면 기저 선택이 충돌부 편향을 만들 수 있는데, 이 기전은 '선택된 코호트'에만 있는 것이 아니라 어떤 인구에서든 일어나는 선택 과정(생존, 이민, 이주 등) 때문에 '대표성 있는 코호트'에서도 일어난다는 것이다. 이탈리아 피에몬테 지역 인구 자료로 실제 사례를 보인 뒤 저자들이 내린 결론은 이렇다 — 서로 다른 출처 인구는 서로 다른 정도의 교환가능성 결여로 이어지지만, 어느 한쪽이 본질적으로 덜 치우쳐 있는 것은 아니다. 핵심 쟁점은 관련 위험인자를 식별하고 통제할 수 있는가다 (PMID 30804046).
"미측정 교란이 있을 수 있다"는 문장은 관찰연구 고찰의 상투구다. 이 문헌은 거기서 멈추지 않았다. 도구가 여럿 만들어졌고, 그 도구들의 성능도 재 봤다.
널리 쓰이는 것이 E-value다 — 아래에서 볼 활성 비교약 코호트 158편 조사에서, 의학 저널 논문이 가장 흔히 쓴 민감도분석이 이것이었다 (PMID 39098826). 정의는 이렇다 — 측정된 공변량을 조건으로, 미측정 교란변수가 처치와도 결과와도 가져야 하는 연관의 최소 강도(위험비 척도)로, 관찰된 처치-결과 연관을 완전히 설명해 없앨 수 있는 값. E-value가 크면 그 효과를 지우는 데 상당한 미측정 교란이 필요하다는 뜻이고, 작으면 적은 교란으로도 지워진다는 뜻이다. 제안자들은 인과 근거를 내려는 모든 관찰연구가 E-value를 보고하거나 다른 민감도분석을 쓰기를, 그리고 관찰된 추정치와 영값에 가까운 쪽 신뢰한계 양쪽에 대해 계산하기를 권한다 (PMID 28693043).
실제 적용은 이런 모습이다. 산전 관리의 적정성 지표와 저체중 출생의 관계를 다룬 관찰자료에 E-value를 적용한 연구에서, 값은 평가한 지표와 범주에 따라 1.45에서 5.63 사이였다. 저자들은 이 결과가 강한 교란변수-저체중출생 연관(400% 넘는 위험 증가)만이 관찰된 연관을 완전히 설명할 수 있음을 가리킨다고 적는다 (PMID 34190835).
이 논리를 끝까지 밀어 본 예도 있다. 코로나19 백신의 관찰연구 효과 추정치를 미측정 교란만으로 설명할 수 있는지를 고전적 Cornfield 부등식과 몬테카를로 민감도분석을 결합해 평가한 연구다. 관찰된 위험비가 0.08인 경우, 그것을 설명할 교란변수는 크게 불균형하면서 동시에 강하게 보호적이어야 했다 — 저자들이 든 예로는 접종군에서 10배 더 흔하고 질병 위험을 99% 낮추는 정도다. 약한 정보 사전분포에서 추출한 시뮬레이션에서 그 조건을 만족한 것은 2% 미만이었다. 더 온건한 위험비 0.25의 경우에도 6% 미만이었다. 저자들의 결론은 잔여 교란이 효과 추정치를 약화시킬 수는 있어도, 미측정 교란만으로 관찰된 효과 크기 전부를 설명하는 것은 통계적·역학적으로 그럴듯하지 않다는 것이다. 이 글이 여기서 보는 것은 백신에 대한 판단이 아니라 도구의 사용법 — 미측정 교란 주장을 반증 가능한 형태로 바꾸는 방식이다 (PMID 41343587).
그런데 이 도구가 실제로 어떻게 쓰이는지도 세어 봤다. 2018년 말까지 E-value 최초 논문 두 편 중 하나를 인용하면서 원자료에 E-value를 제시한 논문 전부를 찾고, 같은 저널·같은 호에서 E-value를 계산하지 않은 대조 논문을 짝지은 조사다. 87편이 516개의 E-value를 제시했다. 그중 잔여 교란이 주요 결론 일부를 위협할 가능성이 있다고 결론지은 것은 14편이었고, 그 14편 중 잠재적 미통제 교란변수를 실제로 지목한 것은 7편이었다. 87편 중 19편만이 E-value의 크기를 자기 분야에서 예상되는 교란의 강도와 견줘 봤다.
결정적인 숫자는 이것이다. E-value의 중앙값은 교란이 결과에 영향을 줬을 것 같다고 본 43개에서 1.88, 영향을 주지 않았을 것 같다고 본 348개에서 1.82, 언급이 없는 125개에서 2.02였다. 즉 저자들의 판정과 E-value의 크기가 사실상 겹쳤다. 대조 논문 69편 중 52편은 미측정 교란을 언급조차 하지 않았고, 짝지은 사례 논문 69편 중 44편은 교란이 결론에 영향을 주지 않았을 것이라고 결론지었다. 저자들의 결론은 이렇다 — E-value 계산이 손쉬워지면서 이미 부실한 교란 처리가 더 악화될 수 있다. E-value는 미측정 교란의 원천을 신중히 따지는 일의 대체물이 아니며, 쓰려면 각 분야에서 예상되는 교란의 맥락 안에서 해석해야 한다 (PMID 31930286).
기술적 한계도 확인됐다. 관찰 공변량과 미관찰 공변량의 상관 강도를 바꿔 가며 몬테카를로 시뮬레이션을 돌린 연구에서, 성향점수 방법(매칭·가중)이 미관찰 교란변수의 불균형을 오히려 키울 수 있다는 기존 발견이 재확인됐고, 성향점수 방법을 적용한 뒤 계산한 E-value는 미관찰 교란이 추정치를 더 크게 치우치게 만들었을 때 오히려 더 커지는 경향을 보였다. 저자들의 결론은 성향점수 방법을 쓴 맥락에서 E-value를 해석할 때 주의가 필요하다는 것이다 (PMID 38539082).
두 번째 도구는 음성대조(negative control)다. 실험실 생물학의 음성대조에서 온 아이디어로, 노출-결과 관계에 대해 인과적으로 있을 수 없는 노출이나 결과를 하나 정해 놓고 그것에서 연관이 나오는지를 본다. 나오면 교란·회상 편향·분석 오류 같은 것이 있다는 신호다. 이 개념을 역학에 도입한 논문은 두 종류(노출 대조·결과 대조)를 구분하고 각각의 사례를 들며, 음성대조가 교란을 탐지하는 조건을 정리한다 (PMID 20335814).
이 도구도 성능이 검토됐다. 방법론 논문 37편을 모은 스코핑 리뷰에서, 음성대조 노출만 다룬 것이 11편(29.8%), 음성대조 결과만이 13편(35.1%), 둘 다가 13편(35.1%)이었고, 기능별로는 편향 탐지 14편(37.8%), 편향 교정 16편(43.3%), p값·신뢰구간 보정 5편(13.5%)이었다. 핵심은 마지막 문단에 있다 — 편향 탐지는 음성대조와 관심 변수 사이에 연관이 있으면 교란·선택 편향·정보 편향 중 무언가가 있다는 것을 단순히 가리키는 정도인 반면, 편향 교정에는 순위 보존·단조성·선형성 같은 훨씬 엄격한 가정이 필요하다 (PMID 38040387).
실제 사용 실태도 조사됐다. 2020년 9월까지의 약물역학 문헌을 체계적으로 검색해 184편을 검토했더니, 코호트 연구가 115편(63%), 행정자료 사용이 114편(62%)이었고, 대부분이 음성대조 결과를 썼으며(91편, 50%), 목표로 삼은 편향은 미측정 교란이 가장 많았다(93편, 51%). 용도는 편향 탐지 149편(81%), 편향 교정 16편(9%), p값 보정 8편(4%), 방법 성능 평가 31편(17%)이었다. 저자들의 결론은 음성대조가 편향 탐지에 강력한 도구이지만 많은 연구가 그 밑에 깔린 가정을 확인하지 않았다는 것이다 (PMID 37851862).
개념적 한계를 정면으로 다룬 개관도 있다. 음성대조가 미측정 교란을 탐지하는 데 특이도와 민감도가 모두 부족할 수 있고, 음성대조 연관이 영값이라는 영가설을 증명하는 것은 불가능하다는 지적이다. 결과 보정 접근·이중차분 접근·이중 음성대조 접근 각각의 가정과, 그 가정이 깨졌을 때의 잠재적 영향을 짚은 뒤, 저자들은 때로는 정확한 식별을 위한 강한 조건 대신 부분 식별만 주는 약하고 검증하기 쉬운 조건으로 바꾸는 편이 나을 수 있다고 제안한다. 결론은 이렇다 — 앞으로의 연구가 음성대조의 적용 범위를 넓힐 수 있겠지만, 현재로서는 사례별로 신중히 적용 가능성을 판단해야 한다 (PMID 37338976).
2017년 1월부터 2022년 6월까지 의학 저널 5곳과 역학 저널 7곳에 실린 활성 비교약 코호트 연구 158편(의학 76편, 역학 82편)을 체계적으로 검토한 연구가 있다. 잔여·미측정·미통제 교란이 잠재적 우려로 언급된 것은 93%였지만, 미측정 변수에 의한 미통제 교란을 평가하는 민감도분석을 하나라도 실제로 수행한 것은 84편(53%)이었다. 가장 흔한 방법은 의학 저널에서는 E-value(21%), 역학 저널에서는 측정된 변수에 대한 제한(22%)이었다 (PMID 39098826).
방법론 자체가 부족해서가 아니다. 약물역학에서 미측정 교란을 탐지하거나 통제하는 방법을 정리한 개관은 설계 단계의 방법(환자만을 쓰는 설계들 — 사례교차, 사례-시간-대조, 자기대조 사례군 — 과 사전사건률비 보정)과 분석 단계의 방법(음성대조, 섭동변수, 도구변수, 민감도분석, 생태분석), 그리고 하위연구에서 교란변수 정보를 추가로 모으는 방법(외부 보정, 성향점수 보정, 2단계 표집, 다중대체)을 나열한다. 저자들의 맺음은 이 방법들의 성능과 적용이 연구와 데이터베이스에 따라 다를 수 있으므로 통계적 근거와 실질적 임상지식을 함께 써서 결과를 해석해야 한다는 것이다 (PMID 27091131).
여기가 이 절에서 잘라 내면 안 되는 절반이다. 위의 도구들은 "우리는 결코 알 수 없다"로 가지 않는다. 미측정 교란의 크기를 실제 자료로 재 본 연구들이 있고, 그 답이 '작다'로 나온 경우도 있다.
미국 FDA 센티널 실사용근거 데이터 사업의 매스제너럴브리검 사이트에서 청구자료와 EHR을 연결한 자료로, 청구자료에는 잘 안 잡히지만 EHR에는 있는 교란 위험인자를 실제로 확인한 원리증명 연구가 있다. 사쿠비트릴-발사르탄 개시군과 ACE 억제제·ARB 개시군의 혈관부종 위험을 비교한 기존 센티널 질의 코호트를 가져와, EHR 자료로 청구자료에 잘 안 잡히는 혈관부종 위험인자들을 특징지었더니 청구자료 기반 대리변수들이 EHR로만 측정 가능한 위험인자 대부분을 균형 있게 맞추고 있었다. 그래서 정량적 편향분석으로 잔여 교란을 보정하는 것이 이 예에서는 불필요하다고 판단됐다. 저자들은 이런 방법을 일상적으로 적용하려면 EHR-청구자료 연결 인프라가 중요하다고 맺는다 (PMID 41708481).
같은 FDA 센티널 매스제너럴브리검 사이트의 같은 연결자료에서 시뮬레이션으로 같은 질문을 다룬 연구도 있다. 청구자료와 연결 EHR로 바레니클린·부프로피온 신규 사용자를 식별해 500개의 모의 코호트를 만들고, 청구자료에는 없고 EHR에만 있는 잠재 교란변수(신경정신 결과에는 자살 사고, 주요심혈관사건에는 BMI·혈압·흡연 갑년)로 잔여 교란을 시뮬레이션했다. 미보정 표본에서 처치군 간 표준화 평균차의 중앙값은 자살 사고에서 0.16, BMI·혈압·흡연 갑년에서는 0.1 미만이었다. 그리고 두 결과 모두에서 청구자료 기반 변수로 보정하자 상대 치우침이 0에 가까웠다. 저자들의 결론은 경험자료에 기반한 현실적 시뮬레이션 안에서는 청구자료에 없는 EHR 측정 교란변수가 강한 잔여 교란을 만들 가능성이 낮았다는 것, 그리고 이 접근이 무작위배정이 아닌 연구의 편향을 정량화하는 방법을 제공한다는 것이다 (PMID 42093129).
두 연구 모두 특정 약물 비교 안에서의 결과이고, 다른 질문·다른 자료에서도 같은 답이 나온다는 뜻은 아니다. 이 글이 여기서 옮기는 것은 "미측정 교란은 잴 수 없다"가 사실이 아니라는 것 하나다.
관찰연구에서 다루기 까다로운 교란 하나는 왜 그 사람이 그 치료를 받았는가에서 온다. 아픈 사람이 약을 받는다. 그래서 약을 받은 군의 결과가 나쁘면 그것이 약 때문인지 병 때문인지를 자료만으로는 가를 수 없다.
이 편향이 얼마나 완강한지를 제목으로 단 연구가 있다. 1990~1994년에 진단된 고령 유방암 환자 1,798명의 의무기록 검토 자료에서, 보조 항암화학요법을 받은 군과 받지 않은 군의 재발률을 비교했다. 보정하지 않은 분석(crude analysis)에서 항암화학요법은 재발과 양(+)의 연관이었다(해저드비 2.6, 95% CI 1.9–3.5). 보호효과를 예상했던 저자들은 이것이 항암화학요법의 적응증에 의한 교란이라고 보고, 네 가지 방법으로 보정을 시도했다.
숫자 2.6이 1.1까지 내려왔다. 보정이 아무것도 못 한 것이 아니다. 그런데 저자들은 도구변수 방법에서도 도구변수 수준별로 측정된 요인들의 불균형이 남아 잔여 교란을 시사했다고 적고, 결론을 이렇게 맺는다 — 관행적 방법은 미측정 요인을 통제하지 못하며, 적응증에 의한 교란을 다룰 때 그 요인들이 흔히 중요하게 남는다. 성향점수와 도구변수 분석은 특정 상황에서 유용할 수 있으나, 이 연구에서는 어느 쪽도 적응증에 의한 교란을 적절히 통제하지 못했다 (PMID 19457638).
백신 효과 문헌에서도 같은 문제가 정량화됐다. 인플루엔자 백신 효과를 보고한 관찰연구 23편(결과변수 11종)을 체계적으로 검토해, 각 연구의 적응증에 의한 교란과 건강한 접종자 편향(healthy vaccinee bias) 위험을 평가하고 미보정 오즈비와 보정 오즈비의 비로 보정의 효과를 계산했다. 19편(83%)이 높은 편향 위험을 보였다(적응증 교란 14편, 건강한 접종자 편향 2편, 둘 다 3편). 보정은 백신 효과 추정치를 평균적으로 올렸다 — 전체 사망에서 12%(95% CI 7–17%), 전체 입원에서 9%(4–14%), 인플루엔자 유사질환에서 7%(4–10%). 그런데 보정에도 불구하고 9편은 인플루엔자 유행기 밖에서도 유의한 백신 효과 추정치를 보여 잔여 교란을 시사했다. 이런 잔여 교란은 다섯 결과변수에서 관찰됐지만 다른 결과보다 전체 사망에서 더 자주 나타났고(p = 0.03), 기저에서 건강한 접종자 편향이 시사된 연구에서 더 자주 나타났다(p = 0.01). 저자들의 결론은 보정이 적응증에 의한 교란을 어느 정도는 교정할 수 있지만 그 결과 추정치가 여전히 건강한 접종자 편향에 취약하다는 것, 적어도 전체 사망 같은 비특이적 결과변수를 쓰는 한 그렇다는 것이다. 그래서 저자들은 여기서 한 걸음 더 나간다 — 비특이적 결과변수를 쓰는 행정자료 기반 코호트 연구는 인플루엔자 백신 효과를 재는 데 더 이상 쓰지 말아야 한다는 것이 그들의 권고다. 이 글이 여기서 옮기는 것은 백신에 대한 판단이 아니라, 보정이 어디까지 하고 어디서 멈추는지를 저자들이 스스로 어떻게 그었는가다 (PMID 26474974).
여기에도 처방이 있다. 적응증에 의한 교란의 실무적 해법으로 자리 잡은 것이 활성 비교약(active comparator)과 신규 사용자(new user) 설계다. 핵심 논리는 이렇다 — 임상 적응증은 환자별이고 복잡해서 비실험 연구에서 정확히 측정하기 어렵다. 그런데 연구 인구를 그 치료의 적응증이 있는 환자로 제한하면 노출군과 비교군이 노출 확률 면에서 비교 가능해진다. 적응증을 정확히 측정할 수 없을 때, 같은 적응증에 흔히 쓰이는 다른 약을 비교 대상으로 삼는 것이 그런 제한을 실질적으로 수행하는 방법이다 (PMID 35019190). 신규 사용자 설계는 치료 시작 시점부터 코호트에 넣어, 치료 전 특성을 평가하고 추적 중 발생한 모든 사건을 포착할 수 있게 한다. 두 설계를 결합하면 관찰연구가 무작위 시험에 더 가까워진다 (PMID 25800216).
두 번째 함정은 시간이다. 불멸시간(immortal time)은 노출의 정의 때문에 관심 결과가 발생할 수 없는 추적 기간을 말한다. 예컨대 "약을 1년 이상 복용한 사람"을 노출군으로 정의하면, 그 사람들은 정의상 첫 1년 동안 죽지 않은 사람들이다. 그 1년을 노출군의 추적기간에 넣으면 약이 실제보다 좋아 보인다.
이 편향은 1970년대 심장이식 코호트 연구에서 처음 확인됐고, 약물역학에서 다시 등장했다. 여러 약이 이환과 사망을 극단적으로 잘 줄인다고 보고한 관찰연구들이 서로 다른 코호트 설계를 쓰면서 모두 어떤 형태의 불멸시간과 그에 따른 편향을 포함하고 있었다는 것이다. 한 논문이 여러 코호트 설계에서 이 편향이 생기는 경로를 기술하고 서로 다른 생존분포에서 그 크기를 정량화했다. 시간 기반·사건 기반·노출 기반 코호트 정의 모두에서 잘못 분류되거나 배제된 불멸시간에 따른 발생률비의 치우침은 불멸시간의 길이에 비례해 커졌고, 결과 사건의 해저드 함수(hazard function, 시점별 사건 발생 속도)가 감소할 때 더 두드러졌다 (PMID 18056625). 개념을 짧게 정리한 최근 해설도 있다 — 관찰 시작이 노출 경험보다 앞서고, 설계상 노출 전에 결과를 겪은 사람이 노출군에 들어갈 수 없을 때 생긴다는 것 (PMID 40400760).
이 편향이 실제 문헌에서 얼마나 큰 차이를 만들었는지 잰 연구도 있다. 생존분석을 쓴 체계적 문헌고찰 중 불멸시간 편향의 유무로 하위군 분석이 가능한 것들을 찾아 재분석한 메타역학 연구다. 주제 25개(연구 182편)에 걸쳐 적격 연구의 44.0%(80편)가 불멸시간 편향의 영향을 받았다. 편향 있는 연구와 없는 연구가 모두 있는 21개 주제 중 57.1%(12/21)에서는 한쪽 집단에서만 통계적으로 유의한 결과가 나왔고, 23.8%(5/21)에서는 편향된 연구를 빼자 전체 통합 결과의 유의성이 뒤집혔다. 효과크기의 비(편향 있는 연구의 통합 효과크기 / 없는 연구의 통합 효과크기)는 0.71(95% CI 0.66–0.78)로, 불멸시간 편향이 있는 연구의 효과크기가 개입·노출에 유리한 쪽으로 평균 29% 컸다. 편향된 연구를 빼면 연구 간 이질성(I²)이 평균 21.4% 줄었다. 저자들의 결론은 이 편향이 일부 의학 영역에서 흔할 수 있고 효과크기를 상당히 부풀려 오도하는 근거로 이어질 수 있다는 것이다 (PMID 40842270).
여기에도 처방이 있다. 관찰자료 분석의 상당수가 사실은 표적시험(target trial)을 모사하려는 시도인데, 무작위 실험의 설계·분석을 이끄는 단순한 원칙에서 벗어날 때 모사가 실패한다는 관점이다. 추적 시작 시점·적격 기준·처치 배정 이 셋을 정렬하지 못해 생기는 편향들(불멸시간 편향을 포함해)을 기술하고 예방하는 틀이 제시돼 있다 (PMID 27237061). 표적시험 모사는 그 뒤로 하나의 표준적 설계 언어가 됐고 (PMID 36508210), 2025년에는 EQUATOR 틀에 따라 개발된 보고 지침도 나왔다 — 6개 절 21개 항목의 TARGET 체크리스트다. 핵심 권고는 연구를 표적시험의 관찰적 모사로 명시할 것, 인과 질문과 모사 이유를 요약할 것, 표적시험 프로토콜(추정목표·식별 가정·분석계획)과 그것을 관찰자료에 어떻게 대응시켰는지를 명확히 적을 것, 그리고 각 추정목표의 추정치·정밀도와 함께 가정과 설계·분석 선택에 대한 민감도분석 결과를 보고할 것이다 (PMID 40899949).
성향점수는 관찰연구에서 교란을 보정하는 방법으로 점점 널리 쓰여 왔다 (PMID 28104076). 그런데 이름 때문에 오해가 잦다.
정의부터. 성향점수(propensity score)는 일련의 기저 특성(교란변수)을 조건으로 어떤 대상이 그 처치를 받을 확률이다. 다변량 회귀가 공변량과 결과의 관계를 모형화해 교란을 보정한다면, 성향점수 방법은 교란변수와 처치 배정의 관계를 모형화한다. 그래서 성향점수 방법은 사건 수에 제약받지 않고, 교란변수가 많거나 결과 사건이 적을 때 쓸 만하다. 성향점수는 보통 로지스틱 회귀로 추정하고, 교란변수 분포가 비슷한 환자끼리 짝지어 결과의 차이가 치우치지 않은 처치효과 추정치를 주도록 쓴다. 매칭 외에 층화·가중·공변량 보정도 있다 (PMID 29684154).
여기서 중요한 것은 성향점수가 측정된 공변량만 다룬다는 점이다. 방법론 개관들은 이 방법의 가정과 한계를 명시할 것을 저자들에게 요구한다 (PMID 37481434). 성향점수 매칭을 "후향 관찰연구에서 유사무작위화를 달성하는 값진 방법"으로 소개하는 실무 지침도, 개념 틀과 장단점을 정리하고 하드/정확 매칭·회귀분석과 비교한 뒤 무엇을 보고해야 하는지의 목록을 함께 준다 — 이 방법을 쓴 논문의 결론이 그 방법만큼만 강하기 때문이다 (PMID 34547404).
그리고 성향점수가 회귀보정보다 늘 낫지도 않았다. 대규모 심혈관 관찰연구 네 곳의 자료로 관행적 공변량 보정과 네 가지 성향점수 방법(매칭·층화·역확률가중·성향점수를 공변량으로 사용)의 성능을 비교한 연구에서, 층화는 결과 사건이 적을 때 성능이 나빴고, 역확률가중은 상당한 교란이 있을 때 처치효과 추정이 부정확했으며 소수 관측치에 과도한 영향을 줬다. 공변량 보정과 매칭은 모든 예제에서 잘 작동했지만, 매칭은 경우에 따라 정밀도가 떨어졌다. 저자들의 결론은 성향점수 방법이 관행적 공변량 보정보다 반드시 우월하지는 않으며, 가장 적합한 방법을 고르는 데 주의를 기울여야 한다는 것이다 (PMID 28104076).
역확률가중의 불안정성 문제에 대한 대안도 제시돼 있다. 처치군 간 공변량이 불균형하고 성향점수 겹침이 나쁠 때 역확률가중은 극단적 가중치와 불안정성을 겪는데, 중복가중(overlap weighting)은 임상적 평형(성향점수가 0.5 근처)에 있는 개인을 강조하고 이상치의 영향을 최소화하며 정확한 공변량 균형을 달성한다는 것이다. 저자들의 제안 중 마지막 한 줄이 실용적이다 — 여러 성향점수 방법의 결과를 함께 제시하면 견고성 평가에 도움이 되고 인과추론의 신뢰성이 올라간다 (PMID 40779360).
그리고 앞서 본 대로, 성향점수 매칭·가중이 미관찰 교란변수의 불균형을 오히려 키울 수 있다는 것이 시뮬레이션으로 확인돼 있다 (PMID 38539082). 관찰된 것을 잘 맞췄다고 해서 관찰되지 않은 것까지 맞춰졌으리라는 가정은 검정할 수 없고, 현실적인 자료 상황에서 성립하지 않는 것으로 보여져 왔다.
실무 보고 실태도 조사됐다. 2011년 12월부터 2012년 5월까지 발표된 성향점수 사용 논문 296편에서, 성향점수 모형의 변수 선택을 명시적으로 보고한 것은 102편(34.4%), 공변량 균형을 확인하고 보고한 것은 177편(59.8%)이었다. 균형을 보고한 177편 중 125편(70.6%)이 p값을 썼고, 표준화 차이는 45편(25.4%), 그림은 11편(6.2%)이었다. 방법은 매칭 68.9%, 성향점수 보정 20.9%, 층화 13.9%, 역확률가중 7.1% 순이었다. 저자들의 결론은 공변량 선택과 균형 평가의 수행·보고가 최적과는 거리가 멀다는 것이고, 판정을 돕는 보고 권고를 함께 제시한다 (PMID 25433444).
여기서 흔한 오해 하나를 미리 끊어 둔다. "보정은 관찰연구가 어쩔 수 없이 하는 것"이 아니다. 무작위배정 시험에서도 공변량 보정은 쓰이고, 규제기관이 권장한다 — 아래에서 볼 군집무작위 시험 300편 조사에서도 1차 결과의 보정 분석을 실은 것이 219편이었다 (PMID 25648791). 다만 목적이 다르다.
무작위배정 시험에서 잠재적 교란변수는 관찰된 것이든 관찰되지 않은 것이든 두 군에 충분히 균형 있게 배분되므로, 교란은 대체로 문제가 되지 않는다 (PMID 28817531). 그럼 왜 보정하나 — 정밀도(precision) 때문이다.
미국 FDA는 2023년 5월 의약품·생물학적제제 무작위 임상시험의 공변량 보정에 대한 지침을 냈고, 사전에 명시된 공변량 보정 1차 분석이 미보정 분석보다 이점을 가질 수 있으며 일반적으로 수용 가능하다는 것이 요지다 (PMID 41474130). 방법론 개관도 같은 방향이다 — 예후에 영향을 주는 공변량을 보정하면 통계적 검정력에서 완만한(modest) 이득을 얻는다 (PMID 41988813).
크기를 실제로 잰 연구가 있다. 공개된 무작위 시험 50편의 개인 수준 자료(참가자 29,094명, 처치-결과 비교 574건)로, 공분산분석·역확률가중·g-계산·기계학습 기반 추정량을 세 가지 공변량 선택 전략과 조합해 비교했다. 공변량 보정은 대부분의 상황에서 정밀도를 개선했고, 분산 감소의 중앙값은 연속형 결과에서 13.3%, 이분형 결과에서 4.6%였다. 보정은 미보정 분석에 비해 통계적 유의성을 잃게 하기보다 얻게 할 가능성이 상당히 더 높았다. 그리고 결정적인 결과가 하나 있다 — 사전에 정한 소수의 예후 공변량을 쓰는 간결한 회귀 접근이 더 복잡한 방법과 같거나 더 나은 성능을 보였고, 특히 소·중규모 표본에서 그랬다. 기계학습 기반 추정량은 추가 정밀도를 주지 않았고 이분형 결과에서 계산 실패가 더 잦았다. 저자들의 결론은 간결한 공변량 보정이 체계적 치우침을 들이지 않으면서 일관된 효율 이득을 줬다는 것이다 (PMID 42285376).
다만 여기에도 함정이 있다. 무작위 시험에서 조건부 처치효과와 주변 처치효과가 선형모형에서는 일치할 수 있지만 다른 상황에서는 대개 그렇지 않은데, 이 구분이 임상시험 실무에서 자주 간과된다는 지적이다. 이 개관은 추정목표(estimand)를 정하고 통계 분석 방법을 그 추정목표에 맞추는 것의 필요성을 강조하고, 주변 처치효과를 추정할 때 흔히 쓰이는 방법들이 어긋나 있을 가능성을 짚는다. 저자들이 권하는 것은 표준화(standardization) 접근이다 — 기저 공변량의 정보를 활용해 효율을 높이면서 모형 오설정에 강건하기 때문이다 (PMID 38825841).
그리고 사후에 불균형을 보고 반응하면 안 된다. 스타틴 2차 예방 대규모 시험 자료를 써서, 처치효과가 없다는 영가설 아래 사후에 관찰된 기저 불균형에 대한 세 가지 반응 전략의 작동특성을 시뮬레이션한 연구가 있다. 미보정 분석은 예후 공변량의 우연한 불균형과 무관하게 타당한 p값을 냈다. 불균형의 방향을 모르는 상태에서 보정 분석으로 바꾸는 것은 치우침을 만들지 않았다. 그런데 불균형의 방향을 보고 결정하면 실험 치료가 우월하다고 잘못 선언할 위험이 부풀었다(조사한 시나리오에서 최대 48%). 저자들의 결론은 사후에 관찰된 기저 불균형에 대한 과잉반응은 정당화되지 않는다는 것, 다만 통계분석계획 확정 전에 불균형의 방향을 모르는 상태라면 보정 분석으로 바꾸는 정당한 사례가 있을 수 있다는 것이다 (PMID 34454099).
실무는 지침과 꽤 벌어져 있다. 2000~2008년 150개 영어 저널에 실린 군집무작위 시험 300편을 무작위 표집해 검토한 리뷰에서, 58%가 무작위배정에 공변량을 썼지만 군집 수준과 개인 수준 공변량 표를 실은 것은 69편(23%)이었고, 58%가 기저 균형의 유의성 검정을 보고했다. 1차 결과변수의 기저값을 보고한 207편 중 155편(75%)이 이후 분석에서 그것을 보정했다. 무작위배정에 공변량을 쓴 174편 중 그 공변량 전부를 보정한 분석을 포함한 것은 30편(17%)이었고, 보정 분석을 포함한 219편 중 공변량을 사전에 정했다고 보고한 것은 71편(32%)이었다 (PMID 25648791).
이 글 전체가 이 오해에 대한 답이다. 짧게 정리하면 이렇다.
보정이 인과효과를 주려면 세 가정이 필요하다 — 조건부 교환가능성·양성 조건·일관성 (PMID 38012221). 첫째 가정은 안 잰 교란변수가 있으면 깨지고 (PMID 17615092), 잰 교란변수를 잘못 쟀어도 깨진다 (PMID 17615092). 무작위배정과 나란히 재 본 자연실험에서 위험보정은 잔여 교란을 거의 줄이지 못했다 (PMID 34978862). 적응증에 의한 교란 앞에서는 제한·회귀·성향점수·도구변수 어느 것도 이 사례에서 문제를 해결하지 못했다 (PMID 19457638).
그렇다고 관찰연구에서 인과를 말할 수 없다는 뜻은 아니다. 이 점은 아래 ④에서 다시 본다.
정반대일 수 있다. 매개변수를 넣으면 총효과가 가려지고 (PMID 19525685, PMID 17564592), 어떤 경우에는 연관의 방향이 뒤집힌다 (PMID 28338874). 충돌부를 넣으면 없던 연관이 생긴다 (PMID 29040562, PMID 42223248). 그리고 이런 일은 드물지 않았다 — 대기오염 코호트 175편 중 122편(69.7%)이 과보정 가능성을 보였고, 다중 위험인자 연구 162편 중 권장 방법을 쓴 것은 10편(6.2%)이었다 (PMID 41671745, PMID 40038753).
권장되는 방향은 "많이 넣기"가 아니라 "가정한 인과 구조에서 고르기"다 (PMID 35662623, PMID 38972732, PMID 42531045).
연구의 목표가 실질적으로 인과인데 문장만 연관의 언어로 쓰는 관행이 있다. 상위 5개 역학 저널 100편 조사에서 명시적으로 인과를 표방한 것은 13편(13%)이었고 연관의 언어로 틀지은 것이 71편(69%)이었는데, 목표·방법·해석이 완전히 정렬된 비율은 명시적 인과 쪽이 38%(5/13), 연관의 언어 쪽이 4%(3/71)였다 (PMID 34535799). 정면으로 이 관행을 비판한 논평은 "인과"라는 말을 쓰는 것이 오히려 질문을 분명히 하고 분석 오류와 해석 과잉을 줄인다고 주장한다 (PMID 29565659).
의학 저널 쪽에서도 정리가 진행 중이다. JAMA를 포함한 많은 의학 저널이 인과 언어를 무작위시험 보고에만 허용해 왔는데, 관찰연구 방법론이 발전해 강한 가정이 성립할 때는 잘 수행된 관찰연구의 결과를 인과적으로 해석하는 것이 가능할 수 있다는 관점이다. 이 논문은 여섯 개의 핵심 질문으로 된 틀을 제안한다 — 인과 질문이 무엇인가, 알면 그 질문에 답할 양은 무엇인가, 연구설계는 무엇인가, 어떤 인과 가정을 두고 있는가, 관찰된 자료로 원리적으로 그리고 실제로 어떻게 그 질문에 답할 수 있는가, 그리고 분석 결과의 인과적 해석이 지지될 수 있는가 (PMID 38722735).
이 결론으로 달리면 이 글은 자기 목적을 배반한다.
관찰연구와 무작위시험을 같은 메타분석 안에 나란히 놓은 예가 있다. 약물용출 스텐트와 금속 스텐트를 비교한 연구들을 2008년 2월까지 모아, 무작위시험 22편(9,470명)과 관찰연구 34편(182,901명)을 따로 분석했다. 무작위시험에서는 전체 사망(해저드비 0.97, 95% CI 0.81–1.15, P = 0.72)이나 심근경색(0.95, 0.79–1.13, P = 0.54)에서 탐지 가능한 차이가 없었고, 표적혈관 재관류술에서는 55%의 유의한 감소가 있었다(0.45, 0.37–0.54, P < 0.0001). 관찰연구에서는 사망(0.78, 0.71–0.86)과 심근경색(0.87, 0.78–0.97)에서 유의한 감소가, 표적혈관 재관류술에서 0.54(0.48–0.61)의 감소가 있었다.
읽을 것은 여기다. 사망에서는 두 설계가 갈렸고(0.97 대 0.78), 재관류술에서는 크게 갈리지 않았다(0.45 대 0.54). 저자들 자신이 관찰연구 쪽에 선택 편향과 잔여 교란의 여지가 있음을 명시한다. 그리고 저자들의 결론은 무작위시험과 관찰연구 두 설계 모두가 금속 스텐트 대비 약물용출 스텐트에서 표적혈관 재관류술의 뚜렷하고 서로 비슷한 크기의 감소를 보였다는 것, 그리고 이 자료 전체가 허가 적응증 안팎 모두에서 약물용출 스텐트가 안전하고 유효함을 시사하면서도 무작위 자료와 관찰 자료의 차이를 부각한다는 것이다.
이 글이 여기서 보는 것은 어떤 스텐트가 더 좋은가가 아니다 — 그 판단은 저자들의 것이고 2009년 시점의 것이며, 그 뒤로 두 기기 모두 세대가 바뀌었다. 볼 것은 하나다. 두 설계의 답이 갈린 정도가 결과변수에 따라 달랐다. 왜 그랬는지를 이 초록이 설명하지는 않으므로 여기서 더 나가지 않는다. 다만 "관찰연구는 늘 부풀린다"도 "관찰연구도 시험과 같다"도 이 표 하나로는 말할 수 없다는 것은 분명하다 (PMID 19528338).
물론 반대 방향의 예도 있다. 무작위시험 하나를 EHR 자료로 모사해 본 시범 연구가 있다. 2007년 4월~2023년 2월 미국 52개 의료체계의 EHR 데이터베이스에서 적격 기준을 원 시험에 최대한 가깝게 맞춰 1,854명을 뽑았다(면역항암제+항암화학요법 589명, 항암화학요법 단독 1,265명). 12개월 생존확률은 0.60(95% CI 0.54–0.65) 대 0.58(0.55–0.62)이었는데, 원 무작위시험에서는 0.69(0.64–0.74) 대 0.49(0.42–0.56)였다. 사망 해저드비는 모사에서 0.95(0.78–1.16), 원 시험에서 0.49(0.38–0.64)였다. 저자들의 결론은 이 모사 결과가 기준 시험과 일치하지 않았다는 것이고, 그 이유로 무작위시험과 EHR 인구 사이의 치료·자료 포착 차이, 적응증에 의한 교란, 치료 교차, 진단 포착의 정확도를 든다. 그리고 앞으로의 타당성 평가에는 종양학 특이 지표가 정비된 자료원이 필요하다고 맺는다 (PMID 39348118).
여기서 읽을 것을 분명히 해 둔다. 이 연구는 그 치료의 효과를 재려던 것이 아니라 자료원의 성능을 재려던 것이다. 원 무작위시험의 결과(0.49)가 이 모사에 의해 반박된 것도 아니다 — 저자들이 든 불일치의 원인은 전부 EHR 자료와 모사 설계 쪽에 있다(치료·자료 포착의 차이, 적응증에 의한 교란, 치료 교차, 진단 포착의 정확도). 이 글이 옮기는 것은 같은 질문을 두 자료원으로 물었을 때 답이 갈릴 수 있고, 갈린 이유를 하나씩 이름 붙일 수 있다는 것 하나다.
그럼 언제 비무작위 연구가 타당한 추론을 뒷받침하나. 이 질문을 제목으로 단 논문이 다섯 개의 점검 질문을 준다 — 설계가 가상의 무작위시험 설계를 모사하는가, 비교군 또는 대조 조건이 적절한가, 1차 분석이 측정된 교란변수를 보정하는가, 민감도분석이 잔여 교란의 잠재적 영향을 정량화하는가, 방법이 검토 가능하고(가능하다면) 재현 가능한가. 저자들은 고품질 비무작위 연구 설계가 여전히 어렵고 임상·역학·생물통계에 걸친 폭넓은 전문성이 필요하다고 적는다 (PMID 33826756).
충돌부는 이 글에서 가장 재미있는 개념이라, 설명력을 과대평가하기 쉽다. 문헌은 그렇게 말하지 않는다. 비만 역설에서 충돌부 편향에 의한 치우침은 변수들 사이의 인과관계에 비해 작았고 (PMID 27075676), 전립선암의 역 비만 역설에서는 그럴듯한 모수 범위 전반에서 오즈비를 4% 넘게 왜곡하지 못했다 (PMID 40231651). 문헌 전체를 훑은 체계적 문헌고찰은 충돌부 편향을 다룬 문헌들이 그 영향을 미미한 것으로 전달해 왔다고 정리하면서, 그 평가가 대체로 첨예 영가설 아래에서 이뤄졌다는 한계를 함께 지적한다 (PMID 40167168).
그리고 방향도 한 가지가 아니다. 입원 코로나19 자료에서는 충돌부 층화 상태를 보정을 더 함으로써 걷어 냈다 (PMID 38111522).
E-value는 미측정 교란 주장을 정량적으로 다룰 수 있게 만든 유용한 도구다 (PMID 28693043, PMID 41343587). 그런데 실제 사용을 조사해 보니, 저자가 "교란이 결과에 영향을 줬을 것 같다"고 판단한 E-value의 중앙값(1.88)과 "영향을 주지 않았을 것 같다"고 판단한 E-value의 중앙값(1.82)이 사실상 겹쳤다 (PMID 31930286). 같은 숫자를 놓고 정반대 판정이 나온다는 뜻이다. 그리고 성향점수 방법을 쓴 뒤 계산한 E-value는 미관찰 교란이 더 큰 치우침을 만들었을 때 오히려 커질 수 있다 (PMID 38539082).
같은 논문들의 처방은 도구를 버리라는 것이 아니다. 각 분야에서 예상되는 교란의 강도와 견줘 해석하라는 것 (PMID 31930286), 그리고 미측정 교란변수의 이름을 실제로 지목하라는 것이다.
이 글의 근거는 특정 분야의 특정 표본에서 나온 것이지 "논문 일반"에 대한 것이 아니다. 여기 인용한 조사들이 각 분야를 대표한다는 보장도 없고, 이 글이 "문제가 없더라"고 보고한 조사를 체계적으로 찾아본 것도 아니다. 그 단서를 달고 나서 말하면, 이 글이 찾은 조사들은 서로 다른 분야에서 비슷한 방향의 결과를 냈다 — 일반의학·역학 (PMID 28943377, PMID 34535799), 염증성 장질환 (PMID 33296517), 정형외과 (PMID 33933587), 구강보건 (PMID 33368566), 환경역학 (PMID 41671745), 사회역학 (PMID 38129958), 약물역학 (PMID 39098826), 중환자의학 (PMID 38012221), 성향점수 사용 문헌 전반 (PMID 25433444), 군집무작위 시험 (PMID 25648791).
품질 기준을 35개 항목으로 만들어 비무작위 임상연구 50편을 두 명이 독립적으로 채점한 메타역학 연구도 있다(2012~2018년 발표, 49편이 미국 일반의학 저널 두 곳). 모든 적용 기준을 완전히 충족한 연구는 하나도 없었고, 적용 가능한 기준을 완전히 충족한 비율의 평균은 72%(±10%)였다. 가장 낮은 범주는 관찰된 효과의 보정과 검증이었다. 완전 충족률이 50% 이하인 항목 중에는 결측자료 대체(50%), 무작위시험을 하지 않은 정당화(42%), 다중 결과 분석에서 1종 오류를 줄이는 통계적 보정(33%), 임상적으로 유의한 효과크기(30%), 미측정·미지 교란변수에 대한 잔여 편향 분석(14%), 잔여 교란에 대한 반증 검정(8%)이 있었다. 완전 충족 비율은 시간이 지나도 달라지지 않았다. 저자들은 이 항목들이 연구자와 편집자가 고칠 수 있는 구체적 표적이라고 맺는다 (PMID 36476329).
이 글이 남기려는 것은 읽기 규칙 하나다.
"보정했다"는 문장을 만나면, 무엇을 보정했는지가 아니라 그 변수가 어느 자리에 있는지를 묻는다. 그 변수가 노출보다 앞에 있는 공통 원인이면 보정이 옳다. 노출과 결과 사이에 있으면 보정은 답을 바꾼다. 노출과 결과가 둘 다 영향을 준 변수라면 보정은 없던 답을 만든다.
그리고 표에 나란히 실린 다른 줄들 — 연령·성별·BMI의 계수 — 은 그 연구가 답하려던 질문의 답이 아니다. 회귀표는 수정 가능한 위험의 메뉴가 아니다 (PMID 42531045).
이 규칙이 "관찰연구를 믿지 마라"로 읽히면 이 글은 실패한 것이다. 이 문헌은 문제를 진단하는 데서 멈추지 않았다 — 인과 다이어그램으로 변수를 고르고, 활성 비교약과 신규 사용자 설계로 적응증 교란을 줄이고, 표적시험 모사로 시간의 정렬을 맞추고, E-value와 음성대조로 미측정 교란의 크기를 재고, 연결된 자료로 그 크기가 실제로 얼마인지까지 확인해 왔다. 그리고 그 도구들의 성능과 한계도 같은 문헌 안에서 재고 있다.
읽는 사람이 할 수 있는 일은 그중 하나뿐이다. 어떤 변수가 왜 그 자리에 놓였는지를 논문이 말해 주는가를 확인하는 것. 말해 주지 않는다면, 그 보정이 무엇을 했는지는 아직 알 수 없다.