보정을 다 하고 나서 남는 것 — E-value·음성대조·성향점수가 하는 일과 하지 않는 일

산전 관리와 저체중 출생을 다룬 관찰자료가 있습니다. 관찰자료는 제비뽑기 없이, 사람들이 이미 받은 관리와 그 뒤의 결과를 지켜본 기록입니다. 이 자료에서는 산전 관리의 정도와 저체중 출생 사이에 연관이 나왔습니다. 연구자들은 여기에 계산을 하나 더 얹었습니다. "이 연관이 인과가 아니라 우리가 재지 않은 다른 요인 때문이라고 하려면, 그 요인이 얼마나 세야 하나?"

답은 어떤 지표의 어느 범주를 봤느냐에 따라 1.45에서 5.63 사이였습니다. 저자들은 이 값을 이렇게 읽었습니다. 재지 않은 요인이 저체중 출생의 위험을 400% 넘게 올릴 만큼 강해야만 관찰된 연관을 완전히 설명할 수 있다는 것입니다 (PMID 34190835).

이렇게 "결과를 지우려면 안 잰 요인이 얼마나 세야 하나"에 답하는 숫자를 E-value라고 부릅니다.

이 질문은 교란과 보정에서 나옵니다. 교란은 처치와 결과 양쪽에 영향을 주는 바깥 요인이 둘 사이에 가짜 연관을 만드는 것입니다. 보정은 두 군 사이에 원래 있던 차이를 계산으로 맞춰 놓고 비교하는 일입니다. "연령·성별·BMI 보정"이라는 한 줄은 그 변수들을 원인과 결과 사이의 어느 자리에 놓았다는 주장이고, 자리를 잘못 고르면 보정이 오히려 편향을 만듭니다. 그 자리를 고르는 법은 「"연령·성별·BMI 보정"은 무엇을 했나 — 교란과 보정을 읽는 법」과 「보정하면 안 되는 것 — 어떤 변수는 넣는 순간 답이 바뀐다」가 맡습니다.

그런데 자리를 다 옳게 골라도 남는 문제가 있습니다. 재지 않은 변수는 보정할 수 없고, 잘못 잰 변수는 어중간하게만 보정됩니다. 이렇게 보정을 다 하고도 남는 교란을 잔여 교란이라고 부릅니다. 「먹는 사람이 더 오래 산다면, 그 사람들은 원래 어떻게 달랐을까 — 교란」에서도 이 이름이 나왔습니다. 거의 모든 관찰연구 논문이 마지막 문단을 "미측정 교란이 있을 수 있다"로 닫는 이유가 이 잔여 교란입니다.

이 글은 그 문장 다음을 다룹니다. 연구자들은 남은 교란의 크기를 재는 도구를 만들었고, 같은 문헌 안에서 그 도구들의 한계도 재고 있습니다. 새로 배울 말은 넷이고, 각 말은 처음 나오는 자리에서 풉니다.

⚠️ 아래 나오는 약·백신·시술의 이름은 전부 숫자를 읽는 법을 보이기 위한 사례입니다. 어떤 치료가 좋고 나쁜지에 대한 판단이 아니고, 각 숫자는 그 연구의 대상과 자료원 안에서만 뜻을 갖습니다.

---

E-value — 이 결과를 지우려면 얼마나 센 교란이어야 하나

E-value는 관찰된 처치–결과 연관을 완전히 설명해 없애려면, 안 잰 교란변수가 처치와도 결과와도 가져야 하는 연관의 최소 강도입니다. 이미 보정한 변수들은 그대로 둔 상태에서, 사건을 겪은 사람의 비율을 두 군끼리 나눈 값인 위험비 척도로 잽니다. 첫머리 산전 관리 예의 값도 이 척도로 잰 것입니다.

값이 크면 그 결과를 지우는 데 센 교란이 필요하고, 작으면 약한 교란으로도 지워집니다 (PMID 28693043).

이 지표를 제안한 저자들은 인과 근거를 내려는 모든 관찰연구가 E-value를 보고하거나 다른 민감도분석을 쓰기를 권합니다. 민감도분석은 가정을 바꿔도 결과가 버티는지 확인하는 추가 분석입니다. 저자들은 E-value를 두 번 계산하라고 덧붙입니다. 한 번은 관찰된 추정치에 대해, 또 한 번은 신뢰구간에서 영값에 가까운 쪽 끝에 대해서입니다 (PMID 28693043). 신뢰구간은 추정치가 우연에 따라 흔들릴 수 있는 범위이고, 영값은 "효과 없음"을 뜻하는 값입니다.

이 논리를 끝까지 밀어 본 예가 코로나19 백신입니다. 관찰연구에서 나온 백신 효과 추정치를 미측정 교란만으로 설명할 수 있는지를 따졌습니다 (PMID 41343587). 관찰된 위험비가 0.08일 때, 곧 접종군에서 병이 훨씬 드물었을 때를 보면 그것을 설명할 교란변수는 두 조건을 함께 갖춰야 했습니다. 접종군과 비접종군 사이에 크게 불균형해야 하고, 동시에 병을 강하게 막아 주는 요인이어야 했습니다. 저자들이 든 예로는 접종군에서 10배 더 흔하고 질병 위험을 99% 낮추는 정도입니다.

교란변수의 강도를 넓게 무작위로 뽑아 본 시뮬레이션에서 그 조건을 만족한 경우는 2% 미만이었고, 더 온건한 위험비 0.25의 경우에도 6% 미만이었습니다. 저자들의 결론은 잔여 교란이 효과 추정치를 약화시킬 수는 있어도 미측정 교란만으로 관찰된 효과 크기 전부를 설명하는 것은 통계적·역학적으로 그럴듯하지 않다는 것입니다 (PMID 41343587).

이 예에서 볼 것은 도구의 사용법입니다. "안 잰 게 있을 수도 있잖아"라는 반론이 "그 안 잰 것은 얼마나 세야 하나"라는, 답할 수 있는 질문으로 바뀝니다.

같은 문헌은 이 도구의 한계도 적어 놓았습니다. E-value의 장점은 셋입니다. 추가 가정이 필요 없고, 계산이 쉽고, 일상적으로 보고하면 투명성이 올라갑니다. 한계도 셋입니다. 해석의 보편적 절단값, 곧 "이 값을 넘으면 안심"이라는 공통 기준이 없습니다. 교란 아닌 다른 편향은 셈에 넣지 못합니다. 유리한 값만 골라 보고할 여지가 있습니다 (PMID 42264181). 그래서 저자들은 E-value를 그 연구와 이미 보정된 교란변수의 맥락 안에서 보고하고, 그럴듯한 미측정 교란변수를 연구자가 직접 지목하라고 권합니다 (PMID 42264181).

지목하라는 요구가 왜 붙었는지는 실제 사용 실태가 보여 줍니다 (PMID 31930286). 2018년 말까지 자기 자료에 E-value를 제시한 논문 87편이 낸 값은 516개였습니다. 그중 19편만이 그 크기를 자기 분야에서 예상되는 교란의 강도와 견줘 봤습니다.

저자의 판정별로 보면, 저자가 "교란이 결과에 영향을 줬을 것 같다"고 본 43개의 중앙값은 1.88이었습니다. "영향을 주지 않았을 것 같다"고 본 348개는 1.82, 아무 언급이 없는 125개는 2.02였습니다. E-value의 크기는 저자들의 판정과 상관없이 사실상 겹쳤습니다.

저자들의 결론은 셋입니다. 계산이 손쉬워지면서 이미 부실한 교란 처리가 더 나빠질 수 있습니다. E-value는 미측정 교란의 원천을 신중히 따지는 일을 대신하지 못합니다. 쓰려면 각 분야에서 예상되는 교란의 맥락 안에서 해석해야 합니다 (PMID 31930286).

음성대조 — 있을 수 없는 연관이 나오면 신호다

음성대조는 원인일 수 없는 노출이나 결과를 일부러 하나 정해 두고, 거기서도 연관이 나오는지 보는 확인 장치입니다. 거기서 연관이 나오면 교란이나 회상 편향이나 분석 오류가 어딘가에 있다는 신호입니다. 회상 편향은 사람들이 과거를 기억해 답할 때 생기는 치우침입니다.

이 장치는 실험실에서 왔습니다. 실험실은 시약이 제대로 작동하는지 보려고, 반응이 일어날 리 없는 조건을 하나 같이 돌려 봅니다. 거기서 반응이 나오면 시약이 아니라 장비를 의심합니다.

이 개념을 역학에 들여온 저자들은 두 종류를 구분했습니다. 하나는 원인 자리에 놓는 노출 쪽 대조이고, 다른 하나는 결과 자리에 놓는 결과 쪽 대조입니다. 저자들은 각각의 사례를 든 뒤, 음성대조를 관찰연구에서 더 흔히 써야 한다고 맺습니다. 다만 어떤 조건에서 다른 오류원까지 민감하게 잡아내는지는 더 연구가 필요하다는 단서를 붙였습니다 (PMID 20335814).

음성대조로 하는 일은 둘입니다. 탐지는 편향이 있다는 것을 알아채는 일이고, 교정은 그 편향만큼 추정치를 고치는 일입니다. 탐지가 말해 주는 것은 적고, 교정이 요구하는 것은 많습니다. 음성대조와 관심 변수 사이에 연관이 있으면, 교란·선택 편향·정보 편향 중 무언가가 있다는 것까지는 알 수 있습니다. 하지만 교정에는 순위 보존·단조성·선형성 같은 훨씬 엄격한 수학적 가정이 필요합니다 (PMID 38040387). 방법론 논문 37편을 기능별로 세면 편향 탐지 14편, 편향 교정 16편, p값·신뢰구간 보정 5편이었습니다 (PMID 38040387).

실제 사용도 이 선을 따라갑니다. 약물역학 문헌 184편에서 음성대조를 편향 탐지에 쓴 것이 149편(81%)이었고, 편향 교정에 쓴 것은 16편(9%)이었습니다. 저자들은 음성대조가 편향 탐지에 강력한 도구이지만 많은 연구가 그 밑에 깔린 가정을 확인하지 않았다고 맺습니다 (PMID 37851862).

탐지에도 한계가 있습니다. 음성대조는 미측정 교란을 잡아내는 데 특이도와 민감도가 모두 부족할 수 있습니다. 여기서 민감도는 실제로 있는 교란을 잡아내는 능력이고, 특이도는 없는 교란을 있다고 하지 않는 능력입니다. 또 "음성대조에서 연관이 없다"는 것을 증명하는 일은 애초에 불가능합니다 (PMID 37338976). 이 개관의 저자들은 교정 접근 셋의 가정과, 그 가정이 깨졌을 때의 영향을 짚었습니다. 그리고 앞으로의 연구가 적용 범위를 넓힐 수 있다고 보면서도, 현재로서는 사례별로 신중히 판단해야 한다로 맺습니다 (PMID 37338976).

도구는 실제로 얼마나 쓰이나

잔여 교란을 걱정한다고 적은 논문은 열에 아홉이 넘었지만, 실제로 재 본 논문은 절반 남짓이었습니다. 검토 대상은 2017년 1월부터 2022년 6월까지 의학·역학 저널 12곳에 실린 활성 비교약 코호트 연구 158편이었습니다 (PMID 39098826). 활성 비교약 연구는 관심 있는 약을 "안 먹은 사람"과 견주지 않고, 같은 적응증에 쓰이는 다른 약을 먹은 사람과 견주는 연구입니다. 적응증은 그 치료를 쓸 이유가 되는 환자의 상태입니다.

이 가운데 잔여·미측정·미통제 교란이 잠재적 우려로 언급된 것은 93%였습니다. 그런데 미측정 변수로 인한 교란을 평가하는 민감도분석을 하나라도 실제로 수행한 것은 84편(53%)이었습니다. 가장 흔한 방법은 의학 저널에서는 E-value(21%)였고, 역학 저널에서는 측정된 변수로 대상자를 좁히는 제한(22%)이었습니다 (PMID 39098826).

방법은 이미 정리돼 있습니다. 미측정 교란을 다루는 방법을 설계 단계, 분석 단계, 일부 대상자에게서 교란변수 정보를 더 모으는 하위연구로 나눈 개관이 있고, 그 저자들은 통계적 근거와 임상지식을 함께 써서 해석하라고 맺습니다 (PMID 27091131).

그리고 실제로 재 보면 잔여 교란이 작을 때도 있다

위의 도구들이 "우리는 결코 알 수 없다"로 끝나지는 않습니다. 남은 교란의 크기를 실제 자료로 재 볼 수 있고, 재 보니 '작다'로 나온 경우도 있습니다.

그 자료는 보험 청구자료와 전자의무기록을 연결한 것입니다. 청구자료는 진료비를 청구하려고 남긴 기록이라, 검사 수치처럼 의무기록에만 있는 정보가 잘 안 잡힙니다. 미국 FDA 센티널 실사용근거 사업의 매스제너럴브리검 사이트에서 이 연결자료를 써 본 원리증명 연구, 곧 방법이 돌아가는지 보이는 시범 연구가 있습니다.

청구자료로 만든 대리변수, 곧 직접 재지 못한 것을 대신 가리키는 변수들이 의무기록으로만 측정 가능한 위험인자 대부분을 이미 균형 있게 맞추고 있었습니다. 그래서 이 예에서는 정량적 편향분석으로 잔여 교란을 보정하는 것이 불필요하다고 판단됐습니다 (PMID 41708481). 정량적 편향분석은 바깥 정보로 편향의 크기와 방향을 짐작해 추정치를 고치는 방법입니다.

같은 사이트의 같은 연결자료로 모의 코호트 500개를 만든 연구도 있습니다. 연구자들은 청구자료에는 없고 의무기록에만 있는 교란변수로 잔여 교란을 일부러 만들어 넣었습니다. 두 결과 모두에서 청구자료 기반 변수로 보정하자 상대 치우침이 0에 가까웠습니다. 상대 치우침은 보정한 추정치가 참값에서 얼마나 벗어났는지를 비율로 잰 것입니다. 저자들의 결론은 경험자료에 기반한 현실적 시뮬레이션 안에서는 청구자료에 없는 교란변수가 강한 잔여 교란을 만들 가능성이 낮았다는 것입니다 (PMID 42093129).

두 연구는 같은 FDA 센티널 매스제너럴브리검 사이트의 같은 연결자료에서 나왔고, 각각 특정 약물 비교 안에서의 결과입니다. 서로 독립적인 두 재현이 아니고, 다른 질문·다른 자료에서도 같은 답이 나온다는 뜻도 아닙니다. 저자들은 이런 확인을 일상적으로 하려면 청구자료와 의무기록을 연결한 자료 기반이 갖춰져야 한다고 덧붙입니다 (PMID 41708481). 두 연구에서 가져갈 것은 하나입니다. "미측정 교란은 잴 수 없다"는 말은 사실이 아닙니다.

왜 그 사람이 그 치료를 받았나 — 적응증에 의한 교란

적응증에 의한 교란은 치료를 받게 된 이유, 곧 환자의 상태가 결과에도 영향을 줘서 생기는 교란입니다. 관찰연구에서는 누가 치료를 받을지를 제비뽑기가 정하지 않고 의사가 정합니다. 그리고 아픈 사람이 약을 받습니다. 그래서 약을 받은 군의 결과가 나쁘면, 그게 약 때문인지 병 때문인지를 자료만으로는 가를 수 없습니다.

이 편향의 완강함은 고령 유방암 환자의 자료가 보여 줍니다 (PMID 19457638). 1990~1994년에 진단된 환자 1,798명의 의무기록에서, 보조 항암화학요법을 받은 군과 받지 않은 군의 재발률을 비교했습니다. 보정하지 않은 분석에서 항암화학요법은 재발과 양(+)의 연관이었습니다. 해저드비는 2.6(95% CI 1.9–3.5)이었습니다. 해저드비는 사건이 일어나는 빠르기를 두 군끼리 나눈 값입니다.

보호효과를 예상했던 저자들은 이것을 적응증에 의한 교란으로 보고 여러 갈래로 보정을 시도했습니다. 재발 고위험군으로 대상자를 좁힌 뒤(946명) 다변량 회귀를 돌리자 해저드비는 1.1(0.7–1.6)이 됐습니다. 성향점수 보정은 1.3(0.8–2.0)을 냈습니다. 성향점수는 그 사람이 그 치료를 받았을 확률을 계산한 값으로, 아래 절에서 따로 다룹니다. 도구변수 유사 방법은 0.9(0.2–4.3)를 냈습니다. 도구변수는 처치에는 영향을 주지만 결과에는 직접 영향을 주지 않는 제3의 변수를 지렛대로 쓰는 방법입니다.

저자들의 결론은 이렇습니다 — 관행적 방법은 미측정 요인을 통제하지 못하며, 적응증에 의한 교란을 다룰 때 그 요인들이 흔히 중요하게 남습니다. 성향점수와 도구변수 분석은 특정 상황에서 유용할 수 있으나, 이 연구에서는 어느 쪽도 적응증에 의한 교란을 적절히 통제하지 못했습니다 (PMID 19457638). 도구변수 방법에서도 도구변수 수준별로 측정된 요인들의 불균형이 남아 잔여 교란이 시사됐습니다. 추정치는 2.6에서 1.1~1.3으로 내려왔지만, 저자들이 예상한 보호효과를 믿을 만하게 보여 준 방법은 없었습니다. 이 숫자들은 항암화학요법이 재발을 늘린다는 뜻도, 효과가 없다는 뜻도 아닙니다.

백신 효과 문헌에서도 같은 문제가 정량화됐습니다. 「먹는 사람이 더 오래 산다면, 그 사람들은 원래 어떻게 달랐을까 — 교란」에서 본 독감 백신 조사를 다시 보되, 이번에는 보정이 숫자를 얼마나 움직였는지까지 봅니다 (PMID 26474974). 인플루엔자 백신 효과를 보고한 관찰연구 23편에서 19편(83%)이 높은 편향 위험을 보였습니다. 연구자들은 보정 전후 오즈비의 비를 구해 보정이 무엇을 했는지 계산했습니다. 오즈비는 사건이 일어날 확률 대 안 일어날 확률(오즈)을 두 군끼리 나눈 값입니다.

보정은 백신 효과 추정치를 평균적으로 올렸습니다. 전체 사망에서 12%(95% CI 7–17%), 전체 입원에서 9%(4–14%), 인플루엔자 유사질환에서 7%(4–10%)입니다. 그런데 보정하고도 9편은 유행기 밖에서도 유의한 효과 추정치를 보여 잔여 교란을 시사했습니다. 독감이 돌지 않는 때에는 백신이 막을 독감이 거의 없으므로, 그때 보이는 효과는 백신이 아닌 다른 차이에서 온 것으로 읽힙니다. 연구자들이 이 비교로 가늠하려던 것이 건강한 접종자 편향, 곧 백신을 맞는 사람이 애초에 더 건강해서 생기는 치우침입니다.

저자들의 결론은 보정이 적응증에 의한 교란을 어느 정도 교정할 수는 있지만 추정치가 여전히 건강한 접종자 편향에 취약하다는 것, 적어도 전체 사망 같은 비특이적 결과변수를 쓰는 한 그렇다는 것입니다. 비특이적 결과변수는 독감만이 아니라 모든 원인을 다 세는 결과입니다. 그리고 저자들은 한 걸음 더 나갑니다 — 비특이적 결과변수를 쓰는 행정자료 기반 코호트 연구는 인플루엔자 백신 효과를 재는 데 더 이상 쓰지 말아야 한다는 것이 그들의 권고입니다. 여기서 가져갈 것은 백신에 대한 판단이 아니고, 보정이 어디까지 하고 어디서 멈추는지를 저자들이 스스로 그은 선입니다 (PMID 26474974).

적응증에 의한 교란을 줄이는 설계도 있습니다. 임상 적응증은 환자마다 다르고 복잡해 비실험 연구에서 정확히 측정하기 어렵습니다. 그런데 연구 인구를 그 치료의 적응증이 있는 환자로 제한하면, 노출군과 비교군이 그 치료를 받을 확률 면에서 비교 가능해집니다. 적응증을 정확히 측정할 수 없을 때 그 제한을 수행하는 흔한 실무 해법이 앞에서 본 활성 비교약, 곧 같은 적응증에 쓰이는 다른 약을 비교 대상으로 삼는 것입니다 (PMID 35019190). 여기에 치료를 처음 시작하는 시점부터 코호트에 넣는 방식을 겹치면 관찰연구의 타당도가 올라가 무작위 시험에 더 가까워집니다 (PMID 25800216).

관찰연구에는 시간에서 오는 함정이 하나 더 있습니다. 노출을 어떻게 정의하느냐에 따라, 정의상 결과가 일어날 수 없는 추적 기간이 노출군에 얹히는 일이 생깁니다. 이것을 불멸시간 편향이라고 부릅니다. 누구를 언제부터 세는가는 「그 사람들은 언제부터 세어졌나 — 관찰연구가 효과를 만들어내는 방식」이 통째로 다룹니다.

성향점수가 하는 일과 하지 않는 일

성향점수는 어떤 사람이 그 처치를 받을 확률입니다. 그 사람의 기저 특성들을 알고 있을 때, 그 약을 받았을 법한 정도를 한 숫자로 요약한 것입니다. 성향점수는 관찰연구에서 교란을 보정하는 방법으로 점점 널리 쓰여 왔습니다 (PMID 28104076). 방법론 개관들은 저자에게 이 방법의 가정과 한계를 명시하라고 요구합니다 (PMID 37481434).

흔한 보정 방식인 다변량 회귀는 공변량, 곧 보정에 넣는 기저 특성들과 결과의 관계를 식으로 세웁니다. 성향점수는 공변량과 처치 배정, 곧 누가 그 치료를 받았는지의 관계를 식으로 세웁니다. 그래서 성향점수는 결과 사건 수에 제약받지 않고, 교란변수가 많거나 결과 사건이 적을 때 쓸 만합니다 (PMID 29684154).

쓰는 방식은 넷입니다. 점수가 비슷한 사람끼리 짝짓는 매칭, 점수대별로 묶어 비교하는 층화, 점수를 뒤집어 사람마다 가중치를 주는 가중(역확률가중), 점수를 하나의 변수로 넣는 공변량 보정입니다 (PMID 29684154).

성향점수는 측정된 공변량만 다룹니다. 짝을 잘 맞췄다는 것은 잰 것에 대해 잘 맞췄다는 뜻이고, 안 잰 것까지 맞춰졌다는 뜻은 아닙니다. 시뮬레이션에서는 성향점수 매칭·가중이 미관찰(안 잰) 교란변수의 불균형을 오히려 키울 수 있다는 기존 발견이 재확인됐습니다 (PMID 38539082).

성향점수가 회귀보정보다 늘 낫지도 않았습니다. 대규모 심혈관 관찰연구 네 곳의 자료로 비교해 보니, 층화는 결과 사건이 적을 때 성능이 나빴습니다. 역확률가중은 상당한 교란이 있을 때 처치효과 추정이 부정확했습니다. 공변량 보정과 매칭은 모든 예제에서 잘 작동했지만, 매칭은 경우에 따라 정밀도가 떨어졌습니다. 저자들의 결론은 성향점수 방법이 관행적 공변량 보정보다 반드시 우월하지는 않으며, 가장 적합한 방법을 고르는 데 주의를 기울여야 한다는 것입니다 (PMID 28104076).

역확률가중이 불안정해지는 자리에 쓰라고 제안된 다른 가중법도 있습니다. 그 자리는 겹침이 나쁜 자료, 곧 두 군의 점수 분포가 잘 겹치지 않는 자료입니다. 저자들은 그런 자료에서 이 가중법을 선호할 만한 접근으로 볼 수 있다고 적습니다. 마지막 권고는 여러 성향점수 방법의 결과를 함께 제시하면 결과가 얼마나 단단한지 평가하는 데 도움이 된다는 것입니다 (PMID 40779360).

보고 실태도 조사됐습니다 (PMID 25433444). 2011년 12월부터 2012년 5월까지 발표된 성향점수 사용 논문은 296편이었습니다. 그중 모형에 넣을 변수를 어떻게 골랐는지 명시적으로 보고한 것은 102편(34.4%)이었습니다. 공변량 균형, 곧 보정 뒤 두 군의 특성이 실제로 비슷해졌는지를 확인하고 보고한 것은 177편(59.8%)이었습니다. 저자들의 결론은 공변량 선택과 균형 평가의 수행·보고가 최적과는 거리가 멀다는 것입니다 (PMID 25433444). 성향점수 매칭을 "유사무작위화를 달성하는 값진 방법"으로 소개하는 실무 지침조차 보고 항목 목록을 함께 줍니다. 어떤 연구의 결론도 그 방법만큼만 강하기 때문입니다 (PMID 34547404).

무작위시험에서도 보정한다 — 다만 목적이 다르다

공변량 보정은 무작위배정 시험에서도 쓰이고, 주요 규제기관이 권장합니다 (PMID 42285376). 군집무작위 시험은 사람 대신 병원이나 마을 같은 무리를 단위로 제비뽑기하는 시험인데, 이런 시험 300편을 조사해 보니 1차 결과, 곧 시험이 미리 정한 가장 중요한 결과의 보정 분석을 실은 것이 219편이었습니다 (PMID 25648791).

무작위시험에서 보정하는 목적은 정밀도, 곧 추정치가 흔들리는 폭을 줄이는 데 있습니다. 무작위배정이 잘 되면 교란은 대체로 문제가 되지 않기 때문입니다. 미국 FDA가 2023년 5월에 낸 지침의 요지는 사전에 명시된 공변량 보정 1차 분석이 미보정 분석보다 이점을 가질 수 있으며 일반적으로 수용 가능하다는 것입니다 (PMID 41474130). 방법론 개관의 결론도 같은 방향이되 크기를 낮춰 잡습니다. 예후에 영향을 주는 공변량을 보정하면 통계적 검정력, 곧 실제로 있는 차이를 잡아낼 가능성에서 완만한 이득을 얻는다는 것입니다 (PMID 41988813).

이득의 크기는 공개된 무작위 시험 50편의 개인 수준 자료로 재 봤습니다 (PMID 42285376). 참가자는 29,094명, 처치–결과 비교는 574건이었습니다. 여러 보정 추정량과 세 가지 공변량 선택 전략을 비교해 보니, 보정은 대부분의 상황에서 정밀도를 개선했습니다. 추정치의 흔들림을 나타내는 분산은 중앙값으로 연속형 결과에서 13.3%, 예/아니오로 갈리는 이분형 결과에서 4.6% 줄었습니다.

이 연구의 결정적인 결과는 사전에 정한 소수의 예후 공변량을 쓰는 간결한 회귀 접근이 더 복잡한 방법과 같거나 더 나은 성능을 보였다는 것입니다. 특히 소·중규모 표본에서 그랬습니다. 기계학습 기반 추정량은 추가 정밀도를 주지 않았습니다. 저자들의 결론은 이 효율 이득이 체계적 치우침을 들이지 않으면서 일관되게 나타났다는 것이고, 그래서 1차 분석에서 공변량 보정을 일상적으로 하라는 것입니다 (PMID 42285376).

다만 두 군 사이에 우연히 생긴 불균형을 사후에 보고, 그 방향에 맞춰 보정 여부를 정하면 문제가 생깁니다. 이것을 보인 연구는 스타틴 2차 예방 대규모 시험 자료로, 약에 실제로 효과가 없다고 놓고 시뮬레이션했습니다 (PMID 34454099). 미보정 분석은 두 군 사이의 우연한 불균형과 무관하게 타당한 p값을 냈습니다. p값은 효과가 없을 때 이만큼 이상의 차이가 우연히 나올 확률입니다. 불균형의 방향을 모르는 상태에서 보정 분석으로 바꾸는 것도 치우침을 만들지 않았습니다. 그런데 불균형의 방향을 보고 결정하면 실험 치료가 우월하다고 잘못 선언할 위험이 부풀었습니다. 조사한 시나리오에서 그 위험은 최대 48% 커졌습니다 (PMID 34454099).

실무는 지침과 벌어져 있습니다. 앞의 군집무작위 시험 300편 리뷰에서 보정 분석을 실은 219편 가운데, 공변량을 사전에 정했다고 보고한 것은 71편(32%)뿐이었습니다 (PMID 25648791).

흔한 오해

① "관찰연구는 못 믿는다"

앞의 한계들을 모아 이 결론으로 가면 지나칩니다. 같은 질문을 두 설계로 물어 본 예가 그 까닭을 보여 줍니다.

약물용출 스텐트와 금속 스텐트를 비교한 연구들을 2008년 2월까지 모은 메타분석이 있습니다 (PMID 19528338). 무작위시험 22편(9,470명)과 관찰연구 34편(182,901명)을 따로 분석했습니다. 전체 사망의 해저드비는 무작위시험에서 0.97(95% CI 0.81–1.15)로 탐지 가능한 차이가 없었습니다. 관찰연구에서는 0.78(0.71–0.86)로 유의한 감소였습니다. 심근경색도 같은 방향으로 갈렸습니다(0.95 대 0.87).

표적혈관 재관류술은 시술한 혈관이 다시 좁아져 다시 뚫는 시술입니다. 이 결과에서는 무작위시험이 0.45(0.37–0.54)로 유의한 55% 감소였고, 관찰연구가 0.54(0.48–0.61)의 감소였습니다.

저자들의 결론부터 옮기겠습니다 — 무작위시험과 관찰연구 두 설계 모두가 금속 스텐트 대비 약물용출 스텐트에서 표적혈관 재관류술의 뚜렷하고 서로 비슷한 크기의 감소를 보였다는 것, 그리고 이 자료 전체가 허가 적응증 안팎 모두에서 약물용출 스텐트가 안전하고 유효함을 시사하면서도 무작위 자료와 관찰 자료의 차이를 부각한다는 것입니다. 관찰연구 쪽에 선택 편향과 잔여 교란의 여지가 있음도 저자들이 명시합니다 (PMID 19528338). 이 판단은 2008년 2월까지 발표된 자료에 대한 2009년 시점의 것입니다.

여기에 우리 논점을 덧붙이면 이렇습니다. 두 설계의 답이 갈린 정도가 결과변수에 따라 달랐습니다. 사망에서는 갈렸고 재관류술에서는 크게 갈리지 않았습니다. 이 초록은 그 까닭을 설명하지 않습니다. 다만 "관찰연구는 늘 부풀린다"도 "관찰연구도 시험과 같다"도 이 표 하나로는 말할 수 없습니다.

관찰 자료가 시험의 답을 재현하지 못한 예도 있습니다. 무작위시험 하나를 전자의무기록 자료로 모사해 본 시범 연구입니다. 모사는 옛 시험과 같은 조건의 환자를 진료 기록에서 골라 같은 비교를 다시 해 보는 것입니다. 사망 해저드비는 모사에서 0.95(0.78–1.16), 원 시험에서 0.49(0.38–0.64)였습니다. 저자들의 결론은 이 모사 결과가 기준 시험과 일치하지 않았다는 것입니다. 그 이유로는 두 인구 사이의 치료·자료 포착 차이, 적응증에 의한 교란, 치료 교차, 진단 포착의 정확도를 듭니다 (PMID 39348118).

이 연구가 재려던 것은 치료 효과가 아니고 자료원의 성능이며, 원 시험 결과가 반박된 것도 아닙니다. 가져갈 것은 하나입니다. 같은 질문을 두 자료원으로 물었을 때 답이 갈릴 수 있고, 갈린 이유를 하나씩 이름 붙일 수 있습니다.

그럼 비무작위 연구는 언제 타당한 추론을 뒷받침할까요. 이 질문을 제목으로 단 논문이 점검 질문 다섯 개를 줍니다 (PMID 33826756). 설계가 가상의 무작위시험을 모사하는지, 비교군이 적절한지, 1차 분석이 측정된 교란변수를 보정하는지, 민감도분석이 잔여 교란의 영향을 정량화하는지, 방법이 검토 가능하고 가능하다면 재현 가능한지입니다.

② "E-value가 크면 안심해도 된다"

E-value는 미측정 교란에 대한 주장을 수치로 만든, 직관적이고 유용한 민감도분석 도구입니다 (PMID 34190835). 하지만 앞의 사용 실태에서 저자가 "교란이 영향을 줬을 것 같다"고 판단한 43개의 중앙값(1.88)과 "영향을 주지 않았을 것 같다"고 판단한 348개의 중앙값(1.82)이 사실상 겹쳤습니다 (PMID 31930286). 같은 크기의 숫자를 놓고 정반대 판정이 나온다는 뜻입니다. 애초에 해석의 보편적 절단값이 없고, 교란 아닌 다른 편향은 이 값이 셈에 넣지 않습니다 (PMID 42264181).

게다가 성향점수 방법을 적용한 뒤 계산한 E-value는, 미관찰 교란이 추정치를 더 크게 치우치게 만들었을 때 오히려 더 커지는 경향을 보였습니다 (PMID 38539082). 이런 상황에서는 E-value가 결과를 바꾸는 데 필요한 미관찰 효과의 크기를 잘못 나타낼 수 있다는 뜻입니다.

같은 논문들이 내놓는 처방은 도구를 제대로 쓰는 법입니다. 각 분야에서 예상되는 교란의 강도와 견줘 해석하고 (PMID 31930286), 그럴듯한 미측정 교란변수의 이름을 실제로 대라는 것입니다 (PMID 42264181).

③ "우리 분야는 잘하고 있다"

이 글의 근거는 특정 분야의 특정 표본에서 나왔고, "논문 일반"을 대표하지는 않습니다. "문제가 없더라"고 보고한 조사를 찾아본 것도 아닙니다. 그 단서를 달면, 서로 다른 분야의 조사들이 비슷한 방향의 결과를 냈습니다. 약물역학 (PMID 39098826), 중환자의학 (PMID 38012221), 성향점수 문헌 (PMID 25433444), 군집무작위 시험 (PMID 25648791)이 그렇습니다.

품질 기준 35개 항목으로 비무작위 임상연구 50편을 두 명이 독립적으로 채점한 메타역학 연구도 있습니다 (PMID 36476329). 메타역학은 논문들 자체를 자료로 삼아 연구 관행을 재는 연구입니다. 대상은 2012~2018년에 발표된 논문이었고, 49편이 미국 일반의학 저널 두 곳에 실린 것이었습니다.

모든 적용 기준을 완전히 충족한 연구는 하나도 없었고, 평균 충족률은 72%(±10%)였습니다. 가장 낮은 범주는 관찰된 효과를 보정하는 항목들과 검증하는 항목들이었습니다. 충족률 50% 이하 항목 중에는 잔여 편향 분석(14%)과 잔여 교란에 대한 반증 검정(8%)이 있었습니다. 반증 검정은 결과가 틀렸다면 나타나야 할 신호를 일부러 찾아보는 검사입니다. 이 비율은 시간이 지나도 달라지지 않았습니다. 저자들은 이 항목들이 연구자와 편집자가 고칠 수 있는 구체적 표적이라고 맺습니다 (PMID 36476329).

더 깊이 가려면

세 도구는 각각 원전과 한계 개관을 짝지어 읽는 것이 가장 빠릅니다.

이 글이 비워 둔 자리도 있습니다. 하나는 관찰연구를 처음부터 가상의 무작위시험처럼 설계하고 보고하는 방식입니다. 2025년에 나온 21개 항목 체크리스트 가운데 한 항목이 이 글의 주제와 곧바로 이어집니다. 가정과 설계·분석 선택에 대한 민감도분석 결과를 보고하라는 것입니다 (PMID 40899949). 다른 하나는 무작위시험에서 무엇을 재려는 것인지를 먼저 정하고 분석을 거기에 맞추라는 정리인데, 이 글에서는 이름만 스쳤습니다 (PMID 38825841).

---

교란과 보정을 다룬 이 갈래를 여기서 닫습니다. 남기려는 것은 읽기 규칙 하나입니다.

"미측정 교란이 있을 수 있다"는 문장을 만나면, 그 문장이 마지막 문장인지 아닌지를 봅니다. 거기서 끝나면 그건 겸손이 아니라 미완입니다. 이어지는 문장이 있다면 물을 것이 셋입니다. 첫째는 얼마나 센 교란이어야 이 결과가 지워지는지 값을 냈는가입니다. 둘째는 그 값을 이 분야에서 예상되는 교란의 강도와 견줬는가입니다. 셋째는 안 잰 교란변수의 이름을 실제로 댔는가입니다.

이 규칙이 "관찰연구를 믿지 마라"로 읽히면 이 글은 실패한 것입니다. 이 문헌은 문제를 진단하는 데서 멈추지 않았습니다. 적응증에 의한 교란을 줄이는 설계를 만들었고, 남은 교란의 크기를 재는 도구를 만들었고, 연결된 자료로 그 크기가 실제로 얼마인지까지 확인해 왔습니다. 그리고 그 도구들의 한계도 같은 문헌 안에서 재고 있습니다. 어느 도구도 안 잰 것을 대신 재 주지는 못합니다. 다만 그중 무엇을 했는지를 논문이 말해 주는가는 읽는 사람이 확인할 수 있습니다.

근거 논문

E-value

• PMID 28693043 (2017) — 원전. 정의·보고 권고.
• PMID 34190835 (2021) — 적용 예시. 산전관리↔저체중출생 1.45~5.63.
• PMID 41343587 (2025) — Cornfield+몬테카를로. 0.08 설명 조건 충족 2% 미만(0.25면 6% 미만).
• PMID 42264181 (2026) — 개관. 절단값 부재·다른 편향 미반영·선택적 보고.
• PMID 31930286 (2020) — 사용 실태(87편·516값). 중앙값 1.88(43)·1.82(348)·2.02(125).
• PMID 38539082 (2024) — 시뮬레이션. 성향점수 뒤 E-value 해석에 주의.

음성대조

• PMID 20335814 (2010) — 원전. 두 종류와 탐지 조건.
• PMID 38040387 (2024) — 스코핑 리뷰(37편). 탐지 14·교정 16·보정 5.
• PMID 37851862 (2024) — 사용 실태(184편). 탐지 81%·교정 9%. 가정 미확인 다수.
• PMID 37338976 (2023) — 한계 개관. 특이도·민감도 부족 가능, 영가설 증명 불가.

잔여·미측정 교란을 실제로 재기

• PMID 39098826 (2025) — 검토(158편). 우려 93%, 민감도분석 53%.
• PMID 27091131 (2016) — 방법 지도.
• PMID 41708481 (2026) — 원리증명. FDA 센티널 MGB 연결자료. 청구 대리변수가 대부분 균형.
• PMID 42093129 (2026) — 모의 코호트 500개. 보정 후 상대 치우침 ≈0.

적응증에 의한 교란

• PMID 19457638 (2010) — 유방암 1,798명. 2.6 → 제한+회귀 1.1·성향점수 1.3·도구변수 0.9. 어느 쪽도 통제 못 함.
• PMID 26474974 (2015) — 검토(23편). 보정이 추정치를 12%/9%/7% 올림. 비특이적 결과변수 코호트는 그만.
• PMID 35019190 (2022) — 핵심 개념. 적응증으로 제한, 활성 비교약.
• PMID 25800216 (2015) — 설계. 신규 사용자.

성향점수

• PMID 29684154 (2018) — 입문. 네 가지 쓰임.
• PMID 28104076 (2017) — 네 코호트 비교. 회귀보정보다 반드시 우월하지 않다.
• PMID 40779360 (2025) — 중복가중. 여러 방법을 함께 제시할 것.
• PMID 25433444 (2015) — 보고 실태(296편). 변수 선택 34.4%·균형 59.8%.
• PMID 37481434 (2023) — 저자 지침. 가정·한계 명시 요구.
• PMID 34547404 (2022) — 실무 지침. 보고 항목.

무작위시험의 공변량 보정

• PMID 41474130 (2026) — FDA 2023 지침. 사전 명시 보정 1차 분석은 수용 가능.
• PMID 41988813 (2026) — 개관. 검정력 이득은 완만.
• PMID 42285376 (2026) — 50편 실증. 분산 감소 13.3%·4.6%. 간결한 회귀.
• PMID 34454099 (2021) — 시뮬레이션. 방향 보고 바꾸면 오선언 최대 48%.
• PMID 25648791 (2015) — 군집무작위 300편. 보정 219편 중 사전 지정 32%.
• PMID 38825841 (2024) — 개관. 무엇을 재려는지부터 정할 것.

관찰연구와 무작위시험을 나란히

• PMID 19528338 (2009) — 메타분석(무작위 22·관찰 34편). 두 설계 모두 재관류술 감소.
• PMID 39348118 (2024) — EHR 모사. 기준 시험과 불일치. 자료원 성능 평가이지 효과 판정 아님.
• PMID 33826756 (2022) — 판정 틀. 점검 질문 5.
• PMID 36476329 (2022) — 메타역학(50편·35기준). 평균 72%±10%. 편향분석 14%·반증검정 8%.
• PMID 38012221 (2023) — 중환자의학(79편). 표적시험 5요소 전부 38%, 인과 가정 3종 전부 9%.
• PMID 40899949 (2025) — TARGET 지침. 21항목, 민감도분석 보고 포함.