Paperis 아티클
거의 모든 관찰연구 논문이 마지막 문단에서 "미측정 교란이 있을 수 있다"로 닫는다. 이 문헌은 거기서 멈추지 않았다 — 남은 교란의 크기를 재는 도구가 만들어졌고, 같은 문헌이 그 도구들의 한계도 함께 재고 있다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
산전 관리를 얼마나 제때 충분히 받았는지와 저체중 출생의 관계를 다룬 관찰자료에 연구자들이 계산을 하나 더 얹었다. "이 연관이 인과가 아니라 우리가 재지 않은 다른 요인 때문이라고 하려면, 그 요인이 얼마나 세야 하나?" 답은 어떤 지표의 어느 범주를 봤느냐에 따라 1.45에서 5.63 사이였다. 저자들이 이 값에서 읽은 것은, 강한 교란변수–저체중출생 연관만이 — 그러니까 위험을 400% 넘게 올리는 정도의 연관만이 — 관찰된 연관을 완전히 설명할 수 있다는 것이다 (PMID 34190835).
이 숫자에 붙은 이름이 E-value다.
앞선 글에서 봤듯 "연령·성별·BMI 보정"이라는 한 줄은 그 변수들을 인과 구조의 어느 자리에 놓았다는 주장이고, 자리를 잘못 고르면 보정이 편향을 만든다. 그런데 자리를 다 옳게 골라도 남는 문제가 있다. 재지 않은 변수는 보정할 수 없고, 잘못 잰 변수는 어중간하게만 보정된다. 거의 모든 관찰연구 논문이 마지막 문단에서 "미측정 교란이 있을 수 있다"로 닫는 이유다.
이 글이 옮기는 것은 그 문장 다음이다. 문헌은 거기서 멈추지 않았다 — 남은 교란의 크기를 재는 도구를 만들었고, 같은 문헌 안에서 그 도구들의 한계도 재고 있다. 새로 배울 말은 E-value·음성대조·성향점수·적응증에 의한 교란 넷이다.
⚠️ 아래 나오는 약·백신·시술의 이름은 전부 방법론적 사례다. 어떤 치료가 좋고 나쁜지에 대한 판단이 아니고, 각 숫자는 그 연구의 대상과 자료원 안에서만 뜻을 갖는다.
E-value는 이렇게 정의된다. 관찰된 처치–결과 연관을 완전히 설명해 없애려면, 안 잰 교란변수가 처치와도 결과와도 가져야 하는 연관의 최소 강도다. 이미 보정한 변수들을 조건으로 놓고 위험비 척도로 잰다. 값이 크면 그 결과를 지우는 데 센 교란이 필요하고, 작으면 약한 교란으로도 지워진다. 이 지표를 제안한 논문은 인과 근거를 내려는 모든 관찰연구가 E-value를 보고하거나 다른 민감도분석을 쓰기를 권하고, 관찰된 추정치와 신뢰구간에서 영값에 가까운 쪽 끝 양쪽에 대해 계산하라고 덧붙인다 (PMID 28693043).
논리를 끝까지 밀어 본 예도 있다. 코로나19 백신의 관찰연구 효과 추정치를 미측정 교란만으로 설명할 수 있는지 본 연구에서, 관찰된 위험비가 0.08인 경우 그것을 설명할 교란변수는 크게 불균형하면서 동시에 강하게 보호적이어야 했다 — 저자들이 든 예로는 접종군에서 10배 더 흔하고 질병 위험을 99% 낮추는 정도다. 약한 정보 사전분포에서 뽑은 시뮬레이션에서 그 조건을 만족한 것은 2% 미만, 더 온건한 위험비 0.25의 경우에도 6% 미만이었다. 저자들의 결론은 잔여 교란이 효과 추정치를 약화시킬 수는 있어도 는 것이다. 여기서 볼 것은 백신 판단이 아니라 도구의 사용법이다 — "안 잰 게 있을 수도 있잖아"라는 반론을 로 바꾼다 ().
그런데 같은 문헌이 이 도구의 한계도 적어 놓았다. E-value를 정리한 개관은 장점부터 적는다 — 추가 가정이 필요 없고, 계산이 쉽고, 일상적으로 보고하면 투명성이 올라간다. 그리고 한계 셋을 잇는다. 해석의 보편적 절단값이 없다는 것, 교란 아닌 다른 편향은 셈에 넣지 못한다는 것, 유리한 값만 골라 보고할 여지가 있다는 것이다. 저자들의 권고는 E-value를 그 연구와 이미 보정된 교란변수의 맥락 안에서 보고하고, 그럴듯한 미측정 교란변수를 연구자가 직접 지목하라는 것이다 (PMID 42264181).
지목하라는 요구가 왜 붙었는지는 실제 사용을 세어 본 조사가 보여 준다. 2018년 말까지 자기 자료에 E-value를 제시한 논문 87편이 516개의 값을 냈는데, 그중 19편만이 그 크기를 자기 분야에서 예상되는 교란의 강도와 견줘 봤다. 중앙값은 저자가 "교란이 결과에 영향을 줬을 것 같다"고 본 43개에서 1.88, "영향을 주지 않았을 것 같다"고 본 348개에서 1.82, 아무 언급이 없는 125개에서 2.02였다. 저자들의 판정과 E-value의 크기가 사실상 겹쳤다. 저자들의 결론은 계산이 손쉬워지면서 이미 부실한 교란 처리가 더 나빠질 수 있다는 것, E-value가 미측정 교란의 원천을 신중히 따지는 일의 대체물이 아니라는 것, 쓰려면 각 분야에서 예상되는 교란의 맥락 안에서 해석해야 한다는 것이다 (PMID 31930286).
두 번째 도구는 실험실에서 왔다. 시약이 제대로 작동하는지 보려고 반응이 일어날 리 없는 조건을 하나 같이 돌려 보는 것이 실험실의 음성대조다. 거기서 반응이 나오면 시약이 아니라 장비를 의심한다.
역학에서도 같은 일을 한다. 인과적으로 있을 수 없는 노출이나 결과를 하나 정해 놓고 거기서 연관이 나오는지를 본다. 나오면 교란이나 회상 편향이나 분석 오류가 어딘가에 있다는 신호다. 이 개념을 역학에 들여온 논문은 노출 쪽 대조와 결과 쪽 대조 두 종류를 구분하고 각각의 사례를 든 뒤, 음성대조를 관찰연구에서 더 흔히 써야 한다고 맺는다. 다만 어떤 조건에서 다른 오류원까지 민감하게 잡아내는지는 더 연구가 필요하다는 단서가 붙는다 (PMID 20335814).
성능도 검토됐다. 방법론 논문 37편을 모은 스코핑 리뷰가 기능별로 세었더니 편향 탐지 14편, 편향 교정 16편, p값·신뢰구간 보정 5편이었다. 핵심은 마지막에 있다 — 탐지는 음성대조와 관심 변수 사이에 연관이 있으면 교란·선택 편향·정보 편향 중 무언가가 있다는 것을 가리키는 정도인 반면, 교정에는 순위 보존·단조성·선형성 같은 훨씬 엄격한 가정이 필요하다 (PMID 38040387). 실제 사용도 그 선을 따라간다. 약물역학 문헌 184편에서 편향 탐지가 149편(81%), 편향 교정이 16편(9%)이었다. 저자들은 음성대조가 편향 탐지에 강력한 도구이지만 많은 연구가 그 밑에 깔린 가정을 확인하지 않았다고 맺는다 (PMID 37851862).
한계를 정면으로 다룬 개관도 있다. 음성대조는 미측정 교란을 탐지하는 데 특이도와 민감도가 모두 부족할 수 있고, "음성대조에서 연관이 없다"는 영가설을 증명하는 것은 애초에 불가능하다는 지적이다. 저자들은 교정 접근 셋의 가정과 그것이 깨졌을 때의 영향을 짚은 뒤, 앞으로의 연구가 적용 범위를 넓힐 수 있다고 보면서도 현재로서는 사례별로 신중히 판단해야 한다로 맺는다 (PMID 37338976).
2017년 1월부터 2022년 6월까지 의학·역학 저널 12곳에 실린 활성 비교약 코호트 연구 — 같은 적응증에 쓰이는 다른 약끼리 견준 연구다 — 158편을 검토한 연구가 있다. 잔여·미측정·미통제 교란이 잠재적 우려로 언급된 것은 93%였는데, 미측정 변수로 인한 교란을 평가하는 민감도분석을 하나라도 실제로 수행한 것은 84편(53%)이었다. 가장 흔한 방법은 의학 저널에서는 E-value(21%), 역학 저널에서는 측정된 변수에 대한 제한(22%)이었다 (PMID 39098826). 방법이 없어서가 아니다 — 미측정 교란을 다루는 방법들을 설계·분석·하위연구로 나눠 정리한 개관이 이미 있고, 맺음말은 통계적 근거와 임상지식을 함께 써서 해석하라는 것이다 (PMID 27091131).
위의 도구들은 "우리는 결코 알 수 없다"로 가지 않는다. 남은 교란의 크기를 실제 자료로 재 본 연구들이 있고, 답이 '작다'로 나온 경우도 있다.
미국 FDA 센티널 실사용근거 사업의 매스제너럴브리검 사이트에서 보험 청구자료와 전자의무기록을 연결해 쓴 원리증명 연구가 있다. 청구자료에는 잘 안 잡히지만 의무기록에는 있는 위험인자들을 봤더니, 청구자료 기반 대리변수들이 의무기록으로만 측정 가능한 위험인자 대부분을 이미 균형 있게 맞추고 있었다. 그래서 이 예에서는 정량적 편향분석으로 잔여 교란을 보정하는 것이 불필요하다고 판단됐다 (PMID 41708481). 같은 사이트의 같은 연결자료로 모의 코호트 500개를 만든 연구는 청구자료에는 없고 의무기록에만 있는 교란변수로 잔여 교란을 일부러 만들어 넣었다. 두 결과 모두에서 청구자료 기반 변수로 보정하자 상대 치우침이 0에 가까웠다. 저자들의 결론은 경험자료에 기반한 현실적 시뮬레이션 안에서는 청구자료에 없는 교란변수가 강한 잔여 교란을 만들 가능성이 낮았다는 것이다 (PMID 42093129).
두 연구는 같은 FDA 센티널 매스제너럴브리검 사이트의 같은 연결자료에서 나왔고, 각각 특정 약물 비교 안에서의 결과다. 서로 독립적인 두 재현이 아니고, 다른 질문·다른 자료에서도 같은 답이 나온다는 뜻도 아니다. 저자들은 이런 확인을 일상적으로 하려면 청구자료와 의무기록을 연결한 자료 기반이 갖춰져야 한다고 덧붙인다 (PMID 41708481). 여기서 옮기는 것은 "미측정 교란은 잴 수 없다"가 사실이 아니라는 것 하나다.
관찰연구에서 가장 다루기 까다로운 교란 하나는 치료를 나눈 것이 자연이 아니라 의사라는 데서 온다. 아픈 사람이 약을 받는다. 그래서 약을 받은 군의 결과가 나쁘면 그게 약 때문인지 병 때문인지를 자료만으로는 가를 수 없다. 이것을 적응증에 의한 교란이라고 부른다 — 여기서 '적응증'은 그 치료를 쓸 이유가 되는 환자의 상태다.
이 편향이 얼마나 완강한지를 제목에 단 연구가 있다. 1990~1994년에 진단된 고령 유방암 환자 1,798명의 의무기록에서 보조 항암화학요법을 받은 군과 받지 않은 군의 재발률을 비교했더니, 보정하지 않은 분석에서 항암화학요법은 재발과 양(+)의 연관이었다(해저드비 2.6, 95% CI 1.9–3.5). 보호효과를 예상했던 저자들은 이것을 적응증에 의한 교란으로 보고 여러 갈래로 보정을 시도했다. 재발 고위험군으로 제한한 뒤(946명) 다변량 회귀를 돌리자 해저드비는 1.1(0.7–1.6)이 됐고, 성향점수(그 사람이 그 치료를 받았을 확률 — 뒤에서 따로 본다) 보정은 1.3(0.8–2.0), 도구변수(처치에는 영향을 주지만 결과에는 직접 영향을 주지 않는 제3의 변수를 지렛대로 쓰는 방법) 유사 방법은 0.9(0.2–4.3)를 냈다.
숫자만 놓고 보면 2.6이 1.1까지 내려왔으니 보정이 아무것도 못 한 것은 아니다 — 이건 우리의 독해다. 저자들이 쓴 것은 다른 쪽이다. 도구변수 방법에서도 도구변수 수준별로 측정된 요인들의 불균형이 남아 잔여 교란이 시사됐고, 그래서 결론이 이렇게 맺힌다 — 관행적 방법은 미측정 요인을 통제하지 못하며, 적응증에 의한 교란을 다룰 때 그 요인들이 흔히 중요하게 남는다. 성향점수와 도구변수 분석은 특정 상황에서 유용할 수 있으나, 이 연구에서는 어느 쪽도 적응증에 의한 교란을 적절히 통제하지 못했다 (PMID 19457638).
백신 효과 문헌에서도 같은 문제가 정량화됐다. 인플루엔자 백신 효과를 보고한 관찰연구 23편에서 보정 전후 오즈비의 비로 보정이 무엇을 했는지 계산했더니, 19편(83%)이 높은 편향 위험을 보였다. 보정은 백신 효과 추정치를 평균적으로 올렸다 — 전체 사망에서 12%(95% CI 7–17%), 전체 입원에서 9%(4–14%), 인플루엔자 유사질환에서 7%(4–10%). 그런데 보정하고도 9편은 유행기 밖에서도 유의한 효과 추정치를 보여 잔여 교란을 시사했다. 저자들의 결론은 보정이 적응증에 의한 교란을 어느 정도 교정할 수는 있지만 추정치가 여전히 건강한 접종자 편향에 취약하다는 것, 적어도 전체 사망 같은 비특이적 결과변수를 쓰는 한 그렇다는 것이다. 그리고 저자들은 한 걸음 더 나간다 — 비특이적 결과변수를 쓰는 행정자료 기반 코호트 연구는 인플루엔자 백신 효과를 재는 데 더 이상 쓰지 말아야 한다는 것이 그들의 권고다. 여기서 옮기는 것은 백신에 대한 판단이 아니라, 보정이 어디까지 하고 어디서 멈추는지를 저자들이 스스로 어떻게 그었는가다 (PMID 26474974).
여기에도 처방이 있다. 임상 적응증은 환자마다 다르고 복잡해 비실험 연구에서 정확히 측정하기 어렵다. 그런데 연구 인구를 그 치료의 적응증이 있는 환자로 제한하면 노출군과 비교군이 노출 확률 면에서 비교 가능해진다. 적응증을 정확히 측정할 수 없을 때 그 제한을 수행하는 흔한 실무 해법이, 같은 적응증에 쓰이는 다른 약을 비교 대상으로 삼는 것(활성 비교약)이다 (PMID 35019190). 여기에 치료를 처음 시작하는 시점부터 코호트에 넣는 방식을 겹치면 관찰연구의 타당도가 올라가 무작위 시험에 더 가까워진다 (PMID 25800216).
관찰연구에는 시간에서 오는 함정이 하나 더 있다. 노출을 어떻게 정의하느냐에 따라, 정의상 결과가 일어날 수 없는 추적 기간이 노출군에 얹히는 일이 생긴다 — 불멸시간 편향이라고 부른다. 이 글은 그것을 가르치지 않는다. 누구를 언제부터 세는가를 통째로 다룬 편이 따로 있다.
성향점수는 관찰연구에서 교란을 보정하는 방법으로 점점 널리 쓰여 왔다 (PMID 28104076). 방법론 개관들은 저자에게 이 방법의 가정과 한계를 명시하라고 요구한다 (PMID 37481434). 그러니 무엇을 하고 무엇을 하지 않는지부터 보자. 성향점수는 어떤 사람이 그 처치를 받을 확률이다. 기저 특성들을 알고 있을 때 이 사람이 그 약을 받았을 법한 정도를 한 숫자로 요약한 것이라고 보면 된다. 다변량 회귀가 공변량과 결과의 관계를 모형화한다면, 성향점수는 공변량과 처치 배정의 관계를 모형화한다. 그래서 사건 수에 제약받지 않아, 교란변수가 많거나 결과 사건이 적을 때 쓸 만하다. 점수가 비슷한 사람끼리 짝짓는 매칭, 점수대별로 묶어 비교하는 층화, 점수를 뒤집어 사람마다 가중치를 주는 가중, 점수를 하나의 변수로 넣는 공변량 보정으로 쓴다 (PMID 29684154).
중요한 것은 성향점수가 측정된 공변량만 다룬다는 점이다. 짝을 잘 맞췄다는 것은 잰 것에 대해 잘 맞췄다는 뜻이지 안 잰 것까지 맞춰졌다는 뜻이 아니다. 실제로 시뮬레이션에서는 성향점수 매칭·가중이 미관찰 교란변수의 불균형을 오히려 키울 수 있다는 기존 발견이 재확인됐다 (PMID 38539082).
성향점수가 회귀보정보다 늘 낫지도 않았다. 대규모 심혈관 관찰연구 네 곳의 자료로 비교한 연구에서 층화는 결과 사건이 적을 때 성능이 나빴고 역확률가중은 상당한 교란이 있을 때 처치효과 추정이 부정확했다. 공변량 보정과 매칭은 모든 예제에서 잘 작동했지만 매칭은 경우에 따라 정밀도가 떨어졌다. 저자들의 결론은 성향점수 방법이 관행적 공변량 보정보다 반드시 우월하지는 않으며, 가장 적합한 방법을 고르는 데 주의를 기울여야 한다는 것이다 (PMID 28104076). 역확률가중이 불안정해지는 자리에 쓰라고 제안된 다른 가중법도 있다. 저자들은 겹침이 나쁜 자료에서 그 가중법을 선호할 만한 접근으로 볼 수 있다고 적고, 마지막 권고는 여러 성향점수 방법의 결과를 함께 제시하면 견고성 평가에 도움이 된다는 것이다 (PMID 40779360).
보고 실태도 조사됐다. 2011년 12월부터 2012년 5월까지 발표된 성향점수 사용 논문 296편에서 모형의 변수 선택을 명시적으로 보고한 것은 102편(34.4%), 공변량 균형을 확인하고 보고한 것은 177편(59.8%)이었다. 저자들의 결론은 공변량 선택과 균형 평가의 수행·보고가 최적과는 거리가 멀다는 것이다 (PMID 25433444). 성향점수 매칭을 "유사무작위화를 달성하는 값진 방법"으로 소개하는 실무 지침조차 보고 항목 목록을 함께 준다 — 어떤 연구의 결론도 그 방법만큼만 강하기 때문이다 (PMID 34547404).
흔한 오해 하나를 미리 끊어 둔다. 보정은 관찰연구가 어쩔 수 없이 하는 일이 아니다. 무작위배정 시험에서도 공변량 보정은 쓰이고 주요 규제기관이 권장한다 (PMID 42285376) — 군집무작위 시험 300편 조사에서도 1차 결과의 보정 분석을 실은 것이 219편이었다 (PMID 25648791). 다만 목적이 다르다.
무작위배정이 잘 되면 교란은 대체로 문제가 되지 않는다. 그럼 왜 보정하나 — 정밀도 때문이다. 미국 FDA가 2023년 5월에 낸 지침의 요지는 사전에 명시된 공변량 보정 1차 분석이 미보정 분석보다 이점을 가질 수 있으며 일반적으로 수용 가능하다는 것이다 (PMID 41474130). 방법론 개관의 결론도 같은 방향이되 크기를 낮춰 잡는다 — 예후에 영향을 주는 공변량을 보정하면 통계적 검정력에서 완만한 이득을 얻는다는 것이다 (PMID 41988813).
크기를 실제로 잰 연구가 있다. 공개된 무작위 시험 50편의 개인 수준 자료(참가자 29,094명, 처치–결과 비교 574건)로 여러 보정 추정량과 세 가지 공변량 선택 전략을 비교했더니, 보정은 대부분의 상황에서 정밀도를 개선했고 분산 감소의 중앙값은 연속형 결과에서 13.3%, 이분형 결과에서 4.6%였다. 결정적인 결과가 하나 있다 — 사전에 정한 소수의 예후 공변량을 쓰는 간결한 회귀 접근이 더 복잡한 방법과 같거나 더 나은 성능을 보였고, 특히 소·중규모 표본에서 그랬다. 기계학습 기반 추정량은 추가 정밀도를 주지 않았다. 저자들의 결론은 이 효율 이득이 체계적 치우침을 들이지 않으면서 일관되게 나타났다는 것이고, 그래서 1차 분석에서 공변량 보정을 일상적으로 하라는 것이다 (PMID 42285376).
다만 사후에 불균형을 보고 반응하면 안 된다. 스타틴 2차 예방 대규모 시험 자료로 처치효과가 없다는 영가설 아래 시뮬레이션한 연구에서, 미보정 분석은 우연한 불균형과 무관하게 타당한 p값을 냈고 불균형의 방향을 모르는 상태에서 보정 분석으로 바꾸는 것은 치우침을 만들지 않았다. 그런데 불균형의 방향을 보고 결정하면 실험 치료가 우월하다고 잘못 선언할 위험이 부풀었다 — 조사한 시나리오에서 최대 48%다 (PMID 34454099).
실무는 지침과 벌어져 있다. 그 300편 리뷰에서 보정 분석을 실은 219편 중 공변량을 사전에 정했다고 보고한 것은 71편(32%)뿐이었다 (PMID 25648791).
이 결론으로 달리면 이 글은 자기 목적을 배반한다.
관찰연구와 무작위시험을 나란히 놓은 예가 있다. 약물용출 스텐트와 금속 스텐트를 비교한 연구들을 2008년 2월까지 모아 무작위시험 22편(9,470명)과 관찰연구 34편(182,901명)을 따로 분석한 메타분석이다. 전체 사망의 해저드비는 무작위시험에서 0.97(95% CI 0.81–1.15)로 탐지 가능한 차이가 없었는데 관찰연구에서는 0.78(0.71–0.86)로 유의한 감소였다. 심근경색도 같은 방향으로 갈렸다(0.95 대 0.87). 반면 표적혈관 재관류술은 무작위시험 0.45(0.37–0.54)로 유의한 55% 감소, 관찰연구 0.54(0.48–0.61)의 감소였다.
저자들의 결론부터 옮긴다 — 무작위시험과 관찰연구 두 설계 모두가 금속 스텐트 대비 약물용출 스텐트에서 표적혈관 재관류술의 뚜렷하고 서로 비슷한 크기의 감소를 보였다는 것, 그리고 이 자료 전체가 허가 적응증 안팎 모두에서 약물용출 스텐트가 안전하고 유효함을 시사하면서도 무작위 자료와 관찰 자료의 차이를 부각한다는 것이다. 관찰연구 쪽에 선택 편향과 잔여 교란의 여지가 있음도 저자들이 명시한다 (PMID 19528338). 이 판단은 2008년 2월까지 발표된 자료에 대한 2009년 시점의 것이다.
여기에 우리 논점을 덧붙이면 이렇다. 두 설계의 답이 갈린 정도가 결과변수에 따라 달랐다 — 사망에서 갈렸고 재관류술에서는 크게 갈리지 않았다. 왜 그랬는지를 이 초록이 설명하지는 않으니 더 나가지 않는다. 다만 "관찰연구는 늘 부풀린다"도 "관찰연구도 시험과 같다"도 이 표 하나로는 말할 수 없다.
반대 방향의 예도 있다. 무작위시험 하나를 전자의무기록 자료로 모사해 본 시범 연구에서 사망 해저드비는 모사에서 0.95(0.78–1.16), 원 시험에서 0.49(0.38–0.64)였다. 저자들의 결론은 이 모사 결과가 기준 시험과 일치하지 않았다는 것이고, 그 이유로 두 인구 사이의 치료·자료 포착 차이, 적응증에 의한 교란, 치료 교차, 진단 포착의 정확도를 든다 (PMID 39348118). 이 연구는 그 치료의 효과가 아니라 자료원의 성능을 재려던 것이고, 원 시험 결과가 반박된 것도 아니다. 옮기는 것은 같은 질문을 두 자료원으로 물었을 때 답이 갈릴 수 있고 갈린 이유를 하나씩 이름 붙일 수 있다는 것 하나다.
그럼 언제 비무작위 연구가 타당한 추론을 뒷받침하나. 이 질문을 제목으로 단 논문이 점검 질문 다섯 개를 준다. 설계가 가상의 무작위시험을 모사하는지, 비교군이 적절한지, 1차 분석이 측정된 교란변수를 보정하는지, 민감도분석이 잔여 교란의 영향을 정량화하는지, 방법이 검토 가능하고 가능하다면 재현 가능한지다 (PMID 33826756).
E-value는 미측정 교란에 대한 주장을 수치로 만든, 직관적이고 유용한 민감도분석 도구다 (PMID 34190835). 다만 앞에서 본 대로, 저자가 "교란이 영향을 줬을 것 같다"고 판단한 43개의 중앙값(1.88)과 "영향을 주지 않았을 것 같다"고 판단한 348개의 중앙값(1.82)이 사실상 겹쳤다 (PMID 31930286). 같은 크기의 숫자를 놓고 정반대 판정이 나온다는 뜻이다. 애초에 해석의 보편적 절단값이 없고, 교란 아닌 다른 편향은 이 값이 셈에 넣지 않는다 (PMID 42264181). 게다가 성향점수 방법을 적용한 뒤 계산한 E-value는 미관찰 교란이 추정치를 더 크게 치우치게 만들었을 때 오히려 더 커지는 경향을 보였다 (PMID 38539082).
그런데 같은 논문들의 처방은 도구를 버리라는 게 아니다. 각 분야에서 예상되는 교란의 강도와 견줘 해석하고 (PMID 31930286), 그럴듯한 미측정 교란변수의 이름을 실제로 대라는 것이다 (PMID 42264181).
이 글의 근거는 특정 분야의 특정 표본에서 나온 것이지 "논문 일반"에 대한 것이 아니고, "문제가 없더라"고 보고한 조사를 찾아본 것도 아니다. 그 단서를 달고 말하면, 서로 다른 분야의 조사들이 비슷한 방향의 결과를 냈다 — 약물역학 (PMID 39098826), 중환자의학 (PMID 38012221), 성향점수 문헌 (PMID 25433444), 군집무작위 시험 (PMID 25648791)이 그렇다.
품질 기준 35개 항목으로 비무작위 임상연구 50편을 두 명이 독립적으로 채점한 메타역학 연구도 있다(2012~2018년 발표, 49편이 미국 일반의학 저널 두 곳). 모든 적용 기준을 완전히 충족한 연구는 하나도 없었고 평균 충족률은 72%(±10%)였다. 가장 낮은 범주는 관찰된 효과를 보정하는 항목들과 검증하는 항목들이었고, 충족률 50% 이하 항목 중에는 잔여 편향 분석(14%)과 잔여 교란에 대한 반증 검정(8%)이 있었으며 이 비율은 시간이 지나도 달라지지 않았다. 저자들은 이 항목들이 연구자와 편집자가 고칠 수 있는 구체적 표적이라고 맺는다 (PMID 36476329).
세 도구는 각각 원전과 한계 개관을 짝지어 읽는 것이 가장 빠르다.
이 글이 비워 둔 자리도 있다. 관찰연구를 처음부터 가상의 무작위시험처럼 설계하고 보고하는 방식이다. 2025년에 나온 21개 항목 체크리스트 가운데 한 항목이 이 글의 주제와 곧바로 이어진다 — 가정과 설계·분석 선택에 대한 민감도분석 결과를 보고하라는 것이다 (PMID 40899949). 무작위시험에서 무엇을 재려는 것인지를 먼저 정하고 분석을 거기에 맞추라는 정리도 이 글은 이름만 스쳤다 (PMID 38825841).
교란과 보정을 다룬 이 갈래를 여기서 닫는다. 남기려는 것은 읽기 규칙 하나다.
"미측정 교란이 있을 수 있다"는 문장을 만나면, 그 문장이 마지막 문장인지 아닌지를 본다. 거기서 끝나면 그건 겸손이 아니라 미완이다. 이어지는 문장이 있다면 물을 것이 셋이다. 첫째는 얼마나 센 교란이어야 이 결과가 지워지는지 값을 냈는가다. 둘째는 그 값을 이 분야에서 예상되는 교란의 강도와 견줬는가다. 셋째는 안 잰 교란변수의 이름을 실제로 댔는가다.
이 규칙이 "관찰연구를 믿지 마라"로 읽히면 이 글은 실패한 것이다. 이 문헌은 진단에서 멈추지 않았다 — 적응증 교란을 줄이는 설계를 만들었고, 남은 교란의 크기를 재는 도구를 만들었고, 연결된 자료로 그 크기가 실제로 얼마인지까지 확인해 왔다. 그리고 그 도구들의 한계도 같은 문헌 안에서 재고 있다. 어느 도구도 안 잰 것을 대신 재 주지는 못한다. 다만 그중 무엇을 했는지를 논문이 말해 주는가는 읽는 사람이 확인할 수 있다.