Paperis 아티클
메타분석은 평균을 내는 장치가 아니라 가중치를 정하는 장치다. 무엇을 합쳤는지가 무엇이 나오는지를 정하고, 마름모 하나가 대답하지 못하는 질문은 그 위에 쌓인 줄들이 대답한다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
논문을 읽다 보면 근거의 서열 맨 위에 이 문장이 놓여 있다.
"이 효과는 무작위시험 25편을 통합한 메타분석에서 확인됐다."
이 한 줄이 무엇을 확인한 것인지 정확히 말할 수 있는가. 이렇게 읽기 쉽다 — "여러 연구를 다 모아서 평균을 냈으니, 개별 연구보다 참값에 가깝다."
그 읽기는 조건부로만 옳다. 그리고 그 조건은 통계가 아니라 무엇을 합쳤는가에 걸려 있다.
얼마나 그런가. 비타민D 보충제가 낙상을 줄이는지를 놓고, 겹치는 무작위시험들을 쓴 두 메타분석이 반대 결론을 냈다. 한쪽은 비타민D와 칼슘을 함께 주면 낙상 위험이 줄고 비타민D 단독은 효과가 없다고 했고, 다른 쪽은 칼슘이 있든 없든 효과가 없다고 했다. 두 번째 팀이 첫 번째 팀이 쓴 무작위시험 25편의 원자료를 다시 추출해 왜 갈렸는지를 추적했다. 25편 중 14편(56%)에서 개별 시험의 결과값 자체가 두 분석 사이에서 달랐다. 낙상 또는 참가자의 부분집합만 쓴 것이 4편, 시험 완료자만 쓴 것이 3편, 골절 자료에서 대체 계산한 것이 1편, 원논문의 보정된 결과를 쓴 것이 2편, 다군·요인설계 자료를 합치는 방식이 다른 것이 3편, 원논문이 보고한 군별 인원이 서로 맞지 않은 것이 2편이었다 (PMID 25093621).
자료가 바뀐 것이 아니다. 같은 시험들을 놓고 무엇을 그 시험의 결과로 셀 것인가에 대한 판단이 열네 번 달랐을 뿐이다.
그리고 이 논문은 진단에서 멈추지 않았다. 방법을 통일해 — 보정하지 않은 값으로, 무작위배정된 참가자 전원을 써서 — 다시 돌리자 비타민D의 낙상 효과는 경계선이었고(상대위험 0.95, 95% CI 0.90–1.00), 하위군에서는 비타민D 단독이 무효(1.00, 0.92–1.08), 칼슘 병용 대 위약·대조가 0.95(0.88–1.02), 칼슘 병용 대 칼슘이 완만한 효과(0.84, 0.76–0.92)로 갈렸다. 불일치는 원인을 밝히면 일부는 해소된다는 뜻이다.
이 시리즈의 3부와 4부는 "이 숫자가 무엇을 재는가"를 다뤘고, 5부는 "이 숫자가 그것을 일으켰는가"를 다뤘다. 6부는 시간이 걸린 결과 — 생존분석과 해저드비 — 를 다룬다. 7부는 또 한 층 위다 — "이 숫자들을 하나로 합쳐도 되는가, 합친 숫자는 무엇을 뜻하는가."
미리 한 줄로 말해 두면 이렇다. 메타분석은 평균을 내는 장치가 아니라 가중치를 정하는 장치다. 무엇을 넣을지, 각 연구에 얼마의 무게를 줄지, 흩어진 정도를 무엇으로 잴지 — 이 셋이 결과를 정한다. 그리고 셋 다 통계 절차가 아니라 판단이다.
그리고 두 가지 분명히 해 둘 것이 있다.
첫째, 이 글의 주제는 논문을 읽는 법이지 특정 치료·보충제·정책에 대한 판단이 아니다. 아래에는 약과 보충제와 수술의 이름이 여러 번 나오는데, 전부 등장한다. 각 수치는 그것이 나온 메타분석의 포함 기준·시점·인구 안에서만 뜻을 갖고, 그 연구의 임상적 결론은 그 저자들의 것이다.
둘째, 이 글이 "메타분석을 믿지 마라"로 읽히면 실패한 것이다. 아래에 인용한 논문들은 거의 전부 메타분석을 하는 사람들이 메타분석을 고치려고 쓴 것이다. 문제를 세어 본 사람과 도구를 만든 사람이 대체로 같은 사람들이고, 그 도구의 성능까지 같은 문헌 안에서 재고 있다. 이 글은 그 작업을 옮긴다.
이 시리즈는 지표 이름을 한국어로 고정해 왔다. 메타분석은 지표를 가리지 않고 통합하기 때문에, 이 편에서는 한 문단 안에 서로 다른 지표가 섞여 나온다. 그래서 표를 먼저 둔다.
| 영문 | 이 글의 표기 | 무엇의 비(또는 차)인가 | 어디서 다뤘나 |
|---|---|---|---|
| risk ratio / relative risk | 위험비 (원문이 relative risk이면 상대위험으로 그대로 옮긴다) | 두 절대위험의 나눗셈 — 두 영어 표현이 가리키는 양은 같다 | 3부에서 정의 |
| odds ratio | 오즈비 | 두 오즈의 나눗셈 | 3부에서 정의 |
| rate ratio | 발생률비 | 단위시간당 발생률의 나눗셈 | — |
| hazard ratio | 해저드비 | 시간에 따른 사건 발생 속도의 비 | 6부 소관 |
| mean difference | 평균차 | 두 평균의 뺄셈 (원래 단위) | — |
| standardized mean difference | 표준화 평균차 | 평균차를 표준편차 단위로 바꾼 것 | — |
| ratio of odds ratios | 오즈비의 비 | 두 오즈비의 나눗셈(작은 연구 대 큰 연구 등) | 이 편 |
| relative benefit | 상대이득 | 두 반응률의 나눗셈 — 값이 클수록 해당 군에 유리 | 이 편 |
| confidence interval | 신뢰구간 | 통합된 평균 효과의 불확실성 | 2부에서 정의 |
| prediction interval | 예측구간 | 새 연구 한 편의 참 효과가 놓일 범위 | 이 편 |
| Q | Q 통계량 | 관찰된 흩어짐이 우연으로 설명되는지 재는 검정통계량 | 이 편 |
| I² | I제곱 | 총 변이 중 참 이질성에 기인한 비율 | 이 편 |
| τ² | 타우제곱 | 연구 간 참 효과의 분산 | 이 편 |
⚠️ 두 가지를 특히 붙들어야 한다.
첫째, 위험비와 해저드비는 다른 지표다. 3부가 위험비를 두 절대위험의 나눗셈으로 못박았고, 해저드비는 그것과 다른 양이다. 영어 hazard ratio를 "위험비"로 옮기면 두 지표가 한국어에서 한 단어가 되어 버린다. 이 글에서는 hazard ratio를 해저드비로만 적고, 그 정의와 비례위험 가정은 6부(생존분석 읽기)에 위임한다. 아래 예시는 가급적 위험비·오즈비·표준화 평균차를 쓰는 메타분석에서 골랐다.
둘째, 신뢰구간과 예측구간은 서로 다른 질문에 답한다. 이 편에서 가장 많이 오독되는 자리다. 신뢰구간은 "우리가 추정한 평균이 얼마나 흔들리는가"를 말하고, 예측구간은 "다음 연구 한 편의 참 효과가 어디에 놓일 것인가"를 말한다. 앞의 것은 연구를 더 모으면 좁아지지만, 뒤의 것은 연구들이 실제로 서로 다르면 아무리 모아도 좁아지지 않는다.
⚠️ 표기 하나만 더. 원문이 risk ratio라고 쓴 자리는 위험비로, relative risk라고 쓴 자리는 상대위험으로 옮긴다. 두 영어 표현이 가리키는 양은 같고, 3부가 정의한 그 양이다 — 이 글에서 표기가 갈리는 것은 원문의 표기를 보존하기 위해서지 다른 지표라서가 아니다.
그리고 이 글에서 편향(bias)은 5부와 같은 뜻으로 쓴다 — 체계적 오차. 그 아래에 출판편향(publication bias)·보고편향(reporting bias) 같은 종류가 있고, 추정치가 참값에서 벗어난 상태는 "치우쳤다"로 적는다.
이건 인상이 아니다. 메타분석 문헌은 자기 자신을 여러 번 세어 봤다. 각 숫자가 어떤 표본에서 나왔는지를 함께 적는다. 아래 숫자들은 그 표본에 대한 것이고, "메타분석 일반"에 대한 것이 아니다.
PubMed 색인을 센 조사가 있다. 1986년 1월 1일부터 2015년 12월 4일까지 PubMed는 266,782건을 "systematic reviews"로, 58,611건을 "meta-analyses"로 태그하고 있었다. 1991년부터 2014년 사이 연간 발표 건수는 체계적 문헌고찰이 2,728%, 메타분석이 2,635% 늘었는데, 같은 기간 PubMed 색인 전체는 153% 늘었다. 저자는 현재 새 무작위시험보다 시험에 대한 체계적 문헌고찰이 해마다 더 많이 나오고 있을 것이라고 적는다. 무작위시험 메타분석이 다루는 주제 대부분에 겹치고 중복되는 메타분석이 있고, 같은 주제의 메타분석이 20편을 넘는 경우도 있다. 2007~2014년 사이 우울증에 대한 항우울제 메타분석만 185편이 나왔다 (PMID 27620683).
이 논문의 결론 문장은 세다 — 생산된 체계적 문헌고찰과 메타분석의 대다수가 불필요하거나, 오도하거나, 이해상충에 걸려 있을 "가능성이 있다"는 것("Possibly, the large majority…"). 그리고 처방은 폐기가 아니라 재정렬이다. 편향과 기득 이익을 걷어 내고, 근거의 1차 생산과 더 잘 통합되도록 발표 체계를 다시 맞추라는 것이다.
인지장애가 있는 고령자에게 운동이 인지기능에 도움이 되는지를 다룬 메타분석들을 세어 본 연구가 있다. 메타분석 40편이 확인됐고, 그 40편이 인용한 무작위시험 항목은 728건이었다. 중복을 걷어 내니 고유한 시험은 276편(37.9%)이었다. 그중 153편은 단 한 편의 메타분석에만 들어갔고, 123편은 2편에서 19편까지의 서로 다른 메타분석에 들어갔다. 결과적으로 40편에 쓰인 시험 항목 728건 가운데 452건(62.1%)이 중복이었다.
저자들의 표현이 이 편의 주제를 요약한다 — 같은 무작위시험들에 여러 메타분석이 기대는 것은 "견고함의 착시(illusion of robustness)"를 만든다. 실제로는 근거의 강도와 다양성이 더 제한적일 수 있는데도 (PMID 40253011).
2015년에 발표된 흉복부 수술 관련 체계적 문헌고찰·메타분석 57편(주제 48개)을 찾아, 그 직전 5년(2011~2015)에 같은 주제로 나온 리뷰가 있는지를 본 조사가 있다. 주제 48개 중 29개(60.4%)에 선행 리뷰가 있었고, 그런 선행 리뷰가 146편이었다. 방법론적 질(AMSTAR)과 관련 무작위시험 포섭 범위에 상당한 편차가 있었고, 그 결과 같은 주제에 대해 서로 다른 통합 효과크기가 나왔다. 다만 이 조사에는 뒷면도 있다 — 질이 높은 리뷰(AMSTAR 8~11점)가 5년 인용수에서 독립적으로 더 높았다(계수 32.82, 95% CI 15.63–50.02, P < 0.001). 저자들의 결론은 리뷰를 그만 쓰라는 것이 아니라 질 높은 리뷰로 노력을 모으라는 것이다 (PMID 34791075).
더 극단적인 예도 있다. 근위상완골 골절의 수술 대 비수술 치료를 비교한 체계적 문헌고찰 21편(쌍별 메타분석 19편 + 네트워크 메타분석 2편)을 모아 보니, 그 아래에 있는 발표된 무작위시험은 8편뿐이었다. 21편 중 18편이 AMSTAR2에서 "critically low" 등급이었고, 나머지 1편만 high 등급이었다. 기능적 결과·삶의 질·유해성 세 영역 모두에서 결론이 서로 달랐고, 포함 기준이 비슷한 메타분석들 사이에서도 그랬다. 저자들은 질이 워낙 고르게 낮아서 "방법론적 질과 결론의 연관"을 검정하는 것조차 대부분 불가능했다고 적는다 (PMID 34718123).
클로피도그렐의 효과가 CYP2C19 기능저하 대립유전자에 따라 달라지는지를 다룬 겹치는 메타분석 11편이 왜 상반된 결과를 냈는지 추적한 연구가 있다. 결과가 달랐던 이유는 최신 메타분석일수록 1차 연구를 더 많이 넣었고 일부는 학회 초록을 넣지 않았기 때문이었다. 결론이 달랐던 이유는 연구 간 이질성과 출판편향을 저마다 다르게 다뤘기 때문이었다. 임상 종점에 대한 메타분석은 전부 유의한 이질성을 관찰했고 여럿이 출판편향의 증거를 보고했는데, 통계적으로 유의한 결과를 낸 8편 중 "그러므로 이 연관은 입증되지 않았다"고 결론지은 것은 1편이었고, 이질성 때문에 통합 추정치 제시 자체를 삼간 것이 1편이었다. 스텐트 혈전증 종점에서는 모든 메타분석이 유의한 연관을 보고했고 유의한 이질성은 없었는데, 출판편향을 조사한 3편은 전부 그 증거를 찾았다 (PMID 24946154).
같은 신호를 보고 정반대 판정이 나왔다는 뜻이다. 그리고 이 리뷰의 저자들은 그 앞에서 멈추지 않았다 — 이질성과 출판편향이 그만큼 크다는 것은 유전자형에 기반한 개인맞춤 항혈소판 관리가 현재 이용 가능한 근거로는 뒷받침되지 않는다는 뜻이라고 적는다 (PMID 24946154).
이 질문에 정면으로 답한 고전이 있다. New England Journal of Medicine·Lancet·Annals of Internal Medicine·JAMA 네 곳에 실린 대규모 무작위시험(1,000명 이상) 12편을, 같은 주제로 먼저 발표된 메타분석 19편과 비교했다. 1·2차 결과 40개에 대해 일치도는 kappa 0.35(95% CI 0.06–0.64)로 "그저 그런(fair)" 수준이었다. 메타분석의 양성 예측도는 68%, 음성 예측도는 67%였다. 저자들의 요약 문장은 이렇다 — 이 12개 대규모 시험의 결과는 앞선 메타분석에 의해 35%의 경우 정확히 예측되지 못했다 (PMID 9262498).
⭐그런데 같은 초록에 반드시 함께 읽어야 할 문장이 있다. 무작위시험과 메타분석의 점추정치 차이가 통계적으로 유의했던 것은 40개 비교 중 5개(12%)뿐이었다. 그리고 불일치한 모든 경우에서, 한쪽 방법은 통계적으로 유의한 치료효과를 찾았고 다른 쪽은 찾지 못했다. 즉 갈린 것은 대체로 효과의 크기가 아니라 유의성 판정이었다. 이 문장을 빼고 "메타분석은 35% 틀린다"만 옮기면 이 논문이 실제로 보여 준 것과 다른 그림이 된다.
같은 질문을 주술기 의학에서 다시 물은 조사도 있다. 2000년 이후 마취·주술기·중환자 문헌에 발표된 대규모 무작위시험(n ≥ 1,000) 18편과 그에 앞선 메타분석 44편, 개입 16종을 비교했다. 각 대규모 시험의 종점을 그 직전의 가장 큰 메타분석과 견주니, 총 57개 결과 중 35개(61.4%)가 맞았다. 메타분석의 양성 예측도는 22.7%, 음성 예측도는 85.7%, kappa는 0.094였다. 메타분석에서 유의한 결과가 나올 오즈는 후속 대규모 시험에 견줘 3.6배였다(P = 0.033, 본페로니 보정). 저자들이 짚은 중요한 점은, 이 차이가 검정력 차이로 설명되지 않았다는 것이다 — 각 종점의 추정 검정력은 대규모 시험과 메타분석이 비슷했고, 다만 연구 크기의 중앙값이 4,482 대 1,389로 달랐다 (PMID 28077529).
읽을 것은 하나다. 주술기 조사에서는 음성 예측도가 높고 양성 예측도가 낮았다 — 그 표본에서 메타분석은 "효과 없다"고 했을 때 대체로 맞았고 "효과 있다"고 했을 때 자주 뒤집혔다. 다만 이 비대칭은 앞의 고전적 조사에서는 나타나지 않았다 — 거기서는 양성 예측도 68%, 음성 예측도 67%로 둘이 거의 같았다 (PMID 9262498). 즉 "양성일 때 더 자주 뒤집힌다"는 것은 두 조사 중 한쪽의 관찰이지 확립된 일반 성질이 아니다.
정신건강 무작위시험 메타분석 100편(시험 항목 1,024건, 참가자 99,303명)을 누적 메타분석으로 다시 돌린 연구가 있다. 8편이 어느 시점에 형식적 통계적 유의성(P < 0.05)에 도달했다가, 시험이 더 쌓이면서 결국 그 유의성을 잃었다. 초기 시험의 큰 효과크기가 근거가 더 모이면서 흩어지는 것이 전형적이었다. 무작위배정된 참가자가 500명일 때, 95%의 경우 이후 오즈비의 변화는 최대 1.5배까지 될 수 있었다. 사망·재발·실패 결과에서는 자료가 더 모일 때 효과크기가 줄어드는 쪽이 늘어나는 쪽보다 다소 흔했고(157 대 125, P = 0.06), 약물치료 대 위약 비교에서 가장 뚜렷했다(79 대 51, P = 0.009). 저자들의 결론은 두 문장이다 — 무작위배정된 참가자가 적은 근거는 신중히 해석해야 한다는 것, 그리고 약물치료의 초기 효능이 때때로 과대추정된다는 것. "늘"이 아니라 "때때로"다 (PMID 15612138).
메타분석은 여러 연구를 합치므로 우연의 영향을 받지 않는다고 믿기 쉽다. 그렇지 않다.
Cochrane 신생아 리뷰의 메타분석 174편에 순차분석(trial sequential analysis)을 적용한 조사에서, 79편(45%)이 통계적으로 유의했는데(P < 0.05) 그중 상당수가 필요한 정보량에 도달하지 못한 상태였다. 가정한 개입 효과에 따라 판정이 크게 달라졌다 — 30% 상대위험 감소를 가정했을 때 확고한 근거를 보인 것은 유의한 메타분석의 61%, 15%를 가정하면 33%였고, 메타분석 안의 저비뚤림 시험들이 시사하는 효과를 이질성 보정해 쓰면 73%였다. 통계적으로 유의하지 않았던 95편 가운데는 30% 가정에서 80%가, 15% 가정에서 95%가, 저비뚤림 기반 가정에서 91%가 "효과의 부재"가 아니라 "근거의 부재"(정보량 부족)였다 (PMID 18411040).
Cochrane 심장그룹이 2012년 Cochrane Library에 승인·발표한 리뷰 중 무작위시험 5편 이상을 통합한 메타분석 56편을 본 조사에서는, 유의한 결과를 보고한 23편(41%) 중 19편(83%)이 "참 양성"으로 분류됐다. 유의하지 않았던 33편 중 "참 음성"은 12편(36%)이었다. 전체적으로 56편 중 25편(45%)이 25% 이상의 효과크기를 탐지하거나 배제하기에 너무 작았고, 그 사실을 저자가 인정한 것은 12편이었다. 저자들이 "결론적"이라고 보고한 22편 중 12편(55%)은 25% 상대 치료효과를 탐지·배제하기에 자료가 부족했다 (PMID 23218569).
이분형 결과에 음성 결과, 충분한 검정력을 가진 Cochrane 메타분석 100편을 골라 시험이 하나씩 추가될 때마다 재분석해 본 조사에서는, 통상적 누적 메타분석에서 7편(7%, 95% CI 3–14%)에 위양성이 나타났고(3편에서는 두 번 이상), 위양성 총 14건 중 13건(93%, 95% CI 68–98%)을 순차분석이 막았다. 저자들은 음성 메타분석이 양성 메타분석보다 갱신될 가능성이 1.67배(95% CI 0.92–2.68)라는 사후분석까지 붙이며, 실제 위양성 비율은 이보다 더 높을 것이라고 적는다 (PMID 27519923).
응급의학과 관련된 체계적 문헌고찰·메타분석 332편(적격 메타분석 431개, 개별 연구 결과 3,129개, 이 중 83%가 무작위시험)을 통합한 우산 리뷰의 숫자는 이렇다. 모든 연구를 통틀어 오즈비 중앙값은 0.70이었다. 각 메타분석 안에서 가장 이른 연구의 효과가 평균적으로 전체 통합 효과보다 큰 이득을 보였다. 431개 메타분석 중 실험적 개입에 유리하면서 동시에 소규모 연구 효과나 과잉 유의성의 신호가 전혀 없었던 것은 57개(13%)였고, 그중 오즈비 0.70을 탐지할 검정력 80% 이상의 연구를 한 편이라도 가진 것은 12개였다. 그 12개 안에서는, 충분한 검정력을 가진 시험에서 사망을 유의하게 낮춘 개입이 없었다 — 431개 전체가 아니라, 편향 신호가 없고 검정력까지 확보된 12개를 놓고 본 결과다. 저자들은 연구의 검정력이 시간이 지나며 다소 높아지긴 했다는 점도 함께 적으며, 이 분야에 검정력이 제대로 확보된 시험이 더 필요하다는 처방으로 맺는다 (PMID 34133813).
이 숫자들이 무섭게 보인다면, 이 조사들이 전부 메타분석 방법론을 고치려고 수행됐다는 점을 함께 봐야 한다. 위양성을 93% 막은 도구는 순차분석이고, 그 도구도 같은 문헌 안에 있다.
메타분석을 "여러 연구의 평균"이라고 부르면 두 가지를 놓친다.
첫째, 단순 평균이 아니다. 통합 추정치는 각 연구에 무게를 다르게 준 가중평균이고, 그 무게는 통상 그 연구 추정치의 분산의 역수(역분산 가중)로 정해진다. 즉 정밀한 연구가 더 무겁다. 그런데 무엇이 정밀한가는 표본 크기만이 아니라 사건 수·분산·효과지표에도 달려 있다.
둘째, 어느 무게 규칙을 쓸지가 모형 선택으로 정해진다. 그리고 모형은 자료를 보고 고르는 것이 아니라 질문을 보고 고르는 것이다.
고정효과 모형과 랜덤효과 모형을 나란히 정리한 교과서적 설명은 이렇게 말한다. 고정효과 메타분석은 모든 연구가 하나의 공통 참효과를 공유한다고 가정하고, 따라서 관찰된 효과크기의 변이는 전부 표집오차 탓이라고 본다. 랜덤효과 메타분석은 효과들의 분포의 평균을 추정하며, 연구마다 참효과가 다를 수 있다고 가정한다. 이 모형에서 관찰된 변이는 연구 내 분산(표집오차)과 연구 간 분산(통계적 이질성) 둘 다에서 온다 (PMID 34550583).
여기서 읽는 사람에게 중요한 결과가 나온다. 같은 초록이 그 결과를 이렇게 적는다. 두 모형 모두 역분산 가중을 쓰지만, 랜덤효과 모형은 공유되는 연구 간 분산을 분모에 더하기 때문에 무게가 더 고르게 퍼진다 — 즉 작은 연구에 상대적으로 더 큰 무게가 가고, 큰 연구에는 더 작은 무게가 간다. 표준오차도 이 무게에서 나오므로 랜덤효과의 신뢰구간은 고정효과보다 넓다. 그리고 통계적 이질성이 있을 때 고정효과 모형은 구간을 지나치게 좁게 만들 수 있다 (PMID 34550583).
이것이 뒤의 §흔한 오해 ④("랜덤효과가 더 보수적이니 안전하다")에서 다시 나올 오해 하나의 뿌리다 — "랜덤효과는 구간이 넓으니 더 보수적이고 안전하다"는 문장은 구간에 대해서는 맞지만 점추정치에 대해서는 맞지 않는다. 랜덤효과로 바꾸면 작은 연구의 비중이 커지고, 작은 연구가 체계적으로 다른 답을 주는 상황이라면 통합 추정치 자체가 그쪽으로 끌려간다.
모형 선택을 "결과를 보고" 하지 말라는 지침도 명시적으로 나와 있다. 한 입문 해설은 이렇게 정리한다 — 통합할 연구들이 설계·방법·표본 특성에서 대체로 비슷해서 결과값들이 하나의 참값 주변의 표본 변동이라고 볼 수 있을 때 고정효과 모형을 쓰고, 연구들이 의미 있게 다르고 결과값들이 여러 참값들 주변의 변동이라고 볼 수 있을 때 랜덤효과 모형을 쓴다. 이 개념적 판단이 사전에 모형을 정해야 하며, 분석 결과를 눈으로 본 뒤에 고르는 것이 아니다. 같은 글이 모형 선택이 숲그림의 연구별 가중치를 어떻게 바꾸는지, 통합 추정치와 그 정밀도와 통계적 유의성 획득 가능성을 어떻게 바꾸는지도 함께 설명한다 (PMID 41180834).
두 모형이 같은 결과를 낼 수도 있고 상반된 결과를 낼 수도 있는데, 설령 결과가 비슷해도 통합 추정치의 뜻이 다르다. 한 해설은 두 접근이 포함 연구들의 치료효과에 대해 서로 다른 가정을 두고 있으므로, 선택은 각 접근을 특징짓는 가정의 임상적 타당성에 근거해야 하고, 랜덤효과 메타분석에서는 예측구간을 쓰라고 권한다 (PMID 24692250). 다른 두 짧은 해설은 각각의 자리를 이렇게 요약한다 — 고정효과 모형은 상당한 연구 간 이질성 앞에서도 정밀도가 우선일 때 쓸모 있는 도구이고 (PMID 37858407), 랜덤효과 모형은 연구 내·연구 간 변이를 함께 설명할 수 있어 환자·인구 요인에서 오는 내재적 차이가 흔한 외과 분야의 메타분석에 적합하다 (PMID 37945406). 개념적 차이를 처음부터 다시 짚는 고전적 입문도 있다 — 두 모형이 비슷한 공식을 쓰고 때로 비슷한 추정치를 내기 때문에 서로 바꿔 쓸 수 있다고 오해하기 쉽지만, 실제로는 자료에 대해 근본적으로 다른 가정을 담고 있다 (PMID 26061376).
랜덤효과에서 각 연구의 무게는 "그 연구 추정치의 분산 + 연구 간 분산"의 역수인데, 연구 간 분산 자체가 자료에서 추정된 값이다. 이 점을 정면으로 다룬 통계 논문은 이렇게 적는다 — 무게에 들어가는 분산성분 추정량이 확률변수이고 연구별 효과크기 추정량과 상관돼 있기 때문에, 연구 수가 많지 않으면 통상적인 정규근사가 매우 부정확하다. 저자들은 연구 수가 고정되어 있거나 연구 크기보다 느리게 늘어나는 상황에서의 점근적 성질을 정리하고, 재표집 기법으로 추론의 정확도를 개선한다 (PMID 26688589).
읽는 사람에게 이것이 뜻하는 바는 단순하다. 연구가 몇 편 안 되는 랜덤효과 메타분석의 신뢰구간은 액면 그대로 받으면 안 된다. 그리고 실제로 무슨 방법을 썼는지가 논문에 적혀 있어야 한다. 종양학 상위 저널에 2015~2022년 발표된 연구를 본 조사에서, 절반 이상(55.7%)이 랜덤효과 메타분석의 세부 방법을 아예 보고하지 않았다. 보고한 것 중에서는 DerSimonian-Laird 추정량이 여전히 지배적이었다 — 2014년 이후 여러 방법론 논문이 이 추정량이 편향된 추정치와 거짓으로 높은 정밀도를 만들 수 있다고 지적하고 대안을 권해 왔는데도 (PMID 38219287).
이 통념은 고정효과 모형 아래에서는 필연적으로 참이다. 그런데 랜덤효과 모형에서는 연구 간 분산이 들어가고 그 값을 추정해야 하기 때문에 검정력에 불리하게 작용할 수 있다. 랜덤효과 메타분석의 검정력과, 거기에 기여한 개별 연구들의 평균 검정력을 나란히 계산할 수 있는 방법을 만들어 Cochrane 데이터베이스의 메타분석 1,991편에 소급 적용한 연구가 있다. 결과는 이렇다 — 실제로는 연구가 5편 이상은 되어야 랜덤효과 메타분석의 검정력이 기여 연구들의 검정력보다 일관되게 높아진다. 저자들의 문장은 "메타분석이 검정력 증가를 가져온다는 가정은 우리 결과에 의해 도전받는다"이다 (PMID 28378395).
숲그림의 역사와 해부를 정리한 최근 해설은 이 점부터 짚는다. 숲그림은 처음에는 메타분석 결과를 보여 주려고 쓰였지만, 지금은 신뢰구간을 계산할 수 있는 것이라면 개별 연구의 결과를 보여 주는 데에도 널리 쓰인다 — 질적 변수든 양적 변수든, 단변량 분석이든 다변량 분석이든. 그래서 이 그림은 여러 학문 분야에 적용 가능해졌다 (PMID 41774848).
읽는 사람에게 이것은 실용적인 경고다. 한 논문 안의 숲그림이 "여러 연구를 통합한 것"일 수도 있고 "한 연구 안의 여러 하위군 또는 여러 변수"일 수도 있다. 회귀모형의 계수를 숲그림 꼴로 보여 주는 관행을 정면으로 권하는 방법론 논문도 있다 — 선형모형을 시각화하는 세 가지 숲그림 변형을 제안하며 "밋밋한 회귀표 보고와 작별하자"고 적는다 (PMID 38306346). 그러니 마름모가 있는지, 축 아래에 "통합(pooled/overall)"이라고 적혀 있는지, 이질성 통계량이 그림 안에 붙어 있는지를 먼저 확인해야 한다.
메타분석과 숲그림 읽기를 처음부터 설명하는 입문 해설을 따라가면 이렇다. 메타분석은 평균, 평균차, 표준화 평균차, 비율, 비율의 차이, 상대위험, 오즈비 등 다양한 통계량에 대해 수행할 수 있고, 그 결과가 숲그림으로 제시된다. 같은 글은 이질성·하위군 분석·민감도분석·고정효과와 랜덤효과·출판편향 탐지 같은 개념과, 메타회귀·통합분석·개인참가자자료 메타분석·네트워크 메타분석 같은 절차, 그리고 메타분석의 한계를 함께 다룬다 (PMID 33027562).
그림을 눈으로 훑는 순서를 정해 두면 좋다.
여기서 읽기 순서를 하나 제안한다. 마름모를 먼저 보지 말고 줄들을 먼저 보라. 마름모는 눈에 가장 먼저 들어오지만, 그 마름모가 요약해도 되는 것인지를 결정하는 정보는 줄들에 있다. 줄들이 세로선의 한쪽에 몰려 있는가, 양쪽에 흩어져 있는가. 신뢰구간들이 서로 겹치는가. 상자 하나가 유난히 큰가.
마지막 질문이 특히 중요하다. 무게가 한 연구에 몰려 있으면, 그 마름모는 사실상 그 한 연구다.
숲그림이 감당하지 못하는 상황이 있고, 그때 쓰라고 만들어진 그림들이 있다. 이것들이 논문에 나오면 당황하지 않아도 되도록 이름만 적어 둔다.
뒤에서 출판편향을 다룰 때 다시 나오지만, 이름을 여기서 한 번 정리해 둔다. 깔때기 그림(funnel plot)은 의료기관·의료진의 성과 지표를 견주는 데에도 쓰인다. 짧은 해설 하나는 그 용도를 이렇게 요약한다 — 깔때기 그림은 결과의 편차가 실제인지 우연인지를 보여 주며, 편차가 질적 결함 때문인지 다른 요인 때문인지를 가리려면 다른 방법이 필요하다 (PMID 42100916).
같은 그림을 누가 읽을 수 있는지도 재 본 적이 있다. 2013년 영국에서 일반외과 의사별 위험보정 성과 자료가 처음 공개됐을 때, 대부분의 전문과가 깔때기 그림을 썼다. 가상의 성과 자료를 깔때기 그림으로 만들어 일반인·의대생·비외과 의사·외과 의사 각 10명에게 5분간 보여 주고 설문한 연구에서, "가장 성적이 나쁜 외과의"를 짚어 내는 데서 외과 의사와 일반인 사이(P < 0.01), 비외과 의사와 일반인 사이(P < 0.01)에 유의한 차이가 있었다. 비외과 의사와 외과 의사 사이에는 차이가 없었다. 일반인은 이 그림을 외과 의사보다, 비외과 의사보다 유의하게 "더 어렵다"고 답했다. 의대생과 일반인의 절반이 이 정보를 의사결정에 쓰겠다고 답한 반면 의사들은 80%가 그렇다고 답했다 (PMID 25600357).
숲그림 아래에 이런 줄이 붙어 있다(아래 숫자는 실제 연구의 것이 아니라 설명을 위해 지어낸 예시다).
Heterogeneity: τ² = 0.04; χ² = 38.2, df = 14 (P < 0.001); I² = 63%
네 개의 숫자가 있고, 넷은 서로 다른 질문에 답한다. 그리고 넷 중 어느 것도 "효과가 얼마나 다른가"에 직접 답하지 않는다.
Q 통계량은 각 연구의 추정치가 통합 추정치에서 얼마나 떨어져 있는지를 무게를 실어 제곱합한 값이고, 그 값을 카이제곱 분포에 견줘 p값을 낸다. 귀무가설은 "모든 연구의 참효과가 같다"이다.
Q의 한계는 오래전부터 정리돼 있다. Q 검정은 이질성이 있느냐 없느냐만 알려 주고 그 정도는 알려 주지 않는다. 그리고 검정력이 연구 수에 크게 좌우된다 — 몬테카를로 시뮬레이션으로 Q 검정과 I²의 신뢰구간을 비교한 연구는 I²가 Q 검정의 보완으로 유용하다고 결론지으면서, 다만 연구 수가 적을 때는 I²도 같은 검정력 문제를 갖는다고 함께 적는다 (PMID 16784338).
여기서 자주 나는 사고가 하나 있다. "P > 0.05니까 이질성이 없다"는 말은 성립하지 않는다. 이 검정의 성능이 연구 수에 의존하기 때문이다 — 애초에 I²가 제안된 이유 중 하나가 그것이었고 (PMID 12111919), 연구 수가 적을 때 검정력이 부족하다는 점은 I²와 나란히 비교한 시뮬레이션에서도 확인됐다 (PMID 16784338). 그리고 Q 검정은 이질성의 정도를 아예 보고하지 않는다.
Q에는 정의되지 않는 상황도 있다. 희귀사건 메타분석 — 어느 군에서 사건이 0인 연구가 섞인 경우 — 에서는 통상적인 Q 통계량이 정의되지 않는다. 이 문제를 다룬 논문은 각 연구의 사건 주변합에 조건을 건 조건부 이항분포를 바탕으로 한 새 카이제곱형 통계량을 제안하고, 희귀사건 상황에서는 카이제곱 근사가 타당하지 않아 귀무분포를 모수적 붓스트랩으로 얻어야 한다는 것을 붓스트랩으로 보인다 (PMID 36306466).
I²는 2002년에 제안됐다. 원 논문은 이렇게 설명한다. 이질성의 정도는 연구 간 분산으로 잴 수 있지만 그러면 해석이 특정 효과지표에 묶인다(τ²가 그렇다). 그리고 이질성의 존재에 대한 검정은 있지만 그것은 연구 수에 의존한다(Q가 그렇다). 그래서 저자들은 연구 수와 효과지표에 독립적인, 이질성이 메타분석에 미치는 영향의 척도를 수학적 기준에서 도출한다. H, R, 그리고 I² 세 통계량이 그것이고, I²는 연구별 추정치의 총 변이 중 이질성에 기인하는 비율을 기술한다. 저자들의 결론은 H와 I²를, 또는 둘 중 하나를, 이질성 검정보다 우선해 보고하라는 것이었다 (PMID 12111919).
I²가 제안되고 20여 년 뒤에 이 지수를 되짚은 회고 논문이 있다(2026년). 그 글은 I²가 결과의 총 변이 중 무작위 오차가 아니라 참 이질성에 기인하는 비율을 근사적으로 잰다고 다시 적고, 이 지수가 극도로 널리 쓰이게 됐지만 이질성의 절대량을 재는 척도로 자주 오해된다 — 그것은 I²가 아니다라고 못박는다. 그리고 I²를 가중제곱합으로 보는 새 해석을 제시하며 실제 사용에 대한 권고를 붙인다 (PMID 41992898).
"절대량이 아니다"가 무슨 뜻인지를 가장 짧게 보여 준 글은 이렇다. 어떤 개입의 평균 효과크기가 50점이라고 하자. 우리가 알고 싶은 것은 이 효과가 인구에 따라 40에서 60 사이로 변하는지, 10에서 90 사이로 변하는지다. 그것이 개입의 실용적 가치를 정하니까. 그런데 I²가 50%라는 말을 들어도 그 범위가 40~60인지 10~90인지 알 방법이 없다. 그러니 예측되는 효과의 범위를 알리고 싶으면 그냥 그 범위를 보고하라는 것이 저자의 처방이다 (PMID 28058794).
같은 저자가 더 길게 쓴 글은 문제를 이렇게 정리한다. 어떤 치료가 모든 연구에서 중간 정도의 임상적 영향을 갖는 것과, 평균적으로는 중간이지만 어떤 연구에서는 크고 어떤 연구에서는 사소한(또는 해로운) 것은 전혀 다른 상황이다. 그런데 대다수 메타분석이 이질성을 I²로 정량화하고 있고, 이 관행은 흔하지만 옳지 않다. I²는 (0%일 때를 빼면) 효과크기가 얼마나 변하는지를 말해 주지 않는다. 그 정보를 주는 통계량은 예측구간이며, 그것이 연구자와 임상의가 "이질성"을 물을 때 실제로 알고 싶어 하는 것 — 그리고 I²가 준다고 (잘못) 믿고 있는 것 — 이다 (PMID 38938910).
같은 논지를 Q·p값·I²·τ²·예측구간의 역할 분담으로 다시 정리한 글도 있다. 저자는 이렇게 적는다. 연구자들은 보통 Q값·p값·I² 같은 통계량들을 보고하고, 그 값으로 이질성을 낮음·중간·높음으로 분류한 뒤, 그 분류를 개입의 잠재적 유용성을 판단하는 데 쓴다. 이 관행은 어디에나 있지만 그럼에도 옳지 않다. 위 통계량들은 효과크기가 얼마나 변하는지를 실제로 말해 주지 않으며, 그것들에 기반한 이질성 분류는 잘해야 정보가 없고 흔히 오도한다 (PMID 37940120).
I²는 정의상 총 변이 중 이질성이 차지하는 비율이고, 그 총 변이에는 연구 내 분산(표집오차)이 함께 들어간다 (PMID 12111919, PMID 34550583). 그러니 실제 차이의 크기가 그대로여도 표집오차 쪽이 작아지면 비율은 올라간다. 이것이 "I²가 크다 = 연구들이 많이 다르다"가 아닌 이유이고, 같은 이유로 I²는 비교 가능한 절대량이 아니다 (PMID 41992898, PMID 28058794).
여기까지는 정의에서 따라 나오는 이론적 성질이고, 연구 크기에 대한 것이다. 그리고 실제 자료에서는 이와 별개로, 연구 수와 통합 추정치의 극단성이 I² 값과 연관되는 것이 관찰됐다.
유병률 메타분석에서 그것이 극단적으로 드러난다. 유병률 체계적 문헌고찰이 10년 사이 10배로 늘어난 상황에서 메타분석 134편을 표본으로 조사한 연구가 있다. I²의 중앙값은 96.9%(사분위수범위 90.5–98.7)였다. 그리고 저자들은 연구 수가 많은 메타분석과 통합 추정치가 극단적인(10% 미만 또는 90% 초과) 메타분석에서 I²가 더 컸다고 관찰한다. I²가 높은 연구들은 하위군 분석을 포함한 민감도분석을 더 자주 수행했지만, 예측구간을 보고한 것은 셋(2%)뿐이었다.
저자들의 결론이 이 절의 요지다. 유병률 메타분석에서는 I²가 흔히 높게 나오지만, 연구 수와 점추정치가 I² 값과 연관될 수 있으므로 높은 I²가 늘 높은 이질성과 동의어는 아니다. I²는 변별력이 없을 수 있으니 임의의 문턱값을 피해 신중히 해석해야 하고, 이질성을 논할 때는 예측구간과 사전 계획된 민감도분석으로 추정치들의 예상 범위를 기술하는 데 집중하라는 것이다 (PMID 35088937).
Cochrane 핸드북의 I² 분류는 수천 편의 체계적 문헌고찰에 매년 영향을 준다. 이 분류를 형식논리·과학철학·통계이론의 원리로 뜯어본 2026년 논문이 있다. 그 결과는 이렇다.
Cochrane 핸드북의 분류 체계(0–25% "낮음", 25–75% "중간", 50% 이상 "높음")는 정의가 서로 겹친다. 같은 값이 둘 이상의 범주를 만족한다 — 예컨대 I² = 50%는 "중간"(25–75%)이면서 동시에 "높음"(50% 이상)이다. 이 구조는 하나의 값을 여러 범주에 배정하며, 일관되고 상호배타적인 분류를 요구하는 원칙에서 벗어난다. 그리고 저자들이 계보를 추적한 결과, 1차 문헌은 선택된 문턱값에 대한 명시적 이론적·경험적 정당화를 제한적으로만 제공하고 있었다. 현행 접근은 I²를 이질성 탐색을 위한 의사결정 도구가 아니라 해석의 종착점으로 쓰고 있다는 것이 저자들의 진단이다.
⭐여기서 이 논문의 결론을 그대로 옮기는 것이 중요하다. 저자들은 I²를 버리라고 하지 않는다. 결론은 현행 분류 체계가 모호함을 만들고 결과 맥락에 따라 일관되지 않은 분석적 결정을 낳는다는 것, 그리고 근거 종합에는 결과의 유형과 예상 변이를 반영하는 맥락 특이적 틀이 필요하다는 것이다. 저자들이 제안하는 PIOHA 틀의 목적은 이질성 평가를 임상적 중요성에 맞추면서 I²를 분석적 의사결정 도구로 보존하는 것이다 (PMID 42359156).
τ²는 연구 간 참효과의 분산이다. I²와 달리 크기를 말한다. 다만 그 크기가 효과지표의 척도에 묶여 있어서 — 위 예시처럼 로그 오즈비의 τ²가 0.04라고 해도 그것이 임상적으로 무엇을 뜻하는지 곧바로 오지 않는다 — 해석이 어렵고, 그것이 애초에 I²가 제안된 이유였다 (PMID 12111919).
τ²의 추정 자체도 만만치 않다. 랜덤효과 모형에서 이질성 분산 모수를 추정하는 방법들을 정리한 장(章) 하나는, 이 모수가 실제로 무엇을 나타내는지와 이질성의 가능한 설명들을 통계적으로 어떻게 탐색할 수 있는지를 함께 다루며, 마지막에 출판편향을 "관찰된 효과 추정치들이 왜 예상과 다른 분포를 이루는가"에 대한 대안적 설명으로 붙인다 (PMID 34550584). I²의 점추정치와 구간추정치를 여러 방식으로 계산해 비교한 시뮬레이션 연구는, I²로 이질성의 정도를 해석할 때 구간추정치를 함께 봐야 한다는 점을 전제로 삼는다 — I²가 큰 불확실성을 가질 수 있기 때문이다. 그 연구의 권고는 상황에 따라 갈린다: 연구 간 분산이 클 때는 Sidik-Jonkman 방법이 정밀한 점추정치를 줬고 그 밖에는 DerSimonian-Laird가, 구간추정에서는 효과지표가 평균차나 표준화 평균차일 때 Q-profile·Biggerstaff-Jackson·Jackson 방법이, 로그 오즈비일 때 Kulinskaya-Dollinger 방법이 권장됐다 (PMID 38502022).
이질성 척도를 넷 비교한 연구도 있다. I²와 세 가지 비(比) 척도를 검정통계량처럼 다뤄 실제 자료 기반 시뮬레이션으로 검정력을 비교했더니, I²의 검정력은 Q에 상당히 가까웠고 네 척도 중 둘은 어떤 경우 검정력이 낮았다. I²와 또 하나의 척도는 서로 꽤 잘 일치했지만 다른 모든 짝은 대체로 일치도가 나빴다. 저자들의 권고는 두 겹이고, 그 첫 겹을 빼면 안 된다 — 네 척도 가운데 I²와 R̂I를 이질성 측정용으로 권하되, 이질성 척도는 임상적으로 직관적 해석을 갖는 기술통계로 쓰고 그 크기만 보고 이질성의 "유의성"을 판정하지는 말라는 것 (PMID 31234230). 효과의 크기 대비 흩어짐을 보려고 변동계수(연구 간 표준편차를 관심 효과로 나눈 값)를 쓰자는 제안도 있다. 다만 이 척도는 효과가 작을 때 값이 매우 커져 해석이 어려워진다는 한계가 있고, 그래서 그 논문은 0과 1 사이에 놓이는 변형과 좋은 포함확률을 갖는 구간추정량을 함께 제시한다 (PMID 34328266).
예측구간은 "비슷한 새 연구 한 편의 참효과가 놓일 것으로 예상되는 범위"다. 신뢰구간이 평균에 대한 것이라면 예측구간은 개별 연구에 대한 것이다.
이것을 일상적으로 보고하자고 정면으로 주장한 논문이 규모 있는 근거를 댄다. Cochrane 데이터베이스 2009~2013년 호에서 각 개입 리뷰의 첫 번째 메타분석을 골라 — 이분형 결과 2,009편, 연속형 결과 1,254편 — 95% 예측구간을 계산했다. 그중 랜덤효과에서 통계적으로 유의하고(P < 0.05) 이질성이 있는(I² > 0) 메타분석 479편을 보니:
저자들은 예측구간으로 새 시험이 음의 효과를 보일 확률을 계산하고 새 시험의 검정력 계산을 개선하는 방법도 함께 보인다. 결론은 예측구간이 서로 다른 세팅에 걸친 치료효과의 변이를 반영하며 — 임상의가 앞으로 치료할 환자에게서 무엇을 기대할지를 포함해 — 더 유익한 추론을 위해 일상적으로 보고돼야 한다는 것이다 (PMID 27406637).
이 도구를 근거 등급 체계에 실제로 붙여 본 시도도 있다. GRADE의 부정확성(imprecision)과 비일관성(inconsistency) 두 영역을 예측구간 하나로 동시에 평가하자는 제안인데, 메타분석의 예측구간을 상대위험 척도에서 적절한 기저위험을 써서 절대 위험차 척도로 변환한 뒤 이해관계자가 제시한 문턱과 견주는 방식이다. Cochrane 데이터베이스에서 뽑은 편의표본 메타분석 2,516편(연구 수 중앙값 7, 사분위수범위 5–11)에 적용해 기존 방식과 비교했더니, 두 접근이 같은 수의 등급을 내린 비율이 59%였고, 예측구간 접근이 등급을 더 내린 경우가 27%, 덜 내린 경우가 14%였다. 저자들의 결론은 이 접근이 실현 가능하고 논리적으로 보이지만 확실성 등급을 낮추는 쪽으로 작용할 수 있으며, 맥락 특이적 문턱과 근거-결정 기준을 써서 앞으로의 리뷰·지침에서 더 검증돼야 한다는 것이다 (PMID 39322122).
이질성 정량화 도구들을 비교한 다른 해설도 같은 방향으로 착지한다 — 여러 도구가 있고 각기 장단이 있는데, 예측구간이 가장 유익할 수 있다. 이질성을 명료하고 임상적으로 의미 있는 형태로 정량화하게 해 주기 때문이다. 다만 어느 도구를 쓸지는 연구자의 재량이며 연구 착안 단계에서 정해야 한다는 단서가 붙는다 (PMID 37296492).
구강보건 분야 체계적 문헌고찰을 2021~2023년 21개 저널에서 모아 본 조사가 있다. 313편의 메타분석에서 랜덤효과 모형이 89%(n = 278) 쓰였고, I² 값을 보고한 것이 98%(n = 308), τ² 값을 보고한 것이 51%(n = 160)였다. I² 중앙값은 76%(범위 0–100%), τ² 중앙값은 0.29(범위 0–2,632)였고 τ²를 보고한 것 중 13%(20/160)는 τ²가 0이었다. 이질성 해석의 근거를 I²에 둔 것이 96%(n = 299)였고 τ²에 둔 것은 21편(7%)뿐이었다. 메타분석 모형을 사전에 정한 것이 49%(n = 152)였는데 그 선택을 정당화한 것은 그중 41%(63/152)였고, 313편 중 42%(n = 131)는 I² 값을 보고 모형을 골랐다. 저자들은 이것을 I²에 대한 과의존으로 부르며, 모형 선택과 이질성 해석에서 I²를 부적절하게 쓰는 것이 최종 사용자에게 전달되는 결론의 질에 영향을 줄 수 있다고 적는다 (PMID 39962342).
심부전 분야에서도 비슷한 조사가 있다. 2009년 1월부터 2019년 7월까지 영향력지수가 높은 11개 저널에 실린 심부전 관련 연구수준 메타분석 126편(결과 612개)에서, 이질성이 보고된 것은 108편의 메타분석에 속한 결과 422개(68.9%)였다. 이질성이 보고된 422개 중 137개(32.5%)는 I² = 0%, 40개(9.5%)는 I² < 25%, 76개(18%)는 I² 25–50%, 169개(40%)는 I² > 50%였다. 이질성의 원인을 탐색하는 데 가장 흔히 쓰인 기법은 민감도분석(68건), 그다음이 하위군 분석(59건)과 메타회귀(40건)였다. 저자들의 결론은 결과의 약 30%에 대해 이질성이 아예 보고되지 않았다는 것과, 처리 방식이 들쭉날쭉하다는 것이다 (PMID 33131285).
이 질문을 시뮬레이션으로 직접 다룬 연구가 있다. 이질성이 임상적·방법론적·통계적 기원을 가질 수 있다는 전제에서, I²가 이질성을 얼마나 정확히 반영하는지와 이질성이 메타분석 결과의 예측값에 어떤 영향을 주는지를 봤다. 결과는 이렇다.
예상대로 이질성이 커지면 I²가 커지고 메타분석에서 올바른 추론을 끌어낼 가능성이 낮아졌다. 그런데 이질성 수준이 낮을 때는 I²가 메타분석 결과의 정확도를 예측해 주지 못했다. 그리고 이질성 수준이 높을 때는 I²가 낮은 메타분석조차 예측값이 낮았다. 실제 상황에서는 대개 이질성 수준을 모르는데, 그 경우 I² 산출은 예측값이 낮은 추정치(높은 I²)를 식별하는 데는 도움이 된다. 반대로 I²가 낮고 이질성 수준을 모를 때는 통합 추정치의 예측값이 넓은 범위에 걸칠 수 있으므로 신중히 해석해야 한다. 저자들의 결론은 I²를 통한 통계적 이질성 정량화가 임상적 이질성의 양을 모르면서 I²가 높을 때에만 도움이 된다는 것, 그리고 임상적·방법론적 이질성 수준을 객관적으로 정량화할 방법이 시급히 필요하다는 것이다 (PMID 24320992).
같은 구분을 더 일반적으로 정리한 논평도 있다. 통계적 이질성은 임상적·실용적 이질성의 상관물일 뿐이고 그 상관이 때로 약할 수 있다는 것, 마찬가지로 통계적 신호가 편향을 암시할 수는 있어도 그것만 떼어 놓고는 편향 일반을, 하물며 출판편향 같은 특정 원인을 증명하거나 반증할 수 없다는 것. 저자는 이질성과 편향에 대한 위양성 신호와 위음성 신호가 둘 다 흔할 수 있다고 적는다 (PMID 19018930).
그리고 GRADE 실무에서 이 원칙이 어떻게 쓰이는지를 사례로 보인 최근 논문이 있다. 네 개의 메타분석 사례를 놓고 보니, 두 사례에서는 I²가 높았지만 눈으로 보면 점추정치들이 일관되고 신뢰구간들이 겹치며 추정치가 전부 문턱의 같은 쪽에 있었다. 그래서 비일관성으로 등급을 내리는 것이 정당화되지 않았다. 저자들은 숲그림의 시각적 검토를 통한 일관성 평가, 최적정보크기(OIS) 기반의 정밀도 평가, 연속선상의 영역 판단이 더 투명하고 결정에 유용한 확실성 등급을 뒷받침한다고 결론짓는다 (PMID 41796757).
같은 척도를 쓴다고 같은 것을 재고 있는 것도 아니다. 급성 뇌졸중 평가에 쓰이는 NIHSS를 놓고 측정 이질성을 조사한 체계적 문헌고찰이 있다. 21편의 논문, 환자 818명, NIHSS 검사 9,696건을 모았더니 운동 기능 항목의 급내상관계수가 0.85("오른쪽 다리")에서 0.90("오른쪽 팔")으로 높았던 반면 나머지 항목은 0.58("안면마비")에서 0.85("의식수준-명령수행")에 걸쳐 있었다. 메타회귀에서는 언어판, 원격 평가, 후향적 분석 같은 공변량의 효과크기가 작았다. 저자들의 결론은 NIHSS 점수가 중간에서 우수한 수준의 평가자 간 일치도를 보이며 비운동 기능 평가에서 이질성이 가장 크다는 것이다 (PMID 39240475).
임상적 이질성을 어떻게 조사할 것인가에 대해서는 아직 합의가 없다. 관련 지침을 담은 자료 101건(서술적 리뷰·방법론 리뷰·통계 논문·교과서)을 모아 정리한 방법론 리뷰는, 이 자료들이 대체로 비뚤림 위험은 낮았지만 그들 사이의 합의는 최소한이었다고 적는다. 그럼에도 모을 수 있었던 권고는 이렇다 — 임상적 이질성 조사를 리뷰 프로토콜에 명시할 것, 리뷰 팀에 임상 전문가를 넣을 것, 공변량을 참가자·개입·결과·연구 세팅 수준에서 고를 것, 각 공변량에 분명한 과학적 근거를 둘 것, 공변량당 충분한 수의 시험이 있을 것, 그리고 결과를 신중히 해석할 것 (PMID 22846171). 같은 팀이 이후 델파이 방식으로 만든 합의 권고는 임상적 이질성을 "임상적으로 관련된 특성의 차이에서 오는 치료효과의 변이"로 정의하고 12개 범주에 걸쳐 권고를 낸다 — 리뷰 팀 구성, 조사 계획, 변수 선택의 근거, 통계적 이질성의 역할, 그림과 시각 보조도구의 사용, 이상치 연구를 다루는 법, 조사·변수의 수, 통계 방법의 종류, 결과 해석, 보고 등 (PMID 24004523).
이질성이 클 때 어떻게 다룰지에 따라 결과가 얼마나 달라지는지를 실제 자료로 보인 연구도 있다. 장기 정신역동 심리치료 메타분석 하나를 골라 예측구간 계산, 이질성 검정, 베이지안 메타분석, 메타회귀, 하위군 분석으로 다시 돌렸더니 메타분석 결과와 그 함의가 접근에 따라 상당히 달라졌다. 저자들의 결론이 정직하다 — 메타분석의 통합 추정치를 믿을지 말지는 대체로 거기 있는 임상적 이질성의 주관적 관련성에 달려 있고, 어떤 단일한 분석·해석 전략도 모든 맥락과 패러다임에서 타당할 수 없으므로 이질성의 역할에 대한 자기 믿음을 되돌아볼 필요가 있다는 것 (PMID 23494781).
깔때기 그림은 각 연구의 효과크기를 가로축에, 정밀도(표준오차의 역수, 또는 표준오차, 또는 표본 크기)를 세로축에 놓은 산점도다. 편향이 없다면 정밀한 연구는 위쪽에 좁게 모이고 정밀하지 않은 연구는 아래쪽에 넓게 흩어져 뒤집힌 깔때기 모양이 된다. 깔때기의 한쪽이 비어 있으면 그쪽 결과를 낸 연구들이 없거나 못 찾은 것 아니냐는 의심이 생긴다.
이 논리를 소개하는 한 해설도 마지막에 조건을 붙인다 — 깔때기 그림의 단순한 분석이 메타분석에 편향이 있을 가능성에 대한 유용한 검사를 제공하지만, 소수의 작은 시험에 기반한 메타분석에서는 편향을 탐지할 능력이 제한되므로 그런 분석의 결과는 상당한 주의를 갖고 다뤄야 한다는 것 (PMID 10724898).
그리고 이 그림에서 실제로 관찰되는 현상에는 더 넓은 이름이 있다. 소규모 연구 효과(small-study effects) — 작은 연구와 큰 연구의 추정치가 체계적으로 다른 현상. 출판편향은 그 원인 중 하나일 뿐이다.
골관절염 임상연구를 대상으로 한 메타역학 연구가 있다. 고관절·슬관절 골관절염 환자에서 치료적 개입을 위약 또는 무개입 대조와 비교하고 환자보고 통증을 결과로 쓴 무작위시험 153편(환자 41,605명)이 들어간 메타분석 13편을 봤다. 평균적으로 작은 시험에서 치료효과가 더 유리했다(효과크기 차이 −0.21, 95% CI −0.34~−0.08, P = 0.001). 기준에 따라 13개 중 6~8개의 깔때기 그림이 소규모 연구 효과를 시사했다. 그리고 결정적인 대목은 이것이다 — 13편 중 6편에서 전체 통합 추정치는 임상적으로 관련 있는 유의한 이득을 시사했는데, 큰 시험만으로 제한한 분석과 큰 시험에 대해 예측한 효과는 더 작고 유의하지 않은 추정치를 냈다 (PMID 20639294).
중환자의학에서도 같은 조사가 있다. 사망을 결과로 보고한 무작위시험 메타분석 27편(시험 317편)에서 작은 시험(각 군 100명 미만)과 큰 시험을 견줬더니, 개별 메타분석 5편에서 통계적으로 유의한 오즈비의 비(< 1)가 나왔고 나머지는 유의하지 않았다. 통합 오즈비의 비는 0.60(95% CI 0.53–0.68)이었고 이질성은 중간이었다(I² 50.3%). 저자들은 큰 시험이 순서 생성·배정은폐·눈가림·의도치료분석·표본수 계산·불완전 추적자료 보고 등 방법론적 보고 질에서 작은 시험보다 유의하게 나았다는 점을 함께 보고하며, 소규모 연구 효과가 부분적으로는 작은 시험의 낮은 방법론적 질로 설명될 수 있다고 적는다 (PMID 23302257).
구강·악안면 분야의 메타역학 연구는 여러 연구 특성을 한꺼번에 봤다. 이분형 결과에 5편 이상의 연구가 들어간 메타분석 281편을 모아, 특성별 오즈비의 비를 랜덤효과 메타회귀로 계산해 통합했다. 각 특성은 그 특성을 비교할 수 있는 메타분석에서만 계산됐다 — 281편은 확인된 전체 풀이지 각 추정치의 분모가 아니다. MEDLINE 비색인 대 색인은 메타분석 78편에서 1.12(95% CI 1.05–1.19, P = 0.001), 작은 시험(200명 미만) 대 큰 시험(200명 이상)은 80편에서 0.92(95% CI 0.87–0.98, P = 0.009)였다. 반면 언어(61편, P = 0.546), 설계(24편, P = 0.576), 불균등 배정(36편, P = 0.828)은 유의한 차이를 보이지 않았다. 저자들의 결론은 방향까지 적는다 — MEDLINE에 색인된 연구가 색인되지 않은 연구보다 더 큰 효과를 보일 수 있고, 작은 무작위시험이 큰 시험보다 더 큰 효과를 보일 수 있다는 것 (PMID 24855929).
COVID-19 치료 메타분석에서도 같은 질문이 최근 반복됐다. WHO·NIH·LIVING 프로젝트에 포함된 메타분석에서 시험을 크기로 분류하고 큰 시험만, 작은 시험만, 전체를 각각 통합했다. 메타분석 25편, 무작위시험 221편(큰 시험 46편, 작은 시험 175편)에서 작은 시험이 19개 분석에서 더 극단적인 추정치를, 23개 분석에서 더 넓은 신뢰구간을 냈다. 통합 오즈비의 비는 0.85(95% CI 0.76–0.95, P = 0.004)였고, 첫 대규모 시험 이전에 발표된 작은 시험으로 제한하면 0.81(95% CI 0.68–0.95, P = 0.011)로 더 내려갔다. 안정성 지표에서도 큰 시험이 유리했다(취약성 지수 14.0 대 4.0, 역취약성 지수 10.0 대 5.0) (PMID 41793162).
⭐그런데 모든 분야에서 그런 것은 아니다. 신경외과 메타역학 연구가 정반대 결과를 냈다. 다섯 개 신경외과 저널에서 메타분석을 모아 작은 연구와 큰 연구 사이 오즈비의 비를 계산했더니, 메타분석 16편(1차 연구 229편, 환자 90,629명)에서 평균적으로 작은 연구가 더 큰 이득을 보이지 않았다. 통합 오즈비의 비는 1.32(95% CI 0.89–1.75)였고, 메타분석의 효과크기와 이질성으로 층화해도 비슷했다.
이 논문의 결론을 잘라 쓰면 안 된다. 저자들은 "신경외과 문헌에는 출판편향이 없다"고 하지 않는다. 정반대다 — 신경외과 메타분석에서 소규모 연구 효과가 없는 것은 출판편향의 부재라기보다, 크고 작은 연구 모두에 걸친 신경외과 문헌의 광범위한 질적 저하를 반영하는 것일 수 있다는 것이다 (PMID 34656237).
⭐그리고 소규모 연구 효과가 있어도 결론이 견고할 수 있다. 조현병 약물치료의 상대적 효과와 순위를 다룬 네트워크 메타분석 — 시험 167편, 환자 36,871명, 항정신병약 15종과 위약 — 을 놓고, 작은 시험이 더 큰 치료효과와 연관되는지, 발표 확률이 효과 크기와 연관되는지를 새 시각·통계 방법과 선택모형으로 탐색한 연구가 있다. 결과는 이렇다. 작은 위약대조 시험들이 항정신병약의 효능을 약간 과장했고, 위약대조 근거에서 출판편향의 가능성이 낮지 않았다. 그럼에도 항정신병약들의 순위는 견고했다. 저자들의 설명은 전체 근거에 직접비교 시험이 많고 그 시험들은 소규모 연구 효과나 출판편향에 취약해 보이지 않기 때문에, 간접 근거가 위약대조 시험의 편향 일부를 "씻어 내는" 것으로 보인다는 것이다 (PMID 26210055).
Cochrane 데이터베이스의 메타분석 29,932편에 여섯 가지 척도를 적용해 소규모 연구 효과의 크기 분포를 그리고, 그 분포의 분위수를 기준으로 "얼마면 미미하고 얼마면 상당한가"의 대략적 지침을 제안한 연구도 있다. 저자들이 지적한 문제의식이 정확하다 — 대부분의 메타분석자가 p값에 기대어 소규모 연구 효과의 유무를 이분법으로 판정하는데, 크기를 정량화하는 척도는 있어도 그 크기를 판단할 명확한 규칙이 문헌에 없었다는 것이다 (PMID 31273125).
이것이 이 절의 핵심이다. 깔때기가 비뚤어졌다고 곧바로 "출판편향"이라고 적으면 안 되는 이유가 여럿 있다.
첫째, 그림을 그리는 방식이 모양을 바꾼다. 발표된 메타분석 198편으로 이 점을 보인 연구가 있다. 깔때기 그림의 모양은 그림을 구성하는 방법의 임의적 선택에 의해 크게 좌우된다. 정밀도의 정의나 효과지표를 다르게 잡았더니, 선택편향을 시사하는 비대칭 그림 43편 가운데 37편(86%)에서 모양에 대한 결론이 바뀌었다. 저자들은 그림을 어떻게 그려야 하는지에 대한 합의가 없는 상황에서 비대칭 깔때기 그림은 신중히 해석돼야 한다고 적으며, 나아가 대규모 시험과 그에 대응하는 메타분석 사이의 불일치, 그리고 메타분석의 이질성 역시 그것들을 어떻게 평가하느냐에 따라 결정될 수 있다고 덧붙인다 (PMID 10812319).
둘째, 특정 효과지표는 인공적 상관을 만든다. 표준화 평균차를 표준오차에 대해 그리면 깔때기 그림이 왜곡되기 쉽다는 것을 실증 자료와 시뮬레이션으로 보인 연구가 있다. 그 왜곡은 출판편향의 존재와 정도를 과대평가하는 쪽으로 작용하며, 1차 연구의 표본이 작을 때와 개입 효과가 있을 때 더 심했다. 저자들은 가능하면 정규화 평균차를 쓰거나, 표준화 평균차를 표본 크기 기반 정밀도에 대해 그리라고 권한다. 결론 문장이 강하다 — 표준화 평균차를 표준오차와 함께 쓴 깔때기 그림은 출판편향 평가에 부적합하며 위양성을 낳을 수 있다 (PMID 28884685). 같은 문제를 검정 쪽에서 다룬 시뮬레이션 연구는, 표준화 평균차에서 통상적인 깔때기 비대칭 검정들이 효과크기 추정치와 그 표준오차 사이의 상관 때문에 1종 오류가 부풀려진다는 것을 보이고, 표준오차 공식을 간단히 수정하거나 분산안정화 변환을 쓰면 명목 수준에 가깝게 유지된다고 보고한다 (PMID 30506832).
셋째, 비어 있는 자리가 어디인지가 원인을 가른다. 이 통찰을 그림으로 구현한 것이 등고선 강화 깔때기 그림(contour-enhanced funnel plot)이다. 통상적 깔때기 그림에 통계적 유의성 수준의 등고선(P < 0.01, < 0.05, < 0.1 등)을 얹으면, 없어진 것처럼 보이는 연구들이 통계적으로 유의하지 않은 영역에 있을 때 출판편향 쪽에 무게가 실리고, 유의성이 높은 영역에 있을 때는 연구 질의 변동 같은 다른 요인 쪽에 무게가 실린다 (PMID 18538991). 표준오차 기반이 아니라 표본 크기 기반 깔때기 그림에 쓸 등고선을 여러 효과지표에 대해 만든 후속 작업도 있다. 그 논문은 효과 추정치와 그 표준오차가 출판편향이 없어도 서로 연관되는 경우가 잦다는 점(예: 오즈비는 둘 다 2×2 표의 네 칸에 의존한다)을 근거로, 표준오차 기반 깔때기 그림이 위양성 결론을 낼 수 있다고 지적한다 (PMID 30664834).
넷째, 시험의 목적이 편향의 방향을 뒤집는다. 깔때기 그림은 우월성 시험을 염두에 두고 개발됐다. 비열등성이나 동등성 목적의 시험에는 그대로 적용되지 않으며, 이 설계들은 역출판편향(inverse publication bias) — 영가설에서 멀리 떨어진 결과가 오히려 덜 보고되는 경향 — 에 취약할 수 있다. 고전적 출판편향이 영가설에 가까운 결과를 억누르는 것과 정반대 양상이다. 이를 다룬 최근 논문은 각 목적에 특화된 추론 경계를 얹은 "설계 인지형" 깔때기 그림을 제안하고 실제 메타분석 셋에 적용해 보이면서, 출판편향에 대한 결론이 사전에 정한 마진에 강하게 의존할 수 있으므로 그 마진에 비추어 해석돼야 한다는 단서를 결론에 붙인다 (PMID 42285374).
다섯째, 이질성·지표 선택·우연 자체가 비대칭의 대안적 설명이 된다. 출판편향 검정들을 정리한 교육 리뷰는 대부분의 검정이 깔때기 비대칭의 대안적 설명 — 연구 간 이질성, 효과지표의 선택, 우연 — 을 배제하지 못한다는 점을 첫 번째 한계로 든다 (PMID 37684502). 그리고 앞서 본 논평이 그 위에 한 겹을 더한다 — 통계적 신호는 편향을 암시할 수 있지만 그것만으로 편향 일반을, 하물며 출판편향이라는 특정 원인을 증명하거나 반증할 수 없다 (PMID 19018930).
이건 실제로 재 본 적이 있다. 의학 연구자 41명 — 메타분석 수업의 임상연구 펠로우, 임상연구 교수진, 경험 있는 체계적 문헌고찰 수행자를 포함해 — 에게 연구 10편짜리(의학 메타분석의 연구 수 중앙값) 깔때기 그림들을 보여 주고 출판편향의 영향 여부를 판정하게 했다. 평균 정답률은 52.5%(95% CI 50.6–54.4%)였다. 출판편향이 있으면 비대칭 그림이 더 잘 나타난다는 점을 보정한 가중 평균 정답률도 낮았다(출판편향과 이질적 연구효과의 유무에 따라 48.3~62.8%). 저자들의 결론은 깔때기 그림으로 출판편향을 평가하는 연구자는 그림의 모양에 오도될 수 있다는 것이다 (PMID 16085192).
그래서 눈 대신 검정을 쓴다. 검정들도 조사됐다.
Cochrane 라이브러리의 메타분석 28,655편에 일곱 가지 출판편향 검정(Begg 순위검정, trim-and-fill, Egger·Tang·Macaskill·Deeks·Peters 회귀검정)을 적용해 비교한 연구가 있다. Egger 회귀검정이 가장 자주 출판편향을 탐지했다(이분형 결과 메타분석에서 15.7%, 비이분형에서 13.5%). 검정이 통계적으로 유의하게 나오는 비율은 큰 메타분석에서 더 컸다 — 특히 Begg 순위검정과 trim-and-fill에서. Tang·Macaskill·Deeks·Peters 회귀검정 사이의 일치도는 중간 정도로 강했고(대부분 κ가 0.6 부근), Tang과 Deeks는 거의 같았다(κ > 0.9). 반면 Begg 순위검정·trim-and-fill·Egger 회귀검정 사이의 일치도는 약하거나 중간이었다(κ < 0.5). 저자들의 결론은 메타분석자가 단일 검정에 의존해서는 안 되고, 가정이 다른 여러 검정을 적용할 수 있으며, 임상시험 등록부·규제기관 기록·학회 초록을 뒤지는 비통계적 접근이 여전히 필수적이라는 것이다 (PMID 29663281).
검정력 문제도 정면으로 측정됐다. Cochrane 리뷰의 메타분석 5,014편에서, 메타분석에 들어간 연구 수의 중앙값이 87에서 14로 줄었을 때 비대칭으로 탐지되는 비율이 Egger 검정 42.6%, Harbord 검정 41.1%, Peters 검정 29.3%, Begg 검정 28.3% 감소했다. 대칭성 정도를 고정해 두어도 연구 수가 늘면 p값이 작아졌다. 시뮬레이션은 출판편향이 실제로 있을 때 이 검정들이 그 존재를 과소평가한다는 것을 확인했고, 특히 연구 수가 적을 때 그랬다 (PMID 31743750).
가정이 깨지는 경우도 있다. 연속형 결과에서 잔차 이분산이 있으면 Egger 검정과 가중회귀 기반 검정은 1종 오류율이 크게 부풀고, Begg-Mazumdar 검정은 반대로 줄어든다. 세 검정 모두 원래 검정력이 낮은데 이분산이 그것을 더 떨어뜨린다. 저자들의 결론은 연속형 치료효과에 이 검정들을 적용하는 것이 정당화되지 않는다는 것이다 (PMID 34179565).
그리고 개선안도 같은 문헌에서 나온다. 소규모 연구 효과는 결과가 이로운 것인지 해로운 것인지에 따라 특정 방향으로 나타나는데 통상적 방법은 이 방향을 거의 고려하지 않는다는 지적이 있다. Egger 회귀검정을 단측 틀로 바꾼 방향성 검정은 시뮬레이션에서 경쟁 방법들보다, 특히 대응하는 양측 검정보다 상당히 높은 검정력을 보였고 1종 오류율도 대체로 잘 통제됐다. 실제 메타분석 세 편에 적용했을 때 이 검정들은 소규모 연구 효과에 대한 위양성 결론을 배제할 수 있었다 (PMID 36914304).
이 모든 것을 사용자 관점에서 정리한 교육 리뷰가 있다. 저자들은 스포츠·운동의학 상위 두 저널에 2021년 한 해 동안 실린 메타분석 포함 체계적 문헌고찰에서 출판편향이 어떻게 평가됐는지를 단면조사하고, 최상위 저널에서도 출판편향이 자주 오용·오해되고 있다고 보고한다. 요지는 이렇다 — 출판편향은 여전히 깔때기 그림 비대칭의 육안 검토로 평가되는 일이 많은데 그 방법은 신뢰할 수 없다고 일관되게 판정돼 왔고, 그래서 통계 검정이 개발됐지만 대부분의 검정은 ①깔때기 비대칭의 대안적 설명(연구 간 이질성, 지표 선택, 우연 등)을 배제하지 못하고 ②연구 10편이라는 임의의 최소 문턱을 써도 심하게 검정력이 부족하다. 저자들의 처방은 사후 진단이 아니라 예방이다 — 사전등록, 등록보고서, 프로토콜 이탈 공개, 방향과 크기에 관계없이 모든 결과 보고. 그리고 진짜 출판편향은 판정하기가 매우 어려우므로 앞으로는 "출판편향의 위험(risk of publication bias)"이라는 용어를 쓰자고 제안한다 (PMID 37684502).
이 연결고리는 놓치기 쉽다. 출판편향이 있을 때 Q 검정과 이질성 척도가 어떻게 되는지를 해석적으로 유도하고 몬테카를로 시뮬레이션으로 확인한 연구가 있다. 결과는 이렇다 — 출판편향이 Q 검정과 이질성 평가에 미치는 영향은 크고, 복잡하고, 비선형적이다. 출판편향은 참 효과크기의 이질성을 극적으로 줄일 수도 있고 늘릴 수도 있으며, 연구 수가 많고 모집단 효과크기가 작을 때 특히 그렇다. 저자들의 결론은 출판편향이 있을 때 동질성에 대한 Q 검정과 이질성 척도 H²·I²는 일반적으로 타당하지 않다는 것이다 (PMID 30489099).
읽는 사람에게 이것이 뜻하는 바는 사납다. "I²가 낮으니 연구들이 일치한다"와 "깔때기가 대칭이니 출판편향이 없다"는 두 문장은 서로를 보증해 주지 않는다. 오히려 한쪽이 깨지면 다른 쪽 숫자도 못 믿게 된다.
가장 널리 쓰이는 것이 trim-and-fill이다. 원 논문은 메타분석에 빠져 있을 법한 연구의 수와 그것들이 결과에 미쳤을 영향을 추정하는 비모수 방법을 제안한다. 순위 기반 자료 증강 기법으로 깔때기 그림의 사용을 형식화한 것이고, 저자들은 이 방법이 그런 출판편향의 존재를 평가하는 효과적이고 비교적 강력한 검정을 제공한다고 보고한다. 빠진 연구를 보정한 뒤 전체 효과크기의 점추정치는 대략 옳게 나왔고 신뢰구간의 포함확률이 상당히 개선됐다 — 많은 경우 명목 신뢰수준을 완전히 회복했다 (PMID 10877304).
다른 계열은 선택모형(selection models) 이다. 발표 확률이 p값에 어떻게 의존하는지를 모형화해 보정한다. 이 계열을 대규모 시뮬레이션으로 평가한 논문은, 최근 제안된 p-curve와 p-uniform이 그 방법들이 설계된 제한적 상황에서는 그런대로 작동하지만 원래의 Hedges 접근만큼은 아니었고, 더 현실적인 상황에서는 나쁘게 작동한 반면 Hedges 접근의 변형들은 잘 작동했다고 보고한다. 저자들의 결론이 이 절의 요지다 — 선택모형의 이상화된 모형 가정과 모집단 평균 효과크기 추정치의 그 가정에 대한 민감성을 고려할 때, 이 방법들은 출판편향을 사후에 보정한 하나의 추정치를 얻는 용도로 쓰기보다 민감도분석으로, 즉 서로 다른 형태와 심각도의 출판편향을 가정했을 때 추정치가 어느 범위에 걸치는지를 탐색하는 데 쓰라는 것 (PMID 27694467).
그리고 문제는 방법마다 답이 다르다는 데 있다. 이 문제를 정면으로 말한 논문이 있다. 출판편향의 영향을 추정·상쇄하려고 여러 방법이 개발됐지만 최근 시뮬레이션 연구들은 각 방법의 성능이 참 자료생성 과정에 의존하며 넓은 조건 범위에서 일관되게 다른 방법들을 능가하는 방법이 없다는 것을 보였다. 저자들이 짚은 위험이 날카롭다 — 서로 다른 방법이 상반된 결론에 이를 때, 연구자는 원하는 결과를 내는 방법을 고를 수 있다. 그래서 그들은 두 계열(p값의 선택모형, 소규모 연구 효과 보정 모형)에 걸쳐 베이지안 모형평균을 하는 접근을 제안한다 (PMID 35869696).
같은 문제에 다른 각도로 접근한 제안도 있다. 소규모 연구 효과와 이상치의 영향을 명시적 모형 가정 없이 줄이려고 중앙값과 최빈값 기반 추정량을 제안한 연구다. 저자들은 발표된 메타분석 자료 재검토와 시뮬레이션으로 이 추정량들이 여러 그럴듯한 편향 기전에 대해 강건하고 이상치를 명시적으로 제거하지 않고도 강건하다는 것을 보이며, 소규모 연구 효과로 인한 편향이 의심되는 메타분석에서는 평균·중앙값·최빈값 통합 추정치를 함께 보고하라고 권한다 (PMID 32092231).
혈중 25-하이드록시비타민D 수치와 고혈압 위험의 연관을 다룬 메타역학 분석이 있다. 코호트 13편을 통합하니 비타민D가 낮을수록 고혈압 위험이 높다는 연관이 통계적으로 유의했다(통합 상대위험 1.22, 95% CI 1.05–1.41). 그런데 Egger 검정의 p값(0.015)과 깔때기 그림의 비대칭이 출판편향을 시사했다. 선형 추정량을 쓴 trim-and-fill 분석을 적용하자 전체 코호트에서 유의성이 사라졌고(보정 후 상대위험 1.03, 95% CI 0.89–1.18) 남녀 코호트에서도 마찬가지였다. 저자들의 결론은 이전 체계적 문헌고찰들의 유의한 결과가 출판편향에 기인한 것으로 해석될 수 있다는 것이다 (PMID 35568961).
이 절이 이 편에서 가장 중요한 대칭 하나를 담는다. "출판편향은 늘 효과를 부풀린다"는 문장은 틀렸다.
우울증에 대한 운동 치료를 다룬 메타분석이 2016년에 두 편 나왔다. 한 편은 무작위시험 23편, 참가자 977명을 통합해 운동이 대조 조건 대비 우울에 중간에서 큰 효과(g = −0.68)를 보였고 추적 시점에서는 작고 유의하지 않았다(g = −0.22)고 보고했다. 무개입 대비로는 크고 유의했으며(g = −1.24), 통상적 치료 대비로는 중간 크기로 유의했다(g = −0.48). 반면 심리치료 대비(g = −0.22)나 항우울제 대비(g = −0.08)는 작고 유의하지 않았고, 항우울제 보조요법으로 쓰였을 때는 중간 크기(g = −0.50)로 유의성에 근접했다. 저자들의 결론은 운동이 우울에 효과적인 개입이며 항우울제와의 병용에서 실행 가능한 보조 치료가 될 수도 있다는 것이다. 저자들은 한계로 가장 큰 임상 효과를 보인 군을 쓴 것이 운동의 효과를 과대추정했을 수 있다고 적었다 (PMID 27253219).
같은 해에 나온 다른 메타분석은 출판편향을 명시적으로 보정했다. 무작위시험 25편(주요우울장애 9편 포함)을 통합하고 랜덤효과 메타분석, 메타회귀, trim-and-fill, 안전실패수(fail-safe n) 분석을 수행한 결과, 출판편향 보정 후 표준화 평균차가 1.11(95% CI 0.79–1.43)로 크고 유의했으며 안전실패수는 1,057이었다. 그리고 결론이 반대 방향이다 — 대부분의 보정 분석은 출판편향이 효과크기를 과소추정하게 만들었음을 시사했고, 이전 메타분석들이 출판편향 때문에 운동의 이득을 과소평가했을 수 있다는 것이다 (PMID 26978184).
같은 해, 같은 질문, 겹치는 시험들. 그런데 통합 효과크기의 크기가 다르고, 한쪽은 자기 방법이 효과를 부풀렸을 수 있다고 적었고 다른 쪽은 문헌이 효과를 줄여 왔다고 적었다. 이 논문의 저자들이 직접 지목한 원인이 이 편의 주제와 정확히 맞물린다 — 포함 기준과 이질성 둘 다 보고되는 효과크기에 영향을 줄 수 있다.
항우울제 시험에서 위약 반응률이 1970년대 이래 안정적이었다고 보고한 메타분석들이 있었다. 이를 다시 분석한 연구는 그 메타분석들이 선형 시간 추세만 고려했고, 시험 수준 공변량을 단일 모형 가설검정으로만 평가했으며, 항우울제 시험에서 잘 알려진 편향인 소규모 연구 효과를 형식적으로 보정하지 않았다는 점을 지적한다. 비선형 시간 추세를 모형화하고 다중모형 접근으로 공변량의 상대적 중요도를 평가하며 소규모 연구 효과를 엄밀히 보정했더니, 위약 효능과 반응률의 비선형 시간 추세는 소규모 연구 효과로 가장 잘 설명됐다. 그리고 소규모 연구 효과를 보정하자 1979년부터 2014년까지 위약 효능(연속형)의 점진적이고 유의한 증가가 드러났다. 반응률에서도 비슷한 관찰이 있었으나 소규모 연구 효과에 더 취약해 유의성에 도달하지 못했다. 시험 수준 공변량만으로는 시간 추세를 설명하기에 불충분했다 (PMID 32848900).
여기서 읽을 것은 위약 효능에 대한 판단이 아니라 방법론이다. 보정은 있는 신호를 지우기만 하는 것이 아니라, 가려져 있던 신호를 드러내기도 한다.
편향을 통계로 보정하는 대신 없는 자료를 구해 오는 길도 있다. 두 사례가 있다.
레복세틴의 급성 우울증 치료 효과를 발표·미발표 시험 전부로 다시 본 체계적 문헌고찰이 있다. 문헌 데이터베이스, 임상시험 등록부, 시험결과 데이터베이스, 규제기관 웹사이트, 그리고 제조사의 미발표 자료까지 모아 위약 또는 SSRI 대조 급성기 시험 13편, 환자 4,098명을 분석했다. 그중 74%(3,033/4,098)의 환자 자료가 미발표 상태였다. 위약 대비 관해율에서 유의한 차이가 없었고(오즈비 1.17, 95% CI 0.91–1.51, P = 0.216), 반응률을 조사한 8편의 메타분석에서 상당한 이질성이 있었다(I² = 67.3%). SSRI 대비로는 관해율(오즈비 0.80, 95% CI 0.67–0.96, P = 0.015)과 반응률(0.80, 0.67–0.95, P = 0.01)에서 열등했다. 결정적인 문장은 이것이다 — 발표된 자료는 위약 대비 이득을 최대 115%, SSRI 대비 이득을 최대 23% 과대추정했고, 유해성은 과소추정했다. 저자들의 결론은 두 겹이다 — 이 약이 전체적으로 효과가 없고 잠재적으로 해로운 항우울제라는 판정, 그리고 발표된 근거가 출판편향에 오염돼 있어 시험 자료의 의무 공개가 시급하다는 것. 이 글이 옮기는 것은 뒤쪽이다 (PMID 20940209).
요통 진통제에 대해서도 같은 실험이 있다. 체계적 문헌고찰 5편의 포함 기준에 맞는 미발표 자료를 시험 등록부에서 찾아, 원 리뷰의 메타분석을 재현한 뒤 새 자료를 넣어 다시 돌렸다. 적격한 미발표 완료 시험이 16편이었고 자료를 얻을 수 있었던 것은 5편이었다. 두 개 리뷰가 갱신됐다. 근이완제의 효과크기는 — 최근 발생 요통에서 — 시험 2편이 추가되자 통증 강도 0–100 척도에서 −21.71(95% CI −28.23~−15.19)에서 −2.34(95% CI −3.34~−1.34)로 줄었다. 아편유사제는 — 지속성(만성) 요통에서 — 시험 3편이 추가되자 −10.10(95% CI −12.81~−7.39)에서 −9.31(95% CI −11.51~−7.11)로 줄었고, 강화 설계 하위군에서는 −12.40에서 −11.34로, 비강화 설계 하위군에서는 −7.27에서 −7.19로 줄었다.
⭐저자들의 결론을 그대로 옮기는 것이 중요하다. 근이완제 결과는 발표된 리뷰의 결론 및 최근 국제 지침과 상충한다. 그리고 아편유사제 쪽은 다르다 — 미발표 자료를 넣은 것이 아편유사제가 지속성 요통에 작은 효과를 가진다는 근거를 강화했고, 그 효과가 임상적으로 유의미하지 않을 수 있음을 더 분명히 시사했다. 즉 한쪽에서는 효과가 무너졌고 다른 쪽에서는 기존 결론이 더 단단해졌다 (PMID 31816418).
저·무열량 감미료와 심대사 결과를 놓고 근거 종합들이 서로 어긋나 상반된 지침과 대중의 혼란을 낳은 상황을, 두 가지 분석 접근을 함께 가진 체계적 문헌고찰·메타분석들로 다시 정리한 우산 리뷰가 있다. 두 접근은 나이브 분석(시험에서는 모든 비교군 대비, 코호트에서는 유병 사용 기준)과 편향보정 분석(시험에서는 의도된 또는 기준 대체 대비, 코호트에서는 사용량 변화나 의도된·기준 대체 기준)이다. 시험 기반 분석 6건과 코호트 기반 분석 5건이 포함됐다.
결과는 이렇다. 시험에서는 두 접근 모두에서 에너지·체중·체지방이 줄었고, 체질량지수와 수축기혈압은 편향보정 분석에서만 줄었다. 그리고 같은 편향보정 분석에서만 당화혈색소는 물 대비 감소폭이 더 작게 나왔다 — 보정이 유리한 결과만 드러낸 것이 아니라는 뜻이다. 코호트에서는 나이브 분석에서 비만·당뇨·뇌졸중·심혈관 및 전체 사망이 더 높은 쪽으로 연관됐는데, 편향보정 분석에서는 체중·허리둘레·비만·관상동맥심질환·심혈관 및 전체 사망이 더 낮은 쪽으로 연관됐다. 방향이 뒤집힌 것이다. 근거의 확실성은 시험 기반이 대체로 중간, 코호트 기반이 매우 낮음이었다 (PMID 41428417).
여기서 이 글이 보는 것은 감미료에 대한 판단이 아니다. 저자들의 결론은 그들의 것이고, 근거 확실성 등급도 그들이 붙인 것이다(코호트 쪽은 "매우 낮음"이다). 이 글이 옮기는 것은 하나다 — 같은 문헌을 같은 질문에 대해 통합해도, 비교 대상을 어떻게 정의하느냐에 따라 코호트 쪽 답의 방향이 뒤집혔다. 그리고 그 갈림이 지침의 갈림으로 이어졌다.
백혈구를 제거하지 않은 동종수혈과 수술 후 감염의 연관을 다룬 무작위시험 메타분석들이 왜 상반된 결과를 냈는지 추적한 연구가 있다. 세 가지 가능성을 검토했다 — 의학적 이질성의 원인들과 극단적 이질성에도 불구한 통합, 의도치료 대신 실제치료 비교에 기댄 것, 그리고 가장 최근 시험 3편의 포함 여부.
숫자가 명확하다. 2002년까지 보고된 시험 9편을 극단적 이질성에도 불구하고 합치면 의도치료·실제치료 비교 모두 연관이 있었다(통합 오즈비 1.38, 95% CI 1.03–1.85, P < 0.05 / 1.56, 1.06–2.31, P < 0.05). 2005년까지 보고된 시험 12편을 합치면 두 비교 모두 연관이 없었다(1.24, 0.98–1.56, P > 0.05 / 1.31, 0.98–1.75, P > 0.05). 그리고 두 분석 모두에서, 저장 후 여과한 적혈구·전혈을 수혈한 시험 4편만 따로 합치면 연관이 있었고, 저장 전 여과한 적혈구를 수혈한 6편(또는 9편)만 따로 합치면 연관이 없었다.
저자들의 결론은 이렇다 — 발표된 메타분석들이 상반된 결과를 낸 것은 이질성의 의학적 원인을 조사했는지 안 했는지, 그리고 가장 최근 시험들을 포함했는지 안 했는지 때문이었다. 의도치료 비교와 실제치료 비교는 오히려 일치하는 결과를 냈다 (PMID 17845256).
급성신부전 환자의 신대체요법에서 투석막이나 투석 양식이 임상 결과에 미치는 영향을 다룬 메타분석 4편이 비슷한 시기에 나왔다. 두 편은 간헐적 혈액투석에서 투석막을, 두 편은 지속적 신대체요법과 간헐적 혈액투석을 비교했다. 각 쌍의 결과가 서로 불일치했다. 저자들이 짚은 원인은 — 이것이 설명의 전부는 아니라는 단서와 함께 — 메타분석 간 포함·배제 기준의 차이, 무작위시험 자체의 부족, 개별 연구 질의 편차, 그리고 연구 인구와 세팅의 이질성이었다 (PMID 12969380, 서술적 개관).
비타민D와 골절에 대해서는 더 세밀한 조사가 있다. 2013년 10월 PubMed 검색으로 비타민D(칼슘 병용 여부 무관)와 골절에 대한 메타분석 24편을 찾아, 상위 일반의학 저널에 실린 7편을 표본으로 방법론을 비교했다. AMSTAR로 재면 이 메타분석들은 대체로 질이 높았다. 그럼에도 상세히 뜯어보고서야 드러나는 중요한 차이들이 시험 선택·자료 추출·분석 방법에 있었다.
적어도 한 편의 메타분석에 들어간 시험은 25편이었다. 자기가 밝힌 포함·배제 기준에 따라 적격한 시험을 전부 넣은 것은 4편이었고, 나머지 3편은 3~8편의 시험을 "놓쳤"으며, 2편은 부적격으로 보이는 시험을 넣었다. 개별 시험에 쓰인 상대위험 값이 메타분석마다 달랐는데, 전체 골절에서 15편 중 10편, 고관절 골절에서 12편 중 6편이 그랬다. 원인은 결과 정의와 분석 접근의 차이였다. 그리고 방향이 있었다 — 그 차이 16개 중 11개가 무작위배정된 참가자 전원을 쓴 미보정 의도치료 분석에서 나올 추정치보다 비타민D의 효능에 더 유리한 쪽이었다. 메타분석들의 결론은 "비타민D가 골절을 예방한다"는 강한 진술부터 "칼슘 없는 비타민D는 골절을 예방하지 않는다"는 똑같이 강한 진술까지 걸쳐 있었다 (PMID 25551377).
이 절이 이 편에서 균형을 잡는 자리다. 상반된 메타분석은 진단으로 끝나지 않는다.
중환자에서 스트레스궤양 예방의 효과를 놓고 이전 개관들이 서로 어긋나 있던 상황을 정리한 연구가 있다. 발표·미발표 연구, 참고문헌 목록, 제약회사 및 개인 파일, 학회 초록 보고서를 전산 검색해 269편을 검토하고 무작위시험 63편을 골랐다. 두 명이 독립적으로 각 시험의 방법론적 질·인구·개입·결과를 평가했다.
저자들이 밝힌 불일치의 원인 목록이 그대로 읽기 규칙이 된다 — 관련 연구를 불완전하게 식별한 것, 비영어권 연구와 비무작위 연구를 넣고 뺀 것이 서로 달랐던 것, 출혈의 정의가 달랐던 것, 저자에게 직접 연락해 추가 정보를 얻었는지 여부, 그리고 통계 방법의 차이. 그리고 이 개관은 답을 냈다 — 히스타민2 수용체 길항제가 명백한 위장관 출혈(오즈비 0.58, 95% CI 0.42–0.79)과 임상적으로 중요한 출혈(0.44, 0.22–0.88)의 발생을 줄인다는 것. 저자들은 수크랄페이트가 출혈 감소에서 위산도 조절 약과 비슷하게 효과적일 수 있고 폐렴·사망률이 더 낮은 것과 연관됐다고도 적었고, 다만 수크랄페이트를 예방 없음과 비교했을 때의 순효과를 결정하기에는 자료가 불충분하다는 한계를 함께 명시했다. 저자들의 결론은 모든 무작위시험을 담는 등록부의 필요성과 체계적 문헌고찰의 명시적 방법론의 중요성이었다 (PMID 8544272).
그리고 상반된 리뷰들 앞에서 무엇을 골라야 하는지를 아예 도구로 만든 시도도 있다. 1997년에 나온 이 논문은 같은 또는 매우 비슷한 치료 질문을 다루는 체계적 문헌고찰이 여럿 나오면서 리뷰들 사이의 충돌이 생기고 있다고 진단하고, 의사결정자가 상반된 리뷰들 가운데 하나를 고르는 것을 돕는 결정 알고리즘을 보조 도구로 제시한다 (PMID 9164400).
이 절은 특히 잘라 쓰기 쉬운 자리라 세 개의 조사를 나란히 둔다.
가장 큰 근거는 Cochrane 방법론 리뷰다. 업계가 후원한 약물·기기 연구가 다른 재원의 연구와 비교해 더 유리한 결과를 내는지, 비뚤림 위험에서 다른지를 정량적으로 비교한 1차 연구들을 모아 논문 48편을 포함했다. 결과는 이렇다. 업계 후원 연구는 유리한 효능 결과를 더 자주 냈고(위험비 1.24, 95% CI 1.14–1.35), 유리한 유해성 결과(1.87, 1.54–2.27)와 유리한 결론(1.31, 1.20–1.44)도 더 자주 냈다. 효과크기를 보고한 논문 10편은 보고 방식이 달라 통합할 수 없었는데, 5편은 업계 후원 연구에서 효과크기가 더 컸다고 했고 5편은 차이를 찾지 못했다.
그리고 반드시 함께 읽어야 할 뒷면이 있다. 업계 후원과 비업계 후원 사이에 순서 생성·배정은폐·추적에서 비뚤림 위험의 차이는 없었다. 오히려 업계 후원 연구가 눈가림에서 낮은 비뚤림 위험을 더 자주 가졌다(1.32, 1.05–1.65). 대신 결과와 결론의 일치도는 업계 후원 쪽이 낮은 방향이었다(0.84, 0.70–1.01 — 신뢰구간이 1을 포함해 유의성에는 이르지 않았다). 저자들의 결론이 그래서 이렇게 서 있다 — 제조사의 후원은 더 유리한 결과와 결론으로 이어지며, 이 분석은 표준적인 '비뚤림 위험' 평가로 설명되지 않는 업계 편향의 존재를 시사한다 (PMID 23235689).
⭐그런데 다른 분야에서는 같은 신호가 유의성에 도달하지 않았다. 영양 연구에서 식품업계 후원과 결과·결론의 연관을 본 체계적 문헌고찰·메타분석은 775편을 검토해 12편을 포함했다. 통계적 유의성과의 연관을 본 2편은 연관을 찾지 못했다. 효과크기를 본 1편은 청량음료 섭취와 에너지 섭취·체중의 연관에 대해 업계 후원 연구가 유의하게 더 작은 해로운 효과를 보고했다고 했다. 저자의 결론과 후원의 연관을 본 8편(연구 340편)에서, 업계 후원 연구가 유리한 결론을 낼 가능성이 더 높긴 했지만 그 차이는 유의하지 않았다(위험비 1.31, 95% CI 0.99–1.72). 방법론적 질을 본 5편은 후원과의 연관을 찾지 못했다. 저자들의 결론은 정직하다 — 이 결과들은 업계 후원이 후원자에 유리한 결론과 연관됨을 시사하지만 확립하지는 않으며, 결과와 질에 대한 정량적 효과를 평가할 근거는 불충분하다 (PMID 27802480).
⭐그리고 직접비교 시험만 놓고 보면 크기가 작았다. 비교효과 리뷰에서 확인된 SSRI 직접비교 무작위시험만으로 분석을 제한한 연구가 있다. 각 시험의 재원 상태를 두 명이 독립적으로 판정하고, 약물을 "재원과 연관된 약"과 "연관되지 않은 약"으로 나눠, 같은 약이 재원과 연관됐을 때와 아닐 때의 반응률을 상대이득 메타분석으로 비교했다. 20편 중 13편(65%)이 수치상 재원과 연관된 약에 유리했다. 통합 반응률은 재원과 연관됐을 때 유의하게 높았다(상대이득 1.07, 95% CI 1.02–1.11). 그러나 저자들은 곧바로 덧붙인다 — 그 차이는 임상적으로 중요한 크기는 아닐 것이다. 결론은 비교효과 리뷰에서 업계 편향이 위약대조 시험의 체계적 문헌고찰에서보다 더 작은 역할을 할 수 있다는 것이다 (PMID 19880289).
세 조사를 함께 읽으면 그림이 이렇게 선다. 후원과 결론의 연관은 여러 표본에서 같은 방향을 가리키지만, 그 크기는 분야와 비교 설계에 따라 다르고, 표준적 비뚤림 위험 항목으로는 잡히지 않는다. 그러니 읽는 사람이 할 수 있는 일은 "업계 후원이면 무시한다"가 아니라 "이 표에서 후원 정보가 어디에 적혀 있는지 확인하고, 결과와 결론이 서로 맞는지 본다"이다.
조건부다. 세 가지가 이 문장을 깎는다.
검정력. 고정효과 모형에서는 참이지만, 랜덤효과 모형에서는 연구 간 분산이 들어가고 그 값을 추정해야 해서 검정력에 불리할 수 있다. Cochrane 메타분석 1,991편을 소급 계산한 연구는 연구가 5편 이상은 되어야 랜덤효과 메타분석의 검정력이 기여 연구들보다 일관되게 높아진다고 보고한다 (PMID 28378395).
뒤이은 대규모 시험과의 일치. 고전적 조사에서는 kappa 0.35, 양성 예측도 68%, 음성 예측도 67%였고, 대규모 시험 결과의 35%가 정확히 예측되지 않았다 (PMID 9262498). 주술기 의학 조사에서는 57개 결과 중 35개(61.4%)가 맞았고 양성 예측도 22.7%, 음성 예측도 85.7%였다 (PMID 28077529).
⭐그런데 두 조사의 뒷면을 빼면 안 된다. 고전적 조사에서 점추정치 차이가 유의했던 것은 40개 비교 중 5개(12%)뿐이었고, 불일치한 모든 경우가 "한쪽은 유의, 다른 쪽은 비유의"였다 (PMID 9262498). 주술기 조사에서는 음성 예측도가 85.7%로 높았다 (PMID 28077529). 그리고 스트레스궤양 예방 사례처럼 메타분석이 상반된 개관들을 실제로 해결한 예도 있다 (PMID 8544272).
정리하면 이렇다. 주술기 표본에서는 메타분석이 "효과 없다"에 대해 상대적으로 믿을 만했고 "효과 있다"에서 자주 뒤집혔다 — 다만 고전적 조사에서는 양쪽 예측도가 68%와 67%로 거의 같아, 이 비대칭이 두 표본 모두에서 관찰된 것은 아니다. 중재종양학(interventional oncology) 문헌을 조망한 한 최근 리뷰가 그 자리를 이렇게 표현한다 — 이 분야에서 메타분석은 결정적 기준점이 아니라 방법론적 도구로 봐야 하며, 그 결론은 밑에 깔린 연구들의 질·일관성·관련성에 크게 의존한다 (PMID 41942708). 다른 논평도 같은 방향으로 착지한다 — 오늘날 체계적 문헌고찰의 질은 편차가 커서 양이 질을 넘어서는 데 대한 심각한 우려가 정당하지만, 적절한 대응은 이 방법을 내치는 것이 아니라 연구자·심사자·편집자가 이 방법의 복잡성을 제대로 이해하게 만들어 개선하는 것이다 (PMID 36639571).
I²는 총 변이 중 이질성에 기인한 비율이고 절대량이 아니다 (PMID 12111919, PMID 41992898). 유병률 메타분석 134편에서 I² 중앙값은 96.9%였고, 연구 수가 많은 메타분석과 통합 추정치가 극단적인(10% 미만 또는 90% 초과) 메타분석에서 I²가 더 컸다 (PMID 35088937).
역방향도 조사됐다. 시뮬레이션에서 이질성 수준이 높을 때는 I²가 낮은 메타분석조차 예측값이 낮았고, 이질성 수준이 낮을 때는 I²가 정확도를 예측해 주지 못했다 (PMID 24320992). 통계적 이질성은 임상적·실용적 이질성의 상관물일 뿐이며 그 상관이 약할 수 있다 (PMID 19018930). 같은 척도를 썼다고 같은 것을 잰 것도 아니다 — NIHSS는 전체적으로 중간에서 우수한 평가자 간 일치도를 보였지만, 항목별 급내상관계수는 0.58("안면마비")에서 0.90("오른쪽 팔")까지 걸쳐 있었고 이질성은 비운동 기능 평가에서 가장 컸다 (PMID 39240475).
그리고 I²가 높다고 반드시 등급을 내려야 하는 것도 아니다. GRADE 실무 사례에서 두 건은 I²가 높았지만 점추정치들이 일관되고 신뢰구간들이 겹치며 전부 문턱의 같은 쪽에 있어 비일관성으로 등급을 내리는 것이 정당화되지 않았다 (PMID 41796757).
세 겹으로 깨진다.
눈이 못 본다. 연구 10편짜리 깔때기 그림에 대한 연구자 41명의 평균 정답률은 52.5%였다 (PMID 16085192).
검정이 검정력이 없다. Cochrane 메타분석 5,014편에서 연구 수 중앙값이 87에서 14로 줄자 탐지율이 검정에 따라 28.3~42.6% 감소했고, 시뮬레이션은 출판편향이 있을 때 이 검정들이 존재를 과소평가한다는 것을 확인했다 (PMID 31743750). 이분산이 있으면 Egger 검정의 1종 오류율이 크게 부푼다 (PMID 34179565). 검정들끼리도 일치하지 않는다 — Cochrane 28,655편에서 Begg·trim-and-fill·Egger 사이의 일치도는 κ < 0.5였다 (PMID 29663281).
애초에 비대칭 ≠ 출판편향이다. 그림 구성 방식을 바꾸면 비대칭 판정 43편 중 37편(86%)에서 결론이 바뀌었고 (PMID 10812319), 표준화 평균차를 표준오차에 대해 그리면 위양성이 나며 (PMID 28884685, PMID 30506832), 등고선을 얹으면 없어진 자리가 유의 영역인지 비유의 영역인지에 따라 원인 해석이 갈린다 (PMID 18538991). 비열등성·동등성 시험에서는 편향의 방향이 아예 반대일 수 있다 (PMID 42285374).
그래서 최근 교육 리뷰의 처방은 사후 진단이 아니라 예방이고, 용어도 "출판편향의 위험"으로 바꾸자는 것이다 (PMID 37684502). 그리고 검정 대신 등록부·규제기관 기록·학회 초록을 뒤지는 비통계적 접근이 여전히 필수적이다 (PMID 29663281).
구간에 대해서는 맞고 점추정치에 대해서는 아니다. 랜덤효과는 연구 간 분산을 분모에 더해 무게를 고르게 퍼뜨리므로 작은 연구에 상대적으로 더 큰 무게가 간다 (PMID 34550583). 작은 연구가 체계적으로 다른 답을 주는 상황 — 앞서 본 골관절염·중환자의학·COVID 메타역학 조사에서 관찰된 상황 (PMID 20639294, PMID 23302257, PMID 41793162) — 이라면 통합 추정치 자체가 그쪽으로 끌린다.
그리고 랜덤효과의 무게는 추정된 연구 간 분산에 의존하므로, 연구 수가 적으면 통상적 정규근사 자체가 부정확하다 (PMID 26688589). 어떤 추정 방법을 썼는지가 결과를 바꿀 수 있는데 종양학 상위 저널 논문의 55.7%가 그 방법을 보고하지 않았다 (PMID 38219287).
권장되는 방향은 "랜덤효과로 돌리기"가 아니라 모형을 사전에, 개념적 근거로 고르고 (PMID 41180834, PMID 34550583), 랜덤효과라면 예측구간을 함께 보고하는 것이다 (PMID 24692250).
신뢰구간은 평균에 대한 것이다. 다음 환자, 다음 병원, 다음 시험에서 무엇을 기대할지는 예측구간이 말한다.
Cochrane 2009~2013년에서 랜덤효과로 유의하고 I² > 0인 메타분석 479편을 보니, 72.4%에서 95% 예측구간이 효과가 0이거나 반대 방향일 수도 있음을 시사했고, 20.3%에서는 점추정치와 완전히 반대일 수도 있었다 (PMID 27406637). I²는 이 정보를 주지 않는다 — I² = 50%라는 말만으로는 효과가 40~60에 걸치는지 10~90에 걸치는지 알 수 없다. ⚠️세 편 모두 같은 논지를 반복한다(PMID 28058794, PMID 38938910, PMID 37940120 — 그중 37940120은 자기가 어떤 책의 한 장을 옮긴 것이라고 초록에서 밝힌다). 독립적인 세 근거로 세지 말 것. 이 편의 오해 ⑥이 말하는 "겹치면 재현이 아니라 재계산"은 우리에게도 적용된다.
그런데 예측구간은 거의 보고되지 않는다. 유병률 메타분석 134편 중 예측구간을 보고한 것은 3편(2%)이었다 (PMID 35088937). 구강보건 메타분석 313편에서 이질성 해석의 근거를 I²에 둔 것이 96%, τ²에 둔 것이 7%였다 (PMID 39962342).
이것이 이 편에서 가장 조용한 함정이다. 메타분석 여러 편이 같은 결론을 냈다고 해서 독립적인 근거가 여러 개인 것이 아니다.
인지장애 고령자의 운동 개입을 다룬 메타분석 40편에서, 인용된 무작위시험 항목 728건 가운데 고유한 시험은 276편(37.9%)이었고 452건(62.1%)이 중복이었다. 저자들의 표현이 "견고함의 착시"다 (PMID 40253011). 흉복부 수술 메타분석 조사에서는 주제 48개 중 29개(60.4%)에 직전 5년의 선행 리뷰가 있었고 결과와 질에 상당한 편차가 있었다 (PMID 34791075). 근위상완골 골절에서는 리뷰 21편 아래에 무작위시험이 8편뿐이었다 (PMID 34718123).
그리고 같은 시험들을 놓고도 결론이 갈릴 수 있다는 것은 앞서 봤다 — 비타민D와 낙상에서 25편 중 14편의 결과값이 달랐고 (PMID 25093621), 비타민D와 골절에서는 개별 시험 상대위험 값의 차이 16개 중 11개가 효능에 유리한 쪽이었다 (PMID 25551377). 클로피도그렐 약물유전학에서는 같은 이질성·출판편향 신호를 놓고 정반대 판정이 나왔다 (PMID 24946154).
읽는 사람이 할 수 있는 확인은 하나다. 두 메타분석의 포함 시험 목록이 얼마나 겹치는가. 겹침이 크면 그것은 재현이 아니라 재계산이다.
이 문헌이 아직 답을 정하지 못한 자리들이다. 여기 적힌 것은 "아직 논쟁 중"이라는 뜻이지 "아무 말도 못 한다"는 뜻이 아니다.
① 이질성이 클 때 합쳐야 하는가. 정해진 답이 없다. 같은 자료를 예측구간·이질성 검정·베이지안 메타분석·메타회귀·하위군 분석으로 다르게 다뤘더니 결과와 함의가 상당히 달라졌고, 저자들은 어떤 단일 전략도 모든 맥락에서 타당할 수 없다고 결론지었다 (PMID 23494781). 임상적 이질성을 조사하는 방법에 대한 지침 자료 101건 사이의 합의도 최소한이었다 (PMID 22846171). 델파이 합의로 만든 12개 범주의 권고가 나와 있지만 (PMID 24004523), 임상적·방법론적 이질성을 객관적으로 정량화할 방법이 아직 없다는 것은 시뮬레이션 연구도 지적하는 바다 (PMID 24320992).
② 문턱값 관습. I² 25/50/75%의 범주 정의는 서로 겹치고, 1차 문헌에는 그 문턱에 대한 명시적 이론적·경험적 정당화가 제한적으로만 있다 (PMID 42359156). 유병률 메타분석에서는 임의 문턱을 피하라는 권고가 나와 있고 (PMID 35088937), 이질성 척도들은 유의성 판정이 아니라 기술통계로 쓰라는 권고도 있다 (PMID 31234230). 대안 틀(PIOHA 등)이 제안됐지만 아직 검증 단계다 (PMID 42359156). 예측구간으로 GRADE 두 영역을 동시에 평가하는 방식도 실현 가능해 보이지만 추가 검증이 필요하다 (PMID 39322122).
③ 편향 검정의 검정력. 검정들은 검정력이 낮고 (PMID 31743750, PMID 37684502), 서로 일치하지 않으며 (PMID 29663281), 특정 효과지표와 이분산에서 무너진다 (PMID 28884685, PMID 30506832, PMID 34179565). 방향성 검정 같은 개선안이 나와 있지만 (PMID 36914304), 근본 처방은 통계가 아니라 자료 접근이다 — 등록부·규제기관 기록·학회 초록 (PMID 29663281), 그리고 사전등록과 결과 전면 공개 (PMID 37684502).
④ 보정 방법의 선택. 넓은 조건 범위에서 일관되게 최선인 방법이 없고, 그래서 원하는 답을 주는 방법을 고를 수 있다 (PMID 35869696). 선택모형은 단일 보정 추정치를 얻는 용도보다 민감도분석용으로 권장된다 (PMID 27694467). 강건 추정량을 함께 보고하자는 제안 (PMID 32092231)과 모형평균 (PMID 35869696)이 나와 있으나 표준은 아직 없다.
⑤ 중첩과 중복. 같은 시험들이 여러 메타분석에 반복 등장하는 문제 (PMID 40253011, PMID 34791075, PMID 27620683)에 대해, 상반된 리뷰 중 하나를 고르는 결정 알고리즘 (PMID 9164400)이 나와 있지만 중첩 자체를 줄일 제도적 해법은 진행 중이다. 개인참가자자료 메타분석에서도 사정은 비슷했다 — COVID-19 관련 개인참가자자료 메타분석 31편을 조사한 신속 문헌고찰은 설계·인구·노출·결과에서 겹침을 발견했고(26편이 무작위시험을 포함, 17편이 입원 환자로 제한), 자료 요청과 조화 노력을 공유하기 위한 협업을 권고한다 (PMID 37415216).
⑥ 관찰연구와 무작위시험을 함께 통합할 것인가. 영양 연구를 표본으로, Cochrane 리뷰의 무작위시험 근거체와 그에 대응하는 코호트 근거체를 짝지어 GRADE 등급을 매기고, 두 근거체를 합치는 가상 시나리오를 평가한 연구가 있다. 근거체 42쌍에서, 무작위시험만일 때 "매우 낮음" 9.5%·"낮음" 38.1%·"중간" 33.4%·"높음" 19%였고, 코호트만일 때는 40.5%·45.2%·14.3%·0%였는데, 둘을 합치면 0%·19.1%·57.1%·23.8%가 됐다. 즉 합치면 "매우 낮음"과 "낮음" 등급이 줄었다. 무작위시험 근거체는 주로 부정확성과 비뚤림 위험으로, 코호트 근거체는 주로 비뚤림 위험과 비일관성으로 등급이 내려갔는데, 둘을 합치면 각각의 약점이 완화된다. 저자들의 결론은 신중하다 — 이 가상 연구는 합칠 경우 낮은 등급이 줄어들 수 있음을 시사하지만, 어떻게 통합할지와 애초에 합칠지 말지에 대해서는 적절한 지침이 먼저 필요하다 (PMID 35436525).
⑦ 네트워크 메타분석의 가정. 여러 치료를 한 그물망에서 비교하는 네트워크 메타분석은 전이성(transitivity) 가정 위에 서 있다. 이 가정의 보고·평가 실태를 조사한 연구는 체계적 문헌고찰 721편(2011~2021)을 보고, PRISMA-NMA 이후 프로토콜 제공(오즈비 3.94, 95% CI 2.79–5.64), 전이성 평가의 사전 계획(3.01, 1.54–6.23), 평가와 결과의 보고(2.10, 1.55–2.86)가 개선됐다고 보고한다. 그런데 같은 조사가 전이성의 정의(0.57, 0.42–0.79)와 그 함의 논의(0.48, 0.27–0.85)는 오히려 줄었다고도 보고한다. 대부분의 리뷰가 전이성을 개념적으로가 아니라 통계적으로 평가했다(PRISMA-NMA 이전 40% 대 12%, 이후 54% 대 11%) (PMID 38475826). 이 가정들을 하나로 묶어 보려는 시도도 있다 — 동질성·일관성·전이성 세 가정이 모두 교환가능성(exchangeability) 가정으로 환원될 수 있다는 주장을 받아, 네트워크 메타분석에서 정확히 무엇이 교환가능해야 하는지를 밝히고 절대 치료효과를 잠재적 효과수정자에 대해 그려 보는 간단한 도해적 접근을 제안한다 (PMID 42162788).
⑧ 개인수준 자료가 답을 개인화해 주는가. 개인참가자자료 메타분석의 가장 큰 장점으로 흔히 꼽히는 것이 개인 수준 특성에 따른 하위군 효과 평가다. 실제로 어땠는지를 센 조사가 있다. 적격한 개인참가자자료 메타분석 327편 중 하위군 분석을 하나라도 보고한 279편에서, 1차 결과에 대해 통계적으로 유의한 하위군-처치 상호작용을 보고한 것이 102편(36.6%)이었다. 이는 서로 다른 유의한 상호작용 187개에 해당했다(개인 수준 변수 124개, 집단 수준 변수 63개). 그런데 187개 중 층 간 차이가 큰 것(표준화 효과차 d ≥ 0.8)은 7개(3.7%)뿐이었다. 개인 수준 유의 차이 124개 중 저자들이 "하위군을 다르게 치료해야 한다"고 주장한 것이 42개였는데, 그중 d ≥ 0.8인 것은 하나도 없었다. 저자들의 결론은 개인 수준 자료가 상대 치료효과에 대한 유의한 상호작용을 약 3분의 1의 메타분석에서 준다는 것, 그리고 그중 적당한 수(a modest number)가 층화의료 결정의 기회를 제공할 수 있다는 것이다 (PMID 30445577).
⭐개인참가자자료 메타분석이 아무것도 못 한다는 뜻이 아니다. 개인참가자자료 메타분석이 시험의 설계와 수행에 실제로 영향을 준 사례를, 국제 워크숍에서 전문가들이 지명하는 방식으로 모아 본 조사가 있다(체계적 검색이 아니다). 지명된 후보 52건 가운데 프로토콜과 발표문·웹사이트로 확인된 것이 28건이었다. 비교군과 참가자 선정, 표본수 계산, 후속 시험의 분석과 해석, 진행 중인 시험의 수행과 분석에 영향을 줬고, 일부는 집계자료 문헌고찰로는 불가능한 방식이었다 (PMID 26186982).
이 글이 남기려는 것은 읽기 규칙 하나다.
숲그림을 만나면 마름모를 먼저 보지 말고 그 위에 쌓인 줄들을 먼저 본다. 줄들이 세로선의 한쪽에 몰려 있는가 양쪽에 흩어져 있는가. 상자 하나가 유난히 큰가 — 그렇다면 그 마름모는 사실상 그 한 연구다. 그리고 마름모 아래에 예측구간이 그려져 있는가. 없다면, 그 글은 "다음 환자에게서 무엇을 기대할 수 있는가"에 아직 답하지 않은 것이다.
그다음에 물을 것은 통계가 아니라 목록이다. 무엇을 합쳤는가. 포함 기준이 무엇이고, 몇 편이 들어갔고, 그 시험들이 다른 메타분석과 얼마나 겹치는가. 같은 시험이 여러 리뷰에 반복해 들어가 있다면 그것은 재현이 아니라 재계산이다.
그리고 이 글이 "메타분석을 믿지 마라"로 읽히면 실패한 것이다. 위에 인용한 조사들은 거의 전부 메타분석을 하는 사람들이 자기 도구를 고치려고 쓴 것이다. 예측구간을 만들었고, 등고선 강화 깔때기 그림을 만들었고, 방향성 검정과 모형평균과 강건 추정량을 만들었고, 순차분석으로 위양성의 93%를 막았고, 미발표 자료를 실제로 구해 와 답을 고쳤고, 상반된 개관들을 하나씩 뜯어 왜 갈렸는지를 밝혀냈다. 그리고 그 도구들의 성능과 한계도 같은 문헌 안에서 재고 있다.
읽는 사람이 할 수 있는 일은 그중 하나뿐이다. 이 마름모가 무엇으로 만들어졌는지를 논문이 말해 주는가를 확인하는 것. 말해 주지 않는다면, "메타분석에서 확인됐다"가 무엇을 확인한 것인지는 아직 알 수 없다.