Paperis 아티클
"I²가 70%"는 효과가 연구마다 얼마나 다른지를 말해 주지 않는다. 총 변동 중 우연이 아닌 몫의 비율일 뿐이고, 각 연구의 표본이 커지면 연구들 사이의 진짜 차이가 그대로여도 올라갈 수 있다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
유병률을 다룬 메타분석 134편을 모아 이질성 지표를 세어 본 조사가 있다. I²라는 숫자의 중앙값이 96.9%였다(가운데 절반이 90.5%에서 98.7% 사이에 들어 있었다). 뒤에 볼 관행적인 눈금(50% 이상이면 "높음")으로 읽으면 거의 전부가 "높은 이질성"이다.
그러면 그 134편은 전부 못 쓸 분석인가. 조사의 저자들은 그렇게 말하지 않는다. 이 조사에서는 포함된 연구 편수가 많을수록 I²가 컸고, 통합 추정값이 극단(10% 미만이거나 90% 초과)인 경우에도 I²가 컸다. 저자들의 결론은 높은 I² 값이 언제나 높은 이질성과 동의어는 아니라는 것, 유병률 메타분석에서 I²는 변별력이 없을 수 있으니 임의의 문턱을 피해 신중히 해석하라는 것, 그리고 이질성을 논할 때는 기대되는 값들의 범위를 서술하는 데 초점을 두라는 것이다. 그 방법으로 저자들이 든 것은 둘인데 그중 하나가 예측구간이고, 134편 중 그 예측구간을 보고한 것은 3편(2%)이었다 (PMID 35088937).
숲그림을 다룬 편에서 랜덤효과 모형이 "연구마다 참값이 다를 수 있다"고 가정한다는 데까지 왔다. 이 글은 그 "다를 수 있다"를 실제로 재는 숫자들을 다룬다.
새로 배울 말은 여섯 개다. 이질성(통계적 이질성과 임상적 이질성으로 나뉜다), Q 통계량, I², τ²(타우제곱), 예측구간, 하위군 분석. 숲그림·가중치·고정효과·랜덤효과는 앞 편에서 세웠으니 한 문장씩만 상기한다. 아래 나오는 질병·치료 이름은 전부 방법론적 사례이고, 어떤 치료가 좋은지에 대한 판정이 아니다.
같은 질문을 던진 연구 여섯 편이 서로 다른 답을 냈다고 하자. 이유는 크게 두 갈래다. 하나는 표본을 뽑는 과정의 우연이다 — 같은 동전을 여섯 사람이 백 번씩 던져도 앞면 수는 다 다르다. 다른 하나는 연구들이 애초에 조금씩 다른 것을 재고 있어서다. 참가자가 다르고, 중재의 용량과 기간이 다르고, 결과를 재는 시점과 도구가 다르다.
뒤쪽을 이질성이라고 부른다. 그리고 이 말은 두 얼굴을 갖는다. 숫자로 잰 흩어짐이 통계적 이질성, 그 흩어짐을 만든 실제 차이가 임상적 이질성이다. 한 합의 연구가 정한 임상적 이질성의 정의는 이렇다 — 임상적으로 관련된 특성의 차이에서 오는 치료 효과의 변이. 참가자, 결과 측정의 종류나 시점, 중재의 특성에서 오는 연구 간 변이다. 이 연구는 전문가 합의 절차로 임상적 이질성 조사에 대한 권고를 열두 범주로 냈다 (PMID 24004523).
임상적 이질성이 어디서 생기는지는 뇌졸중 척도 하나를 재 본 조사가 잘 보여 준다. 급성 뇌졸중 환자의 상태를 점수로 매기는 NIHSS라는 척도를 놓고 21편·환자 818명·검사 9,696회를 모아 항목별 평가자 간 일치도를 봤더니, 저자 결론은 균형이 잡혀 있다 — NIHSS 점수는 를 보였고, 이질성이 가장 큰 곳은 비운동 기능 평가였다. 영어가 아닌 판본, 원격 평가, 후향적 분석은 NIHSS 점수의 이질성 측면에서 를 냈다 ().
여기서 미리 새겨 둘 것이 있다. 통계적 이질성은 임상적·실용적 이질성의 상관물일 뿐이고 그 상관은 때때로 약할 수 있다 (PMID 19018930). 숫자가 실제 차이를 그대로 비추는 창이 아니라는 뜻이다.
가장 오래된 접근은 검정이다. "연구들이 사실은 다 같은 참값을 재고 있었다면 지금 보이는 이 정도 흩어짐이 나올 법한가"를 묻는다. 그 물음에 쓰는 통계량이 Q다. 답은 "그렇다고 보기 어렵다" 또는 "그렇게 볼 수 있다" 둘 중 하나다.
그래서 Q에는 태생적 한계가 있다. Q 검정은 메타분석자에게 이질성의 존재 여부만 알려 주고 그 정도에 대해서는 아무 말도 하지 않는다. 이 한계 때문에 정도를 정량화하려고 제안된 것이 I²다. Q 검정과 I²의 신뢰구간을 몬테카를로 모의실험으로 비교한 연구의 결론은 I²가 Q 검정의 보완물로서 유용하다는 것인데, 여기에는 한정어가 붙어 있다 — I²도 연구 수가 적을 때 검정력이 떨어지는 같은 문제를 갖는다 (PMID 16784338). Q에는 약점이 하나 더 있다. 임상가에게 직관적인 해석이 없고 검정력이 낮은 경우가 많다는 것이다. 많은 메타분석자가 I² 같은 지표로 옮겨 간 이유가 이것이다 (PMID 31234230).
I²를 제안한 2002년 논문의 문제의식은 이랬다. 흩어짐의 정도는 연구 간 분산을 추정해 잴 수 있지만 그러면 해석이 특정 치료효과 지표에 묶인다. 존재를 보는 검정은 연구 수에 의존한다. 그래서 저자들은 수학적 기준에서 연구 수와 치료효과 지표에 독립인 세 통계량 H·R·I²를 유도했고, 그중 I²를 "연구 추정값들의 총 변동 중 이질성에서 온 비율"로 정의했다. 다만 이건 "그렇게 되도록 유도했다"는 설계 기준이고, 앞의 유병률 조사처럼 실제 논문 표본에서는 편수가 많을수록 I²가 크게 관찰되기도 한다. 결론은 H와 I²가 특히 유용하며, 발표되는 메타분석에는 이질성 검정보다 이 둘 중 하나 또는 둘 다를 싣는 편이 낫다는 것이다 (PMID 12111919).
여기까지가 I²가 하는 일이고, 그 정의에서 곧바로 따라 나오는 것이 이 글의 핵심이다. I²는 비율이다. 총 변동 중 무작위 오차가 아닌 참된 이질성에서 온 몫이 얼마인지를 근사적으로 재는 값이다. 2026년에 나온 개관은 이 점을 이렇게 적는다 — 이 지표는 극히 널리 쓰이게 됐지만 흔히 이질성의 양을 재는 절대 척도로 오해되며, 그것은 아니다 (PMID 41992898).
이 차이가 실무에서 무슨 뜻인지를 한 논문이 예시 하나로 못 박았다. 어떤 중재의 평균 효과크기가 50점이라고 하자. 우리가 알고 싶은 것은 그 효과가 집단에 따라 40에서 60 사이에서 움직이는지, 아니면 10에서 90 사이에서 움직이는지다. 그래야 쓸 만한지 판단할 수 있다. I²가 50%라는 말을 들어도 우리는 그것이 40~60인지 10~90인지 알 길이 없다. 저자의 처방은 간명하다 — 효과의 예측되는 범위를 알리고 싶다면 그냥 그 범위를 보고하라 (PMID 28058794).
게다가 논문에 적힌 I² 값 자체가 하나의 추정값이다. 추정법들을 비교한 논문은 I²가 큰 불확실성에 놓일 수 있어, 이질성의 정도를 해석할 때는 점추정값만이 아니라 그 구간 추정을 함께 보는 것이 필수적이라고 적는다 (PMID 38502022).
I²가 비율이라는 사실에는 잘 알려지지 않은 귀결이 딸려 온다. 비율의 분모에는 연구 안의 우연이 들어 있다. 연구가 커지면 그 우연은 줄어든다. 그러면 연구들 사이의 진짜 차이가 조금도 변하지 않아도 몫은 커진다.
2025년 논문 한 편이 이 성질을 정면으로 다뤘다. 저자들은 간단한 예로 I² 통계량이 연구 표본 크기에 크게 의존한다는 것을 보인다 — 관측된 효과크기들 사이의 이질성을 재는 값이기 때문이다. 그래서 표본 크기의 영향을 줄이려고, 연구 모집단들 사이의 이질성을 직접 재려는 대안 지표를 제안한다. 저자 결론에 이 글이 필요한 문장이 있다 — 연구 효과크기들이 실제로 비슷해 생물학적 차이가 거의 없는 상황에서조차, 표본 크기가 충분히 크면 I²는 1까지 올라갈 수 있고 그러면 랜덤효과 모형을 쓰라고 시사하게 된다 (PMID 40405379).
앞서 본 연구 편수의 관찰(PMID 35088937)과 혼동하지 말자. 이쪽은 각 연구의 표본 크기다. 서로 다른 두 이야기다.
논문을 읽다 보면 "I² 70%로 높은 이질성"처럼 값에 라벨이 붙어 있다. 그 라벨의 출처는 코크런 핸드북의 분류 체계다. 이 체계를 계보학적으로 추적한 2026년 논문이 지적하는 것은 그 분류가 겹친다는 것이다. 핸드북의 구간은 0~25% "낮음", 25~75% "보통", 50% 이상 "높음"인데, 그러면 I²=50%는 "보통"이면서 동시에 "높음"이다. 그리고 일차 문헌은 선택된 문턱들에 대해 명시적인 이론적·경험적 정당화를 제한적으로만 제공한다. 저자들의 진단은 현 관행이 I²를 이질성 탐색을 위한 의사결정 도구가 아니라 해석의 종착점으로 쓴다는 것이고, 처방은 결과의 종류와 기대되는 변이를 반영하는 맥락 특이적 틀이다 (PMID 42359156).
문턱을 기계적으로 적용하면 무슨 일이 생기는지를 보인 논문도 있다. 근거의 확실성을 등급으로 매기는 틀을 네 메타분석 사례에 적용한 2026년 논문에서, 두 사례는 I²가 높았지만 그림을 눈으로 검토하니 점추정값들이 일관되고 신뢰구간이 서로 겹치며 추정값 전부가 문턱의 같은 쪽에 있었다. 그래서 저자들의 판정은 불일치를 이유로 등급을 낮추는 것이 정당화되지 않는다는 것이었다 (PMID 41796757).
I²가 비율이라면, 크기를 직접 재는 값도 있다. 랜덤효과 모형이 가정한 "연구마다 다른 참값"들이 이루는 분포가 얼마나 넓게 퍼져 있는지, 그 분산이 τ²다. 비율이 아니라 크기이므로 I²가 못 하는 말을 한다.
문제는 그 대가다. 흩어짐의 정도를 연구 간 분산으로 재면 해석이 특정 치료효과 지표에 묶인다 (PMID 12111919). 키의 흩어짐을 cm²로 말할 때와 인치²로 말할 때 숫자가 달라지는 것과 같다. τ²가 0.09라는 말이 큰지 작은지는 그 값이 얹혀 있는 척도를 아는 사람만 안다.
이 성질을 우회하려는 지표들도 제안돼 있다. 흩어짐을 절대량으로 말하는 대신 재고 있는 효과에 견준 비율로 나타내는 방식이다. 다만 같은 논문이 한계도 함께 적는다 — 효과가 작을 때 아주 큰 값이 나올 수 있어 해석이 어려워진다 (PMID 34328266). 그리고 τ² 역시 추정값이다. 연구 수가 적거나 중간 정도면 τ는 그리 정밀하게 추정되지 않고, 모수 추정값과 각 연구 효과의 축소 추정값이 τ의 참값이 무엇이냐에 따라 크게 달라질 수 있다 (PMID 38100240).
신뢰구간은 "평균이 어디쯤인가"에 답한다. 신뢰구간을 다룬 편에서 세운 그 구간이다. 숲그림의 마름모 근처에 함께 그려지곤 하는 예측구간은 다른 질문에 답한다 — 비슷한 새 연구를 지금 한 편 한다면 그 참된 효과가 어디쯤 떨어질까.
이 구간을 일상적으로 싣자고 제안한 논문의 논거가 이렇다. 효과의 강도가 연구마다 얼마나 변하는지를 반영하는 지표는, 크기를 알려 주는 τ²조차 임상적 해석이 간단하지 않은데, 예측구간은 덜 복잡하다. 비슷한 연구들에서 참된 효과들이 놓일 것으로 기대되는 범위를 그대로 제시하기 때문이다. 저자들은 2009~2013년 코크런 중재 리뷰의 첫 메타분석들에 95% 예측구간을 만들어 봤다. 랜덤효과로 유의하고(p<0.05) I²가 0보다 큰 479편 중 72.4%에서, 예측구간은 중재의 효과가 없거나 심지어 반대 방향일 수도 있음을 시사했다. 그 479편 중 20.3%에서는 효과가 메타분석의 점추정값과 완전히 반대일 수도 있었다 (PMID 27406637).
지표들의 역할을 정리한 논문은 더 단호하다. Q값·p값·I² 같은 통계량으로 이질성을 낮음·보통·높음으로 분류하는 관행은 어디에나 있지만 그럼에도 옳지 않다. 이 통계량들은 효과크기가 실제로 얼마나 변하는지를 말해 주지 않고, 그것에 기초한 분류는 잘해야 정보가 없으며 흔히 오도한다. 그 질문에 답하는 통계량이 예측구간이다 (PMID 37940120). 다른 논문 한 편은 여기에 예외를 명시한다 — I²가 효과크기의 변동 폭을 말해 주지 않는다는 것은 I²가 0%일 때는 예외다 (PMID 38938910).
그런데 이 구간은 거의 실리지 않는다. 2012~2022년 상위 스포츠의학·의학 저널의 메타분석 1,500편을 무작위로 훑어 랜덤효과 모형을 쓴 866편(스포츠의학 514편)을 뽑았더니, 예측구간이 보고될 확률은 스포츠의학에서 1.7%(0.9~3.3), 의학에서 3.9%(2.4~6.6)였다. 계산이 가능했던 스포츠의학 220편 중 60%에서, 보고된 신뢰구간과 계산된 예측구간이 서로 다른 결론을 가리켰다. 예측구간은 신뢰구간보다 3.4배 넓었다. 저자들의 결론에는 한정어가 붙어 있다 — 랜덤효과 메타분석의 광범위한 오해석은 잠재적으로 해로운 치료나 근거 기반이 충분치 않은 치료가 실제로 쓰이고 있음을 뜻할 수 있다 (PMID 38501202).
그렇다고 예측구간이 만능인 것은 아니다. 95% 예측구간이 지켜야 하는 요건은 하나다 — 만들 때마다 비슷한 새 연구의 참된 효과를 품는 일이 평균적으로 100번 중 95번이면 된다. 그런데 지금까지 발표된 계산법들을 모의실험으로 전수 조사한 2026년 논문은, 연구 수가 적은 메타분석에서 그 "몇 번이나 품었나"가 한쪽으로 쏠린 모양으로 흩어진다는 것을 보인다. 그래서 평균만 보면 오해와 오독으로 쉽게 이어질 수 있다 (PMID 41992906).
거꾸로 물어보자. I²가 10%라고 적혀 있으면 그 메타분석은 믿어도 되는가.
모의실험으로 확인한 연구가 있다. 예상대로 이질성이 커질수록 I²는 커지고 메타분석에서 옳은 추론을 끌어낼 가능성은 줄었다. 그런데 나머지가 예상과 달랐다. 이질성이 낮은 수준일 때 I²는 메타분석 결과의 정확성을 예측하지 못하는 것으로 나타났다. 그리고 이질성이 높은 수준일 때는 I² 값이 낮은 메타분석조차 예측값이 낮았다. 이질성의 수준을 알 수 없는 것이 가장 흔한 상황인데, 그때 I²가 낮으면 통합 추정치의 예측값이 넓게 흩어질 수 있어 신중히 해석해야 한다. 저자들의 결론 문장이 이 절의 답이다 — I²로 통계적 이질성을 정량화하는 것은 임상적 이질성의 양을 모르고 I²가 높을 때에만 도움이 된다. 그리고 임상적·방법론적 이질성의 수준을 정량화할 객관적 방법이 시급히 필요하다 (PMID 24320992).
이질성과 편향의 통계적 검정 전반을 다룬 논평도 같은 방향을 가리킨다. 이 검정들은 매우 인기 있지만 그 한계는 흔히 인식되지 않고, 본질상 통계적이지 않은 질문에 신뢰할 만한 답을 준다고 부적절하게 자신 있게 함의되곤 한다는 것이다. 위양성 신호도 위음성 신호도 흔할 수 있다 (PMID 19018930).
이질성이 있다는 걸 알았으면 그다음은 왜 생겼는지를 묻는 일이다. 흔한 방법은 연구들을 특성별로 갈라 묶음마다 다시 요약값을 내 보는 것이다. 소아만 모은 연구들, 고용량을 쓴 연구들, 이런 식이다. 이것이 하위군 분석이다.
실태를 세어 보자. 2009~2019년 상위 저널 11곳의 심부전 메타분석 126편(결과 612개)에서 이질성이 보고된 것은 결과 422개(68.9%)뿐이었고, 그중 137개(32.5%)는 I²=0%로 관측 가능한 이질성이 없었다. 나머지는 낮음(I²<25%) 40개, 보통(25~50%) 76개, 높음(>50%) 169개(40%)였는데 — 이 조사가 쓴 구간은 앞에서 본 핸드북 구간과 또 다르다. 출처를 살피는 데 가장 흔했던 것은 이 조사가 민감도 분석으로 분류한 기법(68건)이고, 그다음이 하위군 분석(59건), 회귀 방식(40건)이다. 저자 결론은 필수 요소인데도 결과의 거의 30%에서 이질성이 보고되지 않았고 처리 방식이 제각각이라 표준화가 필요하다는 것이다 (PMID 33131285).
하위군 분석이 무엇을 건져 올리는지도 세어 본 연구가 있다. 같은 치료가 하위군마다 다르게 듣는 것 — 이것을 교호작용이라 한다. 참가자 개인 자료를 모은 메타분석 327편에서 통계적으로 유의한 교호작용이 187개 나왔다. 그중 두 층의 결과가 눈에 띄게 갈렸다고 볼 만한 눈금(표준화 효과 차이 0.8)을 넘은 것은 7개(3.7%)뿐이었다. 그리고 저자들이 "이 하위군은 다르게 치료해야 한다"고 주장한 42개 중에는 그 눈금을 넘은 것이 하나도 없었다. 저자 결론에는 균형이 있다 — 개인 자료가 있으면 약 3분의 1의 사례에서 유의한 교호작용이 나오며, 그중 적당한 수는 계층화된 치료 결정의 기회를 제공할 수 있다 (PMID 30445577).
방법 쪽 합의도 아직 얇다. 임상적 이질성을 조사하는 방법에 관한 지침 101건을 모은 조사에서, 자료들 자체는 대체로 편향 위험이 낮았으나 그들 사이의 합의는 극히 적었다. 그럼에도 반복되는 권고는 있었다 — 계획된 조사를 리뷰 프로토콜에 명시할 것, 임상 전문가를 팀에 넣을 것, 공변량은 명확한 과학적 근거를 가지고 공변량당 시험 수가 충분할 것, 그리고 그 결과는 신중히 해석할 것 (PMID 22846171).
하나만 남긴다면 — I²는 흩어짐의 크기가 아니라 흩어짐 중 우연이 아닌 몫의 비율이다. 크기를 알고 싶으면 예측구간을 봐야 한다.
균형을 먼저 놓자. 이질성 지표는 쓸모없지 않다. 네 지표를 모의실험으로 비교한 논문은 그중 I²를 포함한 둘을 측정용으로 추천하면서, 다만 이 지표들을 임상적 관점에서 직관적 해석을 갖는 기술 통계량으로 써야 하며 크기만 보고 이질성의 유의성을 판정해서는 안 된다고 적는다. 같은 연구에서 I²의 검정력은 Q 검정과 상당히 가까웠고, 네 지표 중 그 둘은 서로 일치도가 좋았으나 다른 모든 쌍은 대체로 나빴다 (PMID 31234230). 여기 나온 넷도, 이 글이 다룬 셋(Q·I²·τ²)도 세상의 지표 전부는 아니다. 그 밖에도 여럿이 제안돼 있다.
랜덤효과 모형에서 이질성 분산을 어떤 방법으로 추정하는지, 그 모수가 정확히 무엇을 나타내는지는 이 글이 이름만 스쳤다 (PMID 34550584). 미해결로 남는 것은 앞에서 이미 나왔다. 통계적 이질성이 낮다는 사실은 임상적 이질성이 낮다는 뜻이 아니고, 임상적·방법론적 이질성의 수준을 정량화할 객관적 방법이 시급히 필요하다는 것이 그 논문의 마지막 문장이다 (PMID 24320992).
마지막으로 이 글이 일부러 손대지 않은 자리가 있다. 숲그림에 애초에 실리지 않은 연구들이다. 결과가 시원치 않아 발표되지 않은 연구가 있다면 이 글이 다룬 숫자들도 그 빈자리 위에서 계산된 값이다. 그것을 탐지하려는 그림인 깔때기 그림, 작은 연구일수록 큰 효과가 나오는 현상, 그리고 발표되지 않은 연구가 이질성 지표 자체를 어떻게 오염시키는지는 출판편향을 다루는 편이 맡는다. 랜덤효과 모형을 다룬 한 장(章)도 마지막에 출판편향을 관측된 효과 추정치들이 기대와 다른 분포를 이루는 대안적 설명으로 논한다 (PMID 34550584).