I²는 흩어짐의 크기가 아니다 — 이질성 지표를 읽는 법

메타분석은 같은 질문을 다룬 여러 연구의 결과를 모아 하나로 합치는 분석입니다. 메타분석 논문에는 I²라는 숫자가 자주 붙어 있습니다. 이 숫자가 정확히 무엇을 재는지가 이 글의 주제이고, 그 뜻은 아래에서 한 단계씩 풉니다.

어떤 병을 가진 사람의 비율, 곧 유병률을 다룬 메타분석에서는 이 숫자가 유난히 큽니다. 유병률 메타분석 134편에서 I²의 중앙값은 96.9%였고, 가운데 절반이 90.5%에서 98.7% 사이에 들어 있었습니다 (PMID 35088937). 흔히 쓰는 눈금(50% 이상이면 "높음")으로 읽으면 거의 전부가 "높은 이질성"입니다. 이질성은 연구마다 결과가 서로 다른 정도를 가리키는 말인데, 정확한 뜻은 첫 절에서 풉니다.

조사의 저자들은 이 134편을 못 쓸 분석으로 보지 않습니다. 이 조사에서 I²는 포함된 연구 편수가 많을수록 컸습니다. 여러 연구를 합쳐 낸 유병률(통합 추정값)이 10% 미만이거나 90% 초과로 극단에 있을 때도 I²가 컸습니다. 그래서 저자들은 높은 I² 값이 언제나 높은 이질성과 동의어는 아니라고 결론짓습니다. 유병률 메타분석에서 I²는 변별력이 없을 수 있으니, 임의의 문턱을 피해 신중히 해석하라고도 적습니다. 마지막 권고는 이질성을 논할 때 기대되는 값들의 범위를 서술하는 데 초점을 두라는 것입니다.

그 범위를 서술하는 방법으로 저자들이 든 것은 둘입니다. 그중 하나가 뒤에서 다룰 예측구간이고, 134편 중 그 예측구간을 보고한 것은 3편(2%)이었습니다 (PMID 35088937).

「메타분석은 평균을 내지 않는다 — 숲그림의 마름모가 만들어지는 법」은 랜덤효과 모형에서 멈춥니다. 랜덤효과 모형은 "연구마다 참값이 조금씩 다를 수 있다"고 가정하고 결과를 합치는 방식입니다. 이 글은 그 "다를 수 있다"를 실제로 재는 숫자들을 다룹니다.

새로 배울 말은 여섯 개이고, 각 말은 처음 나오는 자리에서 풉니다. 숲그림·가중치·고정효과·랜덤효과는 그 편에서 다룬 말이라, 여기서는 필요한 자리에서만 짧게 상기합니다. 아래 나오는 질병·치료 이름은 전부 숫자를 읽는 법을 보이기 위한 사례이고, 어떤 치료가 좋은지에 대한 판정이 아닙니다.

---

흩어짐에는 두 종류의 원인이 있다

같은 질문을 던진 연구 여섯 편이 서로 다른 답을 냈다고 해 보겠습니다. 이유는 크게 두 갈래입니다. 하나는 표본을 뽑는 과정의 우연입니다. 같은 동전을 여섯 사람이 백 번씩 던져도 앞면이 나온 횟수는 다 다릅니다. 다른 하나는 연구들이 애초에 조금씩 다른 것을 재고 있다는 점입니다. 참가자가 다르고, 중재(연구에서 시험하는 치료나 처치)의 용량과 기간이 다르고, 결과를 재는 시점과 도구가 다릅니다.

이질성은 연구들이 애초에 다른 것을 재고 있어서 생기는 결과의 차이입니다. 이 말은 두 가지 뜻으로 쓰입니다. 숫자로 잰 흩어짐이 통계적 이질성이고, 그 흩어짐을 만든 연구들 사이의 실제 차이가 임상적 이질성입니다.

전문가 합의로 만든 권고문은 임상적 이질성을 이렇게 정의합니다. 임상적으로 관련된 특성의 차이에서 오는 치료 효과의 변이, 곧 참가자, 결과 측정의 종류나 시점, 중재의 특성에서 오는 연구 간 변이입니다. 이 권고문은 임상적 이질성을 어떻게 조사할지에 대한 권고를 열두 범주로 냈습니다 (PMID 24004523).

임상적 이질성이 생기는 자리는 결과를 재는 척도 하나에서도 보입니다. NIHSS는 급성 뇌졸중 환자의 상태를 점수로 매기는 척도입니다. 여러 평가자가 같은 환자를 채점했을 때 서로 같은 점수를 주는 정도를 평가자 간 일치도라고 하는데, NIHSS에서는 이 일치도가 항목마다 달랐습니다. 운동 기능 항목은 0.85~0.90으로 나머지 항목(0.58~0.85)보다 높았습니다. 이 값은 1에 가까울수록 평가자들이 서로 같은 점수를 준다는 뜻입니다 (21편·환자 818명·검사 9,696회, PMID 39240475). 같은 척도라도 어떤 항목이냐에 따라 평가자끼리 점수가 갈리는 정도가 다르다는 뜻입니다.

저자 결론은 균형이 잡혀 있습니다. NIHSS 점수는 전반적으로 보통에서 우수한 수준의 평가자 간 일치도를 보였고, 이질성이 가장 큰 곳은 비운동 기능 평가였습니다. 영어가 아닌 판본, 원격 평가, 후향적 분석(이미 쌓인 기록을 나중에 들여다보는 분석)은 NIHSS 점수의 이질성 측면에서 작은 효과를 냈습니다 (PMID 39240475).

두 이질성의 관계는 생각만큼 단단하지 않습니다. 통계적 이질성은 임상적·실용적 이질성의 상관물, 곧 함께 움직이는 값일 뿐이고 그 상관은 때때로 약할 수 있습니다 (PMID 19018930). 숫자로 잰 흩어짐이 연구들 사이의 실제 차이를 그대로 비추지는 않는다는 뜻입니다.

첫 번째 숫자, Q — 흩어짐이 우연으로 설명되는가

Q는 "연구들이 사실은 모두 같은 참값을 재고 있었다면, 지금 보이는 정도의 흩어짐이 나올 법한가"를 묻는 검정에 쓰는 통계량입니다. 이질성을 다루는 가장 오래된 방법이 이 검정입니다. 답은 "그렇다고 보기 어렵다"와 "그렇게 볼 수 있다" 둘 중 하나로만 나옵니다.

그래서 Q에는 태생적 한계가 있습니다. Q 검정은 메타분석자에게 이질성의 존재 여부만 알려 주고, 그 정도에 대해서는 아무 말도 하지 않습니다. 이 한계를 메우려고, 이질성의 정도를 숫자로 나타내려고 제안된 것이 다음 절의 I²입니다.

I²도 Q의 약점을 다 벗어나지는 못합니다. 몬테카를로 모의실험은 가상의 자료를 컴퓨터로 수없이 만들어 방법을 시험하는 방식입니다. 이 방식으로 Q 검정과 I²의 신뢰구간을 비교한 연구는, I²가 Q 검정의 보완물로 유용하다고 결론짓습니다. 다만 한정어가 붙습니다. I²도 연구 수가 적을 때 검정력, 곧 실제로 있는 이질성을 잡아내는 힘이 떨어지는 같은 문제를 갖습니다 (PMID 16784338).

Q에는 약점이 하나 더 있습니다. 임상가에게 직관적인 해석이 없고, 검정력이 낮은 경우가 많습니다. 많은 메타분석자가 I² 같은 지표로 옮겨 간 이유가 이것입니다 (PMID 31234230).

두 번째 숫자, I² — 비율이지 크기가 아니다

I²는 연구 추정값들의 총 변동 가운데 이질성에서 온 비율입니다. 2002년에 이 지표를 제안한 논문의 정의입니다 (PMID 12111919). 연구 추정값은 각 연구가 낸 효과의 값이고, 총 변동은 그 값들이 흩어진 전체 정도입니다.

이 지표가 나온 배경은 이렇습니다. 흩어짐의 정도는 연구 간 분산을 추정해 잴 수 있지만, 그러면 해석이 특정 치료효과 지표(오즈비냐 평균 차이냐 같은, 효과를 나타내는 단위)에 묶입니다. 이질성의 존재를 보는 검정은 연구 수에 의존합니다. 그래서 저자들은 수학적 기준에서 연구 수와 치료효과 지표에 독립인 세 통계량 H·R·I²를 유도했습니다. 저자들의 결론은 H와 I²가 특히 유용하며, 발표되는 메타분석에는 이질성 검정보다 이 둘 중 하나 또는 둘 다를 싣는 편이 낫다는 것입니다 (PMID 12111919).

"연구 수에 독립"은 그렇게 되도록 유도했다는 설계 기준입니다. 실제 논문 표본에서는 앞의 유병률 조사처럼 편수가 많을수록 I²가 크게 관찰되기도 합니다.

정의에서 곧바로 따라 나오는 것이 이 글의 핵심입니다. I²는 비율입니다. 총 변동 중 무작위 오차가 아닌 참된 이질성에서 온 몫이 얼마인지를 근사적으로 재는 값입니다. 2026년에 나온 개관은 이 점을 이렇게 적습니다. 이 지표는 극히 널리 쓰이게 됐지만 흔히 이질성의 양을 재는 절대 척도로 오해되며, 그것은 아닙니다 (PMID 41992898).

비율과 크기의 차이는 예시 하나로 드러납니다. 효과크기는 중재가 낸 효과를 숫자로 나타낸 값입니다. 어떤 중재의 평균 효과크기가 50점이라고 해 보겠습니다. 우리가 알고 싶은 것은 그 효과가 집단에 따라 40에서 60 사이에서 움직이는지, 아니면 10에서 90 사이에서 움직이는지입니다. 그래야 쓸 만한지 판단할 수 있습니다. I²가 50%라는 말을 들어도 우리는 그것이 40~60인지 10~90인지 알 길이 없습니다. 저자의 처방은 간명합니다. 효과의 예측되는 범위를 알리고 싶다면 그냥 그 범위를 보고하라는 것입니다 (PMID 28058794).

논문에 적힌 I² 값 자체도 하나의 추정값입니다. I²는 큰 불확실성에 놓일 수 있어서, 이질성의 정도를 해석할 때는 점추정값 하나만이 아니라 그 값이 놓일 법한 범위(구간 추정)를 함께 보는 것이 필수적입니다 (PMID 38502022).

연구마다 참가자가 많아지면 같은 흩어짐에도 I²가 오를 수 있다

I²가 비율이라는 사실에서 잘 알려지지 않은 결과가 하나 따라 나옵니다. 비율의 분모인 총 변동에는 각 연구 안의 우연이 들어 있습니다. 연구의 참가자가 많아지면 그 우연은 줄어듭니다. 그러면 연구들 사이의 진짜 차이가 조금도 변하지 않아도, 그 차이가 차지하는 몫은 커집니다.

2025년 논문 한 편이 이 성질을 정면으로 다뤘습니다. 저자들은 간단한 예로, I² 통계량이 각 연구의 표본 크기에 크게 의존한다는 것을 보입니다. I²가 관측된 효과크기들 사이의 이질성을 재는 값이기 때문입니다. 그래서 표본 크기의 영향을 줄이려고, 연구 모집단들 사이의 이질성을 직접 재려는 대안 지표를 제안합니다 (PMID 40405379).

저자들의 결론은 이 대안 지표를 이질성의 보조 지표로 쓰자는 것입니다. 쓰임새는 연구들의 효과크기가 실제로 비슷해 생물학적 차이가 거의 없는 상황을 가려내는 일입니다. 그런 상황이라면 모든 연구가 같은 참값 하나를 잰다고 보는 고정효과 모형이 적절할 수 있습니다. 그런데 바로 그 상황에서도 표본 크기가 충분히 크면 I²는 최댓값인 1까지 올라갈 수 있고, 그러면 I²는 랜덤효과 모형을 쓰라고 시사하게 된다고 저자들은 덧붙입니다 (PMID 40405379).

이 이야기는 앞에서 본 연구 편수의 관찰(PMID 35088937)과 다릅니다. 앞은 메타분석에 들어간 연구가 몇 편이냐였고, 여기는 각 연구의 표본 크기, 곧 한 연구에 참가자가 몇 명이냐입니다.

25%·50%·75%라는 문턱은 어디서 왔나

논문에는 "I² 70%로 높은 이질성"처럼 I² 값에 라벨이 붙곤 합니다. 그 라벨은 코크런 핸드북의 분류에서 옵니다. 코크런 핸드북은 여러 연구를 체계적으로 모아 합치는 방법을 정리한 표준 지침서입니다.

이 분류에는 구간이 서로 겹치는 문제가 있습니다. 핸드북의 구간은 0~25%가 "낮음", 25~75%가 "보통", 50% 이상이 "높음"입니다. 그러면 I²=50%는 "보통"이면서 동시에 "높음"입니다. 게다가 일차 문헌은 이 문턱들을 고른 이유에 대해 명시적인 이론적·경험적 정당화를 제한적으로만 제공합니다 (2026년 계보 추적 논문, PMID 42359156).

이 논문 저자들의 진단은 현 관행이 I²를 이질성 탐색을 위한 의사결정 도구가 아니라 해석의 종착점으로 쓴다는 것입니다. 숫자에 라벨을 붙이는 데서 해석이 끝나고, 흩어짐을 더 파고드는 결정으로 이어지지 않는다는 뜻입니다. 처방은 결과의 종류와 기대되는 변이를 반영하는 맥락 특이적 틀입니다 (PMID 42359156).

문턱을 기계적으로 적용하면 판정이 틀어질 수 있습니다. 근거의 확실성을 등급으로 매기는 틀에는, 연구 결과들이 서로 어긋나면(불일치) 등급을 낮추는 항목이 있습니다. 이 틀을 네 메타분석 사례에 적용한 2026년 논문에서 두 사례는 I²가 높았습니다. 그런데 숲그림을 눈으로 검토하니 점추정값들이 일관되고, 신뢰구간이 서로 겹치며, 추정값 전부가 판단 기준선의 같은 쪽에 있었습니다. 그래서 저자들은 불일치를 이유로 등급을 낮추는 것이 정당화되지 않는다고 판정했습니다 (PMID 41796757). I²가 높다는 것만으로 연구 결과들이 서로 어긋난다고 판정할 수는 없다는 뜻입니다.

세 번째 숫자, τ² — 크기는 말하지만 척도에 묶여 있다

τ²(타우제곱)는 연구마다 다른 참값들이 얼마나 넓게 퍼져 있는지를 나타내는 분산입니다. 분산은 값들이 평균에서 얼마나 흩어져 있는지를 재는 값입니다. 랜덤효과 모형이 가정한 "연구마다 다른 참값"들의 분포에서 이 값을 구한 것이 τ²입니다. I²가 비율이라면 τ²는 크기를 직접 재므로, I²가 못 하는 말을 합니다.

대가는 단위입니다. 흩어짐의 정도를 연구 간 분산으로 재면 해석이 특정 치료효과 지표에 묶입니다 (PMID 12111919). 키의 흩어짐을 cm²로 말할 때와 인치²로 말할 때 숫자가 달라지는 것과 같습니다. 그래서 τ²가 0.09라는 말이 큰지 작은지는 그 값이 얹혀 있는 척도를 아는 사람만 압니다.

이 성질을 우회하려고, 흩어짐을 절대량 대신 재고 있는 효과에 견준 비율로 나타내는 지표들도 제안돼 있습니다. 다만 이 방식은 효과가 작을 때 아주 큰 값이 나올 수 있어 해석이 어려워집니다 (PMID 34328266).

τ² 역시 추정값입니다. τ²의 제곱근인 τ는 연구 수가 적거나 중간 정도면 그리 정밀하게 추정되지 않습니다. 또 모형이 추정하는 값들(모수 추정값)과, 각 연구의 효과를 전체 평균 쪽으로 당겨 다시 추정한 값(축소 추정값)이 τ의 참값이 무엇이냐에 따라 크게 달라질 수 있습니다 (PMID 38100240).

그러면 무엇을 봐야 하나 — 예측구간

예측구간은 비슷한 새 연구를 지금 한 편 한다면 그 연구의 참된 효과가 어디쯤 떨어질지를 보여 주는 범위입니다. 신뢰구간과는 답하는 질문이 다릅니다. 「신뢰구간은 오차범위가 아니다 — 괄호 안 두 숫자를 읽는 법」에서 다룬 신뢰구간은 "평균이 어디쯤인가"에 답하는 범위입니다. 예측구간은 숲그림의 마름모 근처에 함께 그려지곤 합니다.

이 구간을 일상적으로 싣자고 제안한 논문의 논거는 읽기 쉽다는 것입니다. 효과의 강도가 연구마다 얼마나 변하는지는 τ²나 I² 같은 지표에 반영되지만, 그 지표들은 임상적 해석이 간단하지 않습니다. 예측구간은 비슷한 연구들에서 참된 효과들이 놓일 것으로 기대되는 범위를 그대로 제시하기 때문에 덜 복잡합니다 (PMID 27406637).

저자들은 실제 메타분석에 예측구간을 만들어 봤습니다. 대상은 2009~2013년 코크런 중재 리뷰의 첫 메타분석들이고, 각각에 95% 예측구간을 계산했습니다. 그중 랜덤효과로 유의하고(p<0.05) I²가 0보다 큰 479편을 보면, 72.4%에서 예측구간은 중재의 효과가 없거나 심지어 반대 방향일 수도 있음을 시사했습니다. 그 479편 중 20.3%에서는 효과가 메타분석의 점추정값과 완전히 반대일 수도 있었습니다 (PMID 27406637). 평균 효과가 유의하다는 것과, 다른 환경의 새 연구에서 어떤 효과가 나올지는 서로 다른 질문이라는 뜻입니다.

Q값·p값·I² 같은 통계량으로 이질성을 낮음·보통·높음으로 분류하는 관행은 어디에나 있습니다. 지표들의 역할을 정리한 논문은 이 관행이 그럼에도 옳지 않다고 적습니다. 이 통계량들은 효과크기가 실제로 얼마나 변하는지를 말해 주지 않고, 그것에 기초한 분류는 잘해야 정보가 없으며 흔히 오도하기 때문입니다. 효과크기가 얼마나 변하는지에 답하는 통계량은 예측구간입니다 (PMID 37940120).

여기에는 예외가 하나 있습니다. I²가 효과크기의 변동 폭을 말해 주지 않는다는 것은 I²가 0%일 때는 예외입니다 (PMID 38938910).

그런데 이 구간은 거의 실리지 않습니다. 예측구간이 보고될 확률은 스포츠의학에서 1.7%(0.9~3.3), 의학에서 3.9%(2.4~6.6)였습니다. 2012~2022년 상위 스포츠의학·의학 저널의 메타분석 1,500편을 무작위로 훑어, 랜덤효과 모형을 쓴 866편(스포츠의학 514편)을 본 결과입니다 (PMID 38501202).

예측구간을 직접 계산할 수 있었던 스포츠의학 220편 중 60%에서는, 보고된 신뢰구간과 계산된 예측구간이 서로 다른 결론을 가리켰습니다. 예측구간은 신뢰구간보다 3.4배 넓었습니다. 이 표본에서는 신뢰구간만 보고 내린 결론이 예측구간으로 보면 달라지는 경우가 절반을 넘었다는 뜻입니다. 저자들의 결론에는 한정어가 붙어 있습니다. 랜덤효과 메타분석의 광범위한 오해석은 잠재적으로 해로운 치료나 근거 기반이 충분치 않은 치료가 실제로 쓰이고 있음을 뜻할 수 있다는 것입니다 (PMID 38501202).

예측구간에도 약점이 있습니다. 95% 예측구간이 지켜야 하는 요건은 하나입니다. 만들 때마다 비슷한 새 연구의 참된 효과를 품는 일이 평균적으로 100번 중 95번이면 됩니다. 그런데 연구 수가 적은 메타분석에서는 그 "몇 번이나 품었나"가 한쪽으로 쏠린 모양으로 흩어집니다. 그래서 평균만 보면 오해와 오독으로 쉽게 이어질 수 있습니다 (지금까지 발표된 계산법들을 모의실험으로 전수 조사한 2026년 논문, PMID 41992906).

I²가 낮으면 안심해도 되는가

거꾸로 물어보겠습니다. I²가 10%라고 적혀 있으면 그 메타분석은 믿어도 되는가. 모의실험으로 확인해 보면, I²가 낮다는 사실만으로는 결과를 믿어도 되는지 알 수 없습니다 (PMID 24320992).

예상대로인 부분부터 보면, 이질성이 커질수록 I²는 커지고 메타분석에서 옳은 추론을 끌어낼 가능성은 줄었습니다. 예상과 다른 부분은 둘입니다. 첫째, 이질성이 낮은 수준일 때 I²는 메타분석 결과의 정확성을 예측하지 못했습니다. 둘째, 이질성이 높은 수준일 때는 I² 값이 낮은 메타분석조차 예측값, 곧 그 결과가 맞을 가능성이 낮았습니다.

현실에서 가장 흔한 것은 이질성의 수준을 알 수 없는 상황입니다. 그때 I²가 낮으면, 여러 연구를 합쳐 낸 값(통합 추정치)의 예측값이 넓게 흩어질 수 있어 신중히 해석해야 합니다. 저자들의 결론 문장이 이 절의 답입니다. I²로 통계적 이질성을 정량화하는 것은 임상적 이질성의 양을 모르고 I²가 높을 때에만 도움이 됩니다. 저자들은 임상적·방법론적 이질성의 수준을 정량화할 객관적 방법이 시급히 필요하다고도 적습니다 (PMID 24320992).

이질성과 편향의 통계적 검정 전반을 다룬 논평도 같은 방향을 가리킵니다. 이 검정들은 매우 인기 있지만, 그 한계는 흔히 인식되지 않습니다. 본질상 통계적이지 않은 질문에 이 검정들이 신뢰할 만한 답을 준다고, 부적절하게 자신 있게 함의되곤 합니다. 없는 신호를 있다고 알리는 위양성 신호도, 있는 신호를 놓치는 위음성 신호도 흔할 수 있습니다 (PMID 19018930).

흩어짐의 원인을 찾는 시도 — 하위군 분석

이질성이 있다는 걸 알았으면 그다음은 왜 생겼는지를 묻는 일입니다. 하위군 분석은 연구들을 특성별로 갈라, 묶음마다 요약값을 다시 내 보는 방법입니다. 소아만 모은 연구들, 고용량을 쓴 연구들 같은 묶음입니다.

이질성은 보고조차 안 되는 경우가 적지 않습니다. 심부전 메타분석에서 이질성이 보고된 것은 결과 612개 중 422개(68.9%)뿐이었습니다 (2009~2019년 상위 저널 11곳의 126편, PMID 33131285). 보고된 결과 중 137개(32.5%)는 I²=0%로 관측 가능한 이질성이 없었습니다. 나머지는 낮음(I²<25%) 40개, 보통(25~50%) 76개, 높음(>50%) 169개(40%)였습니다. 이 조사가 쓴 구간은 앞에서 본 핸드북 구간과 또 다릅니다.

출처를 살피는 데 가장 흔히 쓰인 기법은 이 조사가 민감도 분석으로 분류한 것(68건)이었습니다. 민감도 분석은 일부 연구를 빼거나 조건을 바꿔도 결과가 버티는지 보는 방법입니다. 그다음이 하위군 분석(59건), 연구 특성과 효과의 관계를 회귀식으로 보는 방식(40건)입니다. 저자 결론은 이질성이 필수 요소인데도 결과의 거의 30%에서 보고되지 않았고, 처리 방식이 제각각이라 표준화가 필요하다는 것입니다 (PMID 33131285).

하위군 분석으로 찾은 차이는 대부분 큰 차이에 못 미칩니다. 같은 치료가 하위군마다 다르게 듣는 것을 교호작용이라고 합니다. 참가자 개인 자료를 모은 메타분석 327편에서 통계적으로 유의한 교호작용이 187개 나왔습니다. 그중 두 층의 결과가 눈에 띄게 갈렸다고 볼 만한 눈금(표준화 효과 차이 0.8)을 넘은 것은 7개(3.7%)뿐이었습니다. 저자들이 "이 하위군은 다르게 치료해야 한다"고 주장한 42개 중에는 그 눈금을 넘은 것이 하나도 없었습니다 (PMID 30445577). 통계적으로 유의하다는 것과 차이가 크다는 것은 다르다는 뜻입니다.

저자 결론에는 균형이 있습니다. 개인 자료가 있으면 약 3분의 1의 사례에서 유의한 교호작용이 나옵니다. 그리고 그중 적당한 수는 계층화된 치료 결정, 곧 환자 층마다 치료를 달리 정할 기회를 제공할 수 있다는 것입니다 (PMID 30445577).

임상적 이질성을 조사하는 방법에 대한 합의도 아직 얇습니다. 관련 지침 101건을 모은 조사에서 자료들 자체는 대체로 편향 위험이 낮았지만, 그들 사이의 합의는 극히 적었습니다 (PMID 22846171). 그럼에도 반복되는 권고는 있었습니다. 계획된 조사를 리뷰 프로토콜(미리 쓰는 분석 계획서)에 명시할 것, 임상 전문가를 팀에 넣을 것, 그리고 공변량(효과 차이를 설명하려고 분석에 넣는 연구 특성)은 명확한 과학적 근거를 가지고 정하되 공변량당 시험 수가 충분할 것입니다. 그 결과는 신중히 해석하라는 권고도 반복됩니다.

숫자 앞에서 물어볼 것

1. I²는 몇 %가 아니라 무엇의 몇 %인가. 총 변동 중 이질성의 몫이지, 효과가 얼마나 변하는지가 아닙니다 (PMID 41992898).
2. 예측구간이 실려 있는가. 없다면 그 메타분석은 "비슷한 새 연구에서 어떤 결과가 나올까"에 답하지 않은 것입니다 (PMID 37940120).
3. 연구들이 큰가. 연구 간 진짜 차이가 거의 없어도 각 연구의 표본이 충분히 크면 I²가 1까지 올라갈 수 있습니다 (PMID 40405379).
4. 이질성의 출처를 살펴봤는가, 그 결과를 어떻게 읽었는가. 유의한 하위군 차이가 곧 큰 차이는 아닙니다 (PMID 30445577).

하나만 남긴다면 이것입니다. I²는 흩어짐의 크기가 아니라 흩어짐 중 우연이 아닌 몫의 비율입니다. 크기를 알고 싶으면 예측구간을 봐야 합니다.

이 글이 비워 둔 자리

이질성 지표에도 쓸모는 있습니다. 네 지표를 모의실험으로 비교한 논문은 그중 I²를 포함한 둘을 측정용으로 추천합니다. 다만 이 지표들은 임상적 관점에서 직관적 해석을 갖는 기술 통계량, 곧 자료의 상태를 묘사하는 숫자로 써야 하며, 크기만 보고 이질성의 유의성을 판정해서는 안 된다고 적습니다 (PMID 31234230).

같은 연구에서 I²의 검정력은 Q 검정과 상당히 가까웠습니다. 네 지표 중 추천된 둘은 서로 일치도가 좋았으나, 다른 모든 쌍은 대체로 나빴습니다 (PMID 31234230). 지표를 무엇으로 고르느냐에 따라 같은 자료의 판정이 엇갈릴 수 있다는 뜻입니다. 여기 나온 넷도, 이 글이 다룬 셋(Q·I²·τ²)도 세상의 지표 전부는 아닙니다. 그 밖에도 여럿이 제안돼 있습니다.

랜덤효과 모형에서 이질성 분산을 어떤 방법으로 추정하는지, 그 모수가 정확히 무엇을 나타내는지는 이 글이 이름만 스쳤습니다 (PMID 34550584). 미해결로 남는 문제는 앞 절에서 이미 나왔습니다. 통계적 이질성이 낮다는 사실은 임상적 이질성이 낮다는 뜻이 아닙니다. 그리고 임상적·방법론적 이질성의 수준을 정량화할 객관적 방법이 시급히 필요하다는 것이 그 모의실험 논문의 마지막 문장입니다 (PMID 24320992).

이 글이 일부러 손대지 않은 자리도 있습니다. 숲그림에 애초에 실리지 않은 연구들입니다. 결과가 시원치 않아 발표되지 않은 연구가 있다면, 이 글이 다룬 숫자들도 그 빈자리 위에서 계산된 값입니다.

그 빈자리는 다른 편이 맡습니다. 빈자리를 탐지하려는 그림인 깔때기 그림, 작은 연구일수록 큰 효과가 나오는 현상, 그리고 발표되지 않은 연구가 이질성 지표 자체를 어떻게 오염시키는지는 「같은 시험, 다른 결론 — 출판편향과 "무엇을 합쳤는가"」가 다룹니다. 랜덤효과 모형을 다룬 한 장(章)도 마지막에, 출판편향을 관측된 효과 추정치들이 기대와 다른 분포를 이루는 대안적 설명으로 논합니다 (PMID 34550584).

근거 논문

이질성 지표가 무엇을 재는가

• "Quantifying heterogeneity in a meta-analysis." (2002) — PMID 12111919 — 연구 간 분산으로 재면 해석이 특정 치료효과 지표에 묶이고, 존재 검정은 연구 수에 의존합니다. 수학적 기준에서 연구 수·효과 지표에 독립인 H·R·I²를 유도. I² = 총 변동 중 이질성에서 온 비율. 결론은 H와 I²가 특히 유용해 이질성 검정보다 이 둘 중 하나 또는 둘 다를 싣는 편이 낫다는 것.
• "Reflections on the I-squared index…" (2026) — PMID 41992898 — I²는 총 변동성 중 무작위 오차가 아닌 참된 이질성에서 온 비율을 근사적으로 잽니다. 극히 널리 쓰이지만 흔히 이질성의 양을 재는 절대 척도로 오해되며 그것은 아닙니다.
• "Basics of meta-analysis: I2 is not an absolute measure…" (2017) — PMID 28058794 — 평균 효과 50점 예시. I²=50%로는 효과가 40~60인지 10~90인지 알 수 없습니다. 처방은 예측되는 범위를 그냥 보고하라는 것.
• "Assessing heterogeneity…: Q statistic or I2 index?" (2006) — PMID 16784338 — Q 검정은 이질성의 유무만 알리고 정도는 보고하지 않습니다. 비교 대상은 Q 검정과 I² 주위의 신뢰구간입니다. 몬테카를로 비교에서 I²는 Q의 보완물로 유용하나 연구 수가 적을 때 검정력이 낮은 같은 문제를 갖습니다.
• "Comparison of four heterogeneity measures…" (2020) — PMID 31234230 — 네 지표 비교에서 I²의 검정력은 Q와 상당히 가까웠고, I²와 R̂_I는 서로 일치도가 좋았으나 다른 모든 쌍은 대체로 나빴습니다. 권고는 그 둘을 쓰되 크기만으로 유의성을 판정하지 말고 기술 통계량으로 쓰라는 것.
• "An Alternative Measure for Quantifying the Heterogeneity…" (2025) — PMID 40405379 — I²가 연구 표본 크기에 크게 의존함을 간단한 예로 보이고, 표본 크기와 무관한 대안 지표를 제안. 결론에 "효과크기들이 실제로 비슷해 생물학적 차이가 거의 없어도 표본 크기가 충분히 크면 I²가 1까지 올라갈 수 있다"가 있습니다.
• "Comparisons of various estimates of the I2 statistic…" (2024) — PMID 38502022 — I²는 절대 척도로 볼 수 없고 큰 불확실성에 놓일 수 있어, 이질성의 정도를 해석할 때는 그 구간 추정을 함께 보는 것이 필수적입니다.
• "On ratio measures of heterogeneity…" (2022) — PMID 34328266 — I²는 총 분산 중 랜덤효과 분산의 몫. 변동계수는 랜덤효과 표준편차를 관심 효과로 나눈 비라 효과 대비 상대적 이질성을 줍니다. 다만 효과가 작으면 매우 큰 값이 나올 수 있어 해석이 어렵습니다.
• "How trace plots help interpret meta-analysis results." (2024) — PMID 38100240 — 연구 수가 적거나 중간이면 τ가 그리 정밀하게 추정되지 않고, 모수·축소 추정값이 τ의 참값에 따라 크게 달라질 수 있습니다.

문턱과 라벨

• "Reinterpreting I2 Thresholds…" (2026) — PMID 42359156 — 코크런 핸드북 분류(0~25% 낮음, 25~75% 보통, ≥50% 높음)에 겹치는 정의가 있어 I²=50%가 두 범주를 동시에 만족합니다. 일차 문헌은 문턱에 대한 이론적·경험적 정당화를 제한적으로만 제공. 현 관행은 I²를 의사결정 도구가 아니라 해석의 종착점으로 씁니다. 처방은 맥락 특이적 틀.
• "Misusing I2 for inconsistency…" (2026) — PMID 41796757 — 근거 확실성 평가 틀을 네 메타분석에 적용. 두 사례는 I²가 높았으나 시각적 검토상 점추정값 일관·신뢰구간 중첩·전부 문턱 같은 쪽이어서 불일치로 등급을 낮추는 것이 정당화되지 않았습니다. 나머지 두 사례는 표본 크기 부족으로 정밀도 등급 하향.

예측구간

• "Plea for routinely presenting prediction intervals…" (2016) — PMID 27406637 — 코크런 2009~2013에서 랜덤효과 유의(p<0.05)하고 I²>0인 479편 중 72.4%에서 예측구간이 효과 없음 또는 반대 방향 가능성을 시사, 20.3%에서 점추정값과 완전히 반대일 수 있었습니다.
• "Avoiding common mistakes in meta-analysis…" (2024) — PMID 37940120 — Q값·p값·I²는 효과크기가 얼마나 변하는지를 말해 주지 않습니다. 이들로 이질성을 낮음/보통/높음으로 분류하는 관행은 어디에나 있으나 그럼에도 옳지 않고, 그 분류는 잘해야 정보가 없고 흔히 오도합니다. 답하는 통계량은 예측구간.
• "How to understand and report heterogeneity…" (2023) — PMID 38938910 — I²는 효과크기의 변동 폭을 말해 주지 않는다(I²가 0%일 때는 예외). 예측구간은 "연구의 약 10%에서 사소·보통, 50%에서 큼, 40%에서 매우 큼" 같은 보고를 가능하게 합니다.
• "Meta-analysis prediction intervals are under reported…" (2024) — PMID 38501202 — 2012~2022 상위 저널 1,500편 중 랜덤효과 866편(스포츠의학 514편). 보고 확률 스포츠의학 1.7%(0.9~3.3)·의학 3.9%(2.4~6.6). 계산 가능한 220편 중 60%에서 신뢰구간과 예측구간의 결론이 불일치, 예측구간이 3.4배 넓음. 결론의 한정어는 "해로울 수 있는 치료가 쓰이고 있음을 뜻할 수 있다".
• "Assessing the properties of the prediction interval…" (2026) — PMID 41992906 — 95% 예측구간은 만들 때마다 비슷한 새 연구의 참된 효과를 평균 95%의 경우에 품습니다. 발표된 빈도주의 방법 전부를 모의실험으로 조사하니, 연구 수가 적으면 그 포함 비율의 분포가 이상적이지 않은 비대칭 형태라 평균만 보면 오해·오독으로 쉽게 이어질 수 있습니다.

이질성이 낮다는 것의 뜻

• "The effects of clinical and statistical heterogeneity…" (2014) — PMID 24320992 — 모의실험. 이질성이 낮을 때 I²는 메타분석 결과의 정확성을 예측하지 못했고, 높을 때는 I²가 낮은 메타분석조차 예측값이 낮았습니다. 결론은 I²가 임상적 이질성의 양을 모르고 I²가 높을 때에만 도움이 되며, 임상적·방법론적 이질성을 정량화할 객관적 방법이 시급하다는 것.
• "Interpretation of tests of heterogeneity and bias…" (2008) — PMID 19018930 — 통계적 이질성은 임상적·실용적 이질성의 상관물일 뿐이며 그 상관은 때때로 약할 수 있습니다. 위양성·위음성 신호 모두 흔할 수 있습니다. (같은 논문의 편향 관련 논의는 이 글에서 인용하지 않았습니다 — 「같은 시험, 다른 결론」의 몫입니다.)

이질성은 무엇에서 오는가, 무엇을 하는가

• "Meta-analysis of prevalence: I2 statistic…" (2022) — PMID 35088937 — 유병률 메타분석 134편의 I² 중앙값 96.9%(IQR 90.5~98.7). 연구 편수가 많을수록, 그리고 통합 추정값이 극단(<10% 또는 >90%)인 경우에 I²가 컸습니다. 예측구간 보고 3편(2%). 결론은 높은 I²가 언제나 높은 이질성과 동의어는 아니며, 임의의 문턱을 피하고 기대되는 값들의 범위 서술에 초점을 두라는 것 — 그 방법으로 예측구간과 계획된 민감도 분석 둘을 듭니다. 유병률 문헌고찰은 10년 새 10배 증가.
• "Consensus-based recommendations… clinical heterogeneity" (2013) — PMID 24004523 — 임상적 이질성 = 임상적으로 관련된 특성의 차이에서 오는 치료 효과의 변이(참가자·결과 측정의 종류나 시점·중재 특성의 연구 간 변이). 합의 절차로 12개 범주의 권고.
• "Investigating clinical heterogeneity in systematic reviews…" (2012) — PMID 22846171 — 지침 자료 101건 수집. 자료들의 편향 위험은 대체로 낮았으나 그들 사이의 합의는 극히 적었습니다. 반복 권고는 프로토콜 명시·임상 전문가 참여·공변량의 과학적 근거·공변량당 충분한 시험 수·신중한 해석이었습니다.
• "Heterogeneity in measurement of NIHSS…" (2025) — PMID 39240475 — 21편·818명·검사 9,696회. 운동 기능 항목의 평가자 간 일치도 0.85~0.90으로 나머지(0.58~0.85)보다 높음. 결론은 전반적으로 보통에서 우수한 일치도이며 이질성이 가장 큰 곳은 비운동 기능 평가, 비영어 판본·원격 평가·후향 분석의 효과는 작았다는 것.
• "Assessment of Heterogeneity in Heart Failure-Related Meta-Analyses." (2020) — PMID 33131285 — 상위 저널 11곳의 심부전 메타분석 126편(결과 612개, 2009~2019). 이질성 보고는 422개 결과(68.9%). 그중 I²=0% 137개(32.5%), 낮음 <25% 40개(9.5%), 보통 25~50% 76개(18%), 높음 >50% 169개(40%) — 핸드북 구간과 다른 구간입니다. 기법은 민감도 분석 68·하위군 59·회귀 40건. 결론은 거의 30%에서 미보고이며 표준화가 필요하다는 것.
• "How often can meta-analyses of individual-level data individualize treatment?" (2019) — PMID 30445577 — 개인참가자자료 메타분석 327편. 하위군 분석을 보고한 279편 중 102편(36.6%)이 유의한 교호작용. 교호작용 187개(개인 수준 124·집단 수준 63) 중 층 간 차이가 큰 것(표준화 효과 차이 ≥0.8)은 7개(3.7%). 저자가 다르게 치료해야 한다고 주장한 42개 중엔 큰 것이 없었습니다. 결론은 약 3분의 1에서 유의한 교호작용이 나오며 그중 적당한 수가 계층화 결정의 기회를 제공할 수 있다는 것.
• "Assessing Heterogeneity in Random-Effects Meta-analysis." (2022) — PMID 34550584 — 랜덤효과 모형의 이질성 분산 모수 추정 방법, 그 모수가 무엇을 나타내는지, 이질성의 설명을 통계적으로 탐색하는 법. 장 끝에서 출판편향을 관측된 효과 추정치들이 기대와 다른 분포를 이루는 대안적 설명으로 논합니다.