Paperis 아티클

같은 시험, 다른 결론 — 출판편향과 "무엇을 합쳤는가"

메타분석의 결론을 정하는 것은 계산이 아니라 재료입니다. 무엇이 애초에 발표되지 않아 못 들어왔고, 있는 자료를 저자가 어떻게 넣고 뺐는지를 묻지 않으면 마름모의 위치는 읽히지 않습니다.

기초AI 생성기초과학 · 2026년 10월 5일

내 분야 논문을 오디오로

관심 분야·저널을 고르면 Paperis가 핵심 논문을 요약하고 음성으로 변환해 드려요. 출퇴근길에 들어보세요.

같은 시험, 다른 결론 — 출판편향과 "무엇을 합쳤는가"

비타민D 보충제가 노인의 낙상을 줄이는지를 놓고 두 메타분석이 서로 다른 답을 냈습니다. 메타분석은 같은 질문을 다룬 여러 연구의 결과를 모아 하나의 요약값으로 합치는 방법입니다. 한쪽 메타분석은 비타민D를 칼슘과 함께 주면 낙상이 줄고, 비타민D만 주면 효과가 없다고 했습니다. 다른 쪽은 겹치는 시험들을 합쳤는데도, 칼슘을 주든 안 주든 효과가 없다고 했습니다.

두 분석이 갈린 자리는 시험마다 꺼내 쓴 숫자였습니다. 앞쪽 분석에 들어간 무작위시험(제비뽑기로 군을 나눈 시험) 25편의 원자료를 다시 꺼내, 시험마다 치료 효과를 계산해 맞춰 봤습니다. 그러자 25편 중 14편(56%)에서 개별 시험의 결과값 자체가 두 분석 사이에 달랐습니다.

낙상이나 참가자의 부분집합만 쓴 것이 네 시험, 끝까지 마친 사람만 쓴 것이 세 시험, 골절 자료에서 대체 추정한 것이 한 시험이었습니다. 이 밖에도 원 논문의 조정된 결과를 쓴 것, 여러 군을 둔 시험의 자료를 합치는 방식이 다른 것, 군 인원수가 맞지 않는 것이 있었습니다. 저자들은 같은 시험의 자료를 쓰는 방법론적 차이가 곧바로 다른 결론으로 이어졌다고 결론짓습니다 (PMID 25093621). 같은 시험을 모아도, 시험마다 어떤 숫자를 꺼내 쓰느냐에 따라 메타분석의 답이 달라진다는 뜻입니다.

앞의 두 편은 이미 모인 연구를 합치고 읽는 법을 다뤘습니다. 「메타분석은 평균을 내지 않는다 — 숲그림의 마름모가 만들어지는 법」은 숲그림(연구마다 결과를 한 줄씩 긋고 맨 아래에 합친 값을 마름모로 찍는 그림)에서 마름모의 위치를 연구마다 준 무게가 정한다는 것을 보였습니다. 「I²는 흩어짐의 크기가 아니다 — 이질성 지표를 읽는 법」은 연구들의 결과가 서로 얼마나 흩어져 있는지를 재는 숫자를 다뤘습니다. 이 글은 그보다 앞의 질문을 다룹니다. 애초에 무엇이 그 그림에 들어왔고, 무엇이 못 들어왔는가.

어긋남은 두 방향에서 옵니다. 바깥에서는 발표되지 않아 아무도 넣을 수 없는 연구가 빠집니다. 안에서는 저자가 자료를 넣거나 빼거나 다르게 씁니다. 그리고 이 두 방향 모두에 걸치는 재료가 하나 더 있는데, 누가 연구비를 댔는가입니다.

이 글에서 새로 배울 말은 일곱 개이고, 각 말은 처음 나오는 자리에서 풉니다. 아래 나오는 약과 치료의 이름은 숫자를 읽는 법을 보이기 위한 사례이지, 어떤 치료가 좋은지에 대한 판정이 아닙니다.

밖에서 오는 왜곡 — 애초에 실리지 않은 연구

없는 것을 보려는 그림

출판편향은 결과가 시원치 않은 연구일수록 발표되지 않아, 손에 들어오는 연구가 잘 나온 결과 쪽으로 쏠리는 현상입니다. 저자가 쓰지 않기도 하고, 써도 실리지 않기도 하고, 늦거나 눈에 덜 띄는 곳에 실리기도 합니다. 그러면 나중에 누가 아무리 성실히 뒤져도 손에 들어오는 것은 살아남은 연구들뿐입니다.

낚시 대회로 옮기면 이렇습니다. 참가자들이 큰 물고기를 낚았을 때만 사진을 올린다면, 그 사진첩을 다 세어 평균을 내도 그 호수의 물고기 크기는 나오지 않습니다. 사진 한 장 한 장은 진짜입니다. 문제는 올라오지 않은 사진입니다.

없는 연구는 볼 수 없으니, 있는 연구들이 이루는 모양을 봅니다. 깔때기 그림은 연구 하나를 점 하나로 찍어, 연구들이 흩어진 모양을 보는 그림입니다. 가로축은 효과크기, 곧 치료가 결과를 얼마나 바꿨는지를 나타낸 값입니다. 세로축은 정밀도, 곧 결과가 얼마나 덜 흔들리는지이고, 표본 크기를 대신 쓰기도 합니다. 정밀한 연구는 참값 근처에 몰리니 위쪽 좁은 자리에 모이고, 작은 연구는 크게 흔들리니 아래쪽에 넓게 퍼집니다. 그래서 편향이 없으면 점들이 뒤집힌 깔때기 모양을 이룹니다. 깔때기의 한쪽 아래 귀퉁이가 비어 있으면, 그 자리에 있었어야 할 작고 시원찮은 연구들이 어디 갔는지 묻습니다.

이 그림의 쓰임을 정리한 논문은 단서를 함께 붙입니다. 단순한 분석만으로도 편향이 있을 법한지 가늠하는 쓸 만한 검사가 되지만, 메타분석이 적은 수의 작은 시험에 기초할 때는 탐지 능력이 제한되니 그 결과를 상당한 주의를 갖고 다뤄야 한다는 것입니다 (PMID 10724898). 연구가 적고 작을 때는 그림 하나로 결론을 내리기 어렵다는 뜻입니다.

작은 연구일수록 큰 효과

깔때기가 한쪽으로 기울 때 흔히 보이는 모습은 하나입니다. 소규모 연구 효과는 작은 연구일수록 더 큰 이득을 보고하는 경향입니다. 작은 연구는 결과가 시원치 않으면 조용히 묻히기 쉽고, 크고 돈이 많이 든 연구는 결과가 어떻든 나오기 쉽습니다. 그러면 문헌에 남은 작은 연구들은 "잘 나온 것들"만 모인 표본이 됩니다. 다만 원인이 그것만은 아닙니다. 작은 연구는 방법이 느슨하기 쉽고, 그 느슨함이 효과를 부풀리기도 합니다.

이 경향은 골관절염 통증 치료 시험들에서 관찰됐습니다. 평균적으로 작은 시험 쪽의 치료 효과가 더 컸습니다(효과크기 차이 −0.21, 95% 신뢰구간 −0.34~−0.08). 신뢰구간은 추정이 얼마나 흔들릴 수 있는지를 보여 주는 범위이고, 여기서는 구간 전체가 작은 시험이 유리한 쪽에 있습니다. 분석에는 메타분석 13편에 든 시험 153편, 환자 41,605명이 들어갔습니다.

13편 중 6편에서는 전체를 합친 통합 추정치가 임상적으로 의미 있고 유의한 이득을 시사했습니다. 그런데 큰 시험만으로 다시 계산하면 더 작고 유의하지 않은 값이 나왔습니다. 저자들은 소규모 연구 효과가 흔히 메타분석의 결과를 왜곡할 수 있다고 결론짓습니다 (PMID 20639294). 합친 값이 "이득이 있다"고 말해도, 그 이득이 작은 시험들에서 왔다면 큰 시험만으로는 사라질 수 있다는 뜻입니다.

깔때기의 기울어짐 말고도 출판편향을 의심하게 하는 신호가 하나 더 있습니다. 유의한 결과가 지나치게 자주 나오는 것입니다. 「메타분석은 평균을 내지 않는다」가 "편향의 신호 둘"이라고만 적고 넘긴 것 가운데 나머지 하나가 이것입니다. 여기서 "유의하다"는 p값이 미리 정한 기준보다 작게 나왔다는 뜻입니다. 연구 열 편이 각각 효과를 잡아낼 힘이 절반쯤밖에 안 된다고 하겠습니다. 그러면 효과가 실제로 있더라도 "유의하다"고 나오는 것은 대략 다섯 편이어야 합니다. 그런데 아홉 편이 유의하다면 계산이 맞지 않습니다. 유의하지 않게 나온 연구가 어딘가에서 사라졌다는 신호입니다.

그런데 나타나지 않는 분야도 있다

소규모 연구 효과가 어디서나 나타나지는 않습니다. 신경외과 메타분석들에서는 평균적으로 작은 연구가 더 큰 이득을 보이지 않았습니다. 차이는 두 쪽의 오즈비(사건이 일어날 확률 대 안 일어날 확률의 비를 두 군끼리 나눈 값)를 서로 나눠 쟀고, 그 값은 1.32(95% 신뢰구간 0.89~1.75)였습니다. 분석에는 신경외과 학술지 다섯 곳의 메타분석 16편, 환자 90,629명이 들어갔습니다.

저자들은 이 결과를 "그러니 출판편향이 없다"로 읽지 않았습니다. 이들의 해석은 이렇습니다. 소규모 연구 효과가 없다는 것은 출판편향의 부재를 반영한다기보다, 크고 작은 연구 모두에 걸친 신경외과 문헌의 광범위한 질 저하를 반영하는 것일 수 있다 (PMID 34656237). 큰 연구도 함께 부실하면 큰 연구와 작은 연구의 차이가 지워집니다. 신호가 안 잡히는 것과 문제가 없는 것은 다릅니다.

비대칭의 원인은 출판편향만이 아니다

깔때기의 좌우가 고르지 않은 것을 비대칭이라고 합니다. 비대칭이 보인다고 곧장 "논문이 묻혔다"고 읽을 수는 없습니다. 다른 원인이 여럿 있습니다.

첫째, 깔때기의 모양은 그림을 어떻게 그리느냐에 좌우됩니다. 세로축의 정밀도를 다르게 정의하거나 효과를 재는 지표를 바꾸기만 해도 모양이 달라집니다. 발표된 메타분석 198편을 이렇게 다시 그려 보니, 비대칭으로 보여 선택 편향(어떤 연구만 골라져 남은 데서 오는 편향)을 시사하던 43편 중 37편(86%)에서 모양에 대한 결론이 뒤집혔습니다. 저자들은 깔때기 그림의 모양이 그림을 구성하는 방법의 임의적 선택에 크게 좌우된다고 결론짓습니다 (PMID 10812319).

둘째, 어떤 효과 지표에서는 편향이 없어도 비대칭이 생깁니다. 통증 점수처럼 수치로 재는 결과는 연구마다 척도가 달라서, 단위를 맞춘 표준화 효과크기로 바꿔 합칩니다. 이 표준화 효과크기를 표준오차(추정이 얼마나 흔들리는지를 나타내는 값)에 대해 그리면 그림이 왜곡되기 쉽고, 그 결과 출판편향의 존재와 정도를 과대추정하게 됩니다. 왜곡은 표본이 작고 중재 효과가 실제로 있을 때 더 심했습니다. 저자들은 이 조합이 평가에 부적합하며, 없는 편향을 있다고 보는 위양성 결과로 이어질 수 있다고 결론짓습니다 (PMID 28884685).

셋째, 원인의 목록은 닫히지 않습니다. 대부분의 통계 검정은 비대칭을 만드는 다른 설명을 배제하지 못합니다. 이질성(연구마다 결과가 실제로 다른 정도), 효과 지표의 선택, 우연 같은 설명입니다 (PMID 37684502). 이 근거는 스포츠·운동의학 문헌의 한 교육 리뷰입니다.

원인을 갈라 보려는 그림도 제안돼 있습니다. 깔때기 그림 위에, 결과가 통계적으로 유의하게 나오는 영역과 그렇지 않은 영역을 가르는 등고선을 얹는 방법입니다. 빠진 것으로 보이는 연구들이 유의하지 않은 영역에 있으면 출판편향 쪽에 무게가 실립니다. 유의성이 높은 영역에 있으면 연구 질의 편차 같은 다른 요인일 가능성이 더 큽니다 (PMID 18538991). 빈자리가 어느 영역에 있는지가 원인을 가르는 단서가 된다는 뜻입니다.

사람도 검정도 이 자리를 못 메운다

깔때기 그림을 눈으로 읽는 판정은 맞힐 확률이 평균 절반을 조금 넘는 정도였습니다. 의학 연구자 41명에게 연구 10편짜리 깔때기 그림을 주고, 출판편향의 영향을 받았는지 답하게 했습니다. 10편은 의학 메타분석에 든 연구 수의 중앙값입니다. 평균 정답률은 52.5%였습니다(95% 신뢰구간 50.6~54.4). 가중한 정답률도 조건에 따라 48.3~62.8%에 그쳤습니다 (PMID 16085192). 그림 모양만 보고 판정하면 그 모양에 속을 수 있다는 뜻입니다.

통계 검정도 연구 수가 적으면 약해집니다. 코크런(의학 근거를 체계적으로 모아 정리하는 국제 협력 단체) 리뷰의 메타분석 5,014개에서, 연구 수의 중앙값이 87에서 14로 줄자 널리 쓰이는 비대칭 검정 네 종이 비대칭을 잡아내는 비율이 검정에 따라 28.3~42.6% 줄었습니다. 모의실험에서도 출판편향이 있을 때 p값 기반 검정들은, 특히 연구 수가 적을 때, 그 존재를 과소추정했습니다 (PMID 31743750). 검정이 비대칭을 못 찾았다고 해서 편향이 없다는 보장이 되지 않는다는 뜻입니다.

검정끼리 판정이 엇갈리는 것도 문제입니다. 코크런 메타분석 28,655개에서 검정끼리 판정이 얼마나 겹치는지를 일치도로 쟀습니다. 이분형 결과(일어났나 아닌가로 재는 결과)에서 회귀검정 네 종끼리는 꽤 강하게 맞았습니다(대개 0.6 안팎, 둘은 0.9 초과). 반면 성격이 다른 세 검정, 곧 Begg 순위검정·잘라내고 채우는 방식(아래에서 다룹니다)·Egger 회귀검정 사이의 일치도는 0.5 미만이었습니다. 그래서 저자들은 한 검정에만 기대지 않기를 권합니다 (PMID 29663281).

그래서 앞의 교육 리뷰는 최선의 해법으로 탐지보다 예방을 꼽습니다. 예방책은 넷입니다. 무엇을 어떻게 잴지 미리 공개하는 사전등록, 결과 전에 계획만으로 심사받는 등록보고서, 계획에서 벗어난 점(프로토콜 이탈)의 공개, 그리고 방향이나 크기와 상관없이 모든 결과를 보고하는 것입니다. 참된 출판편향은 확정하기가 매우 어려우므로, 이들은 "출판편향"보다 "출판편향 위험"이라고 쓰기를 권합니다 (PMID 37684502).

그리고 이질성 지표까지 흔든다

이질성을 재는 대표적인 숫자는 둘입니다. Q 검정은 연구들의 결과가 우연으로 설명되는 것보다 더 흩어졌는지를 보는 검정이고, I²는 결과의 흩어짐 가운데 우연이 아닌 참된 차이에서 온 몫을 비율로 나타낸 값입니다. 출판편향이 이 둘에 미치는 영향은 크고 복잡하고 비선형적입니다. 출판편향은 참된 효과크기의 이질성을 극적으로 줄일 수도 있고 늘릴 수도 있으며, 특히 연구 수가 많고 모집단 효과크기가 작을 때 그렇습니다. 저자들은 출판편향이 있을 때 Q 검정도, I²를 비롯한 이질성 척도도 일반적으로 타당하지 않다고 결론짓습니다 (PMID 30489099). 「I²는 흩어짐의 크기가 아니다」가 세운 읽는 법은 그대로 유효합니다. 다만 그 숫자도 빈자리 위에서 계산된 값입니다.

보정하면 답이 바뀐다 — 그리고 양방향으로

빠진 것을 채워 넣는 계산

빈자리를 계산으로 메우려는 방법들도 있습니다. 빠진 것으로 보이는 연구를 추정해 채워 넣고 요약값을 다시 내는 방법이 있고, 결과에 따라 발표될 확률이 달라진다는 모형을 세워 가중치를 다시 매기는 방법이 있습니다. 이 글은 출판편향으로 빠진 몫을 이렇게 계산으로 메워 요약값을 다시 내는 방법들을 묶어 보정 도구라고 부릅니다. 널리 쓰이는 잘라내고 채우는 방식은 빠진 연구의 수와 영향을 추정해 깔때기의 빈 쪽을 채웁니다. 이 방식을 제안한 논문은 보정 뒤에 점추정치가 근사적으로 옳고, 신뢰구간이 참값을 담아 내는 비율(포함확률)이 상당히 개선된다고 적습니다 (PMID 10877304).

보정하면 답이 바뀝니다. 문제는 어느 쪽으로 바뀔지가 정해져 있지 않다는 것입니다. 아래 두 사례는 정반대 방향을 보여 줍니다.

효과가 사라진 쪽

혈중 비타민D가 낮을수록 고혈압 위험이 높다는 연관을 다룬 메타분석이 있습니다. 한 집단을 시간에 따라 지켜본 코호트 연구 13편을 합친 것입니다. 합친 상대위험(두 집단의 위험을 서로 나눈 값)은 1.22(95% 신뢰구간 1.05~1.41)로 유의했습니다. 그런데 깔때기의 비대칭을 재는 Egger 검정의 p값이 0.015였고, 깔때기 그림도 비대칭이었습니다. 잘라내고 채우는 방식으로 보정하자 채워진 값은 1.03(0.89~1.18)이 되어 통계적 유의성이 사라졌습니다. 저자 결론에는 한정어가 붙어 있습니다. 이전 체계적 문헌고찰들의 유의한 결과는 출판편향 때문으로 해석될 수 있다는 것입니다 (PMID 35568961). 체계적 문헌고찰은 정해진 방법으로 관련 연구를 빠짐없이 찾아 모으는 연구입니다.

상대위험 눈금 위의 두 구간. 보정 전 1.22(1.05~1.41)는 1보다 오른쪽에 있고, 잘라내고 채우기 보정 후 1.03(0.89~1.18)은 1에 걸쳐 있다.

효과가 커진 쪽

반대 방향도 실측돼 있습니다. 운동이 우울증 치료가 되는지를 다룬 무작위시험 25편의 메타분석에서, 출판편향을 보정한 표준화 효과크기는 1.11(95% 신뢰구간 0.79~1.43)로 크고 유의했습니다. 이 효과를 유의하지 않게 만들려면 효과 없는 연구가 1,057편 있어야 한다는 계산도 나왔습니다. 그리고 보정 분석 대부분은 출판편향이 효과크기를 과소추정하게 만들었음을 시사했습니다. 저자들은 이전 메타분석들이 출판편향 때문에 운동의 이득을 과소평가했을 수 있다고 결론짓습니다 (PMID 26978184).

보정 도구가 할 수 있는 일과 없는 일

선택모형은 결과에 따라 발표될 확률이 달라진다고 가정하고, 그 확률로 가중치를 다시 매기는 보정 도구입니다. 이 계열을 모의실험으로 평가한 결과는 갈렸습니다. 최근 제안된 두 접근은, 세 방법이 모두 설계된 제한적 상황에서는 꽤 잘 작동했지만 원래의 선택모형만큼은 아니었습니다. 더 현실적인 상황에서는 나쁘게 작동했고, 반면 원래 접근의 변형들은 잘 작동했습니다. 그래서 저자들은 선택모형을 사후 보정된 하나의 추정치를 내는 데보다 민감도 분석에 쓰기를 권합니다. 민감도 분석은 편향의 형태와 심각도를 다르게 가정했을 때 나오는 추정치들의 범위를 살피는 일입니다 (PMID 27694467). 보정값 하나를 정답으로 받기보다, 가정에 따라 값이 얼마나 움직이는지를 보는 쪽이 낫다는 권고입니다.

방법이 여럿이라는 사실이 문제를 하나 더 만듭니다. 모의실험들에서 어떤 방법도 넓은 조건 범위에서 다른 방법들을 일관되게 능가하지 않았습니다. 그러면 방법마다 결론이 어긋날 때, 원하는 결과를 내는 방법을 골라 쓸 수 있습니다. 이 문제를 제기한 논문은 하나를 고르는 대신, 여러 접근을 자료가 받쳐 주는 만큼 가중해 평균 내는 방법을 해법으로 내놓았습니다. 그리고 실제 자료 적용, 모의실험, 사전등록 재현 연구와의 비교로 그 이득을 보였습니다 (PMID 35869696).

실제로 미발표 자료를 넣어 봤을 때

탐지도 보정도 미덥지 않다면, 남는 길은 발표되지 않은 자료를 직접 구해 넣는 것입니다. 항우울제 리복세틴을 다룬 체계적 문헌고찰이 그렇게 했습니다. 리복세틴을 위약, 그리고 선택적 세로토닌 재흡수 억제제(SSRI)와 비교한 시험 13편, 환자 4,098명을 모았습니다. 자료는 시험등록부와 규제기관 웹사이트, 그리고 제조사에서 직접 받았습니다. 이 4,098명 중 74%(3,033명)의 자료가 미발표였습니다.

위약과 비교한 관해율(증상이 거의 사라진 상태에 이른 환자의 비율)에는 유의한 차이가 없었습니다. 리복세틴은 관해율과 반응률(증상이 일정 정도 이상 줄어든 환자의 비율) 모두에서 SSRI보다 열등했고, 해로움 결과 두 가지 모두에서 위약보다 열등했습니다. 그리고 발표된 자료만 쓰면 위약 대비 이득이 최대 115%, SSRI 대비 이득이 최대 23% 과대평가됐고 해로움은 과소평가됐습니다. 저자들은 리복세틴이 전반적으로 효과 없고 잠재적으로 해로운 항우울제이며, 발표된 근거가 출판편향의 영향을 받고 있어 시험 자료의 의무 공개가 시급하다고 결론짓습니다 (PMID 20940209). 발표된 논문만 모았다면 이 약의 이득은 실제보다 크게, 해로움은 실제보다 작게 보였다는 뜻입니다.

안에서 오는 왜곡 — 무엇을 넣고 뺐나

한 연구 안에서도 고른다

지금까지는 연구 전체가 세상에 나오지 않는 경우를 봤습니다. 연구는 나왔는데 그 안에서 결과가 골라지기도 합니다. 선택적 보고는 연구를 발표하되, 잰 결과 가운데 일부만 골라 싣는 것입니다. 열 가지를 쟀는데 논문에는 잘 나온 셋만 실린다든지, 미리 정해 둔 주된 결과 대신 나중에 좋게 나온 결과가 주인공이 된다든지 하는 식입니다. 그 시험은 논문 목록에 멀쩡히 들어 있으니 검색으로는 잡히지 않습니다.

소규모 연구 효과의 잘 알려진 원인으로는 출판편향과 함께, 이런 선택에서 오는 결과 보고 편향과 임상적 이질성(대상 환자나 치료 방식이 연구마다 다른 것)이 꼽힙니다. 어떤 연구는 통째로 발표되지 않고 어떤 연구는 결과 중 일부만 골라 보고하는, 서로 다른 선택 과정이 함께 작동할 수 있습니다 (PMID 32720712). 다만 이 글이 근거로 삼은 문헌들은 이 현상에 이름을 붙이고 기제를 나눌 뿐, 얼마나 자주 일어나는지는 세지 않습니다. 앞에서 본 사전등록 같은 예방책이 겨냥하는 자리가 바로 여기입니다.

언제 자르느냐 — 누적 메타분석

메타분석은 어느 시점까지 나온 연구를 모은 스냅숏입니다. 누적 메타분석은 그 시점을 고정하지 않고, 시험을 발표 순서대로 한 편씩 더해 가며 그때마다 요약값을 다시 계산하는 방법입니다. 이렇게 하면 답이 언제 정해졌고 언제까지 흔들렸는지가 보입니다.

당뇨약 로시글리타존의 심근경색 위험이 이 방법으로 되짚어졌습니다. 발표된 연구만 쓴 자료와, 수행된 연구 전부를 쓴 자료로 각각 누적 메타분석을 돌렸습니다. 최종 요약 추정치는 두 자료에서 눈에 띄게 다르지 않았습니다(오즈비 1.4, 0.95~2.05 / 1.42, 1.03~1.97). 하지만 전체 자료 쪽이 의사결정 문턱, 곧 임상 판단을 내릴 만한 기준점에 36개월 먼저 도달했습니다. 세 가지 보정법을 발표분 자료에 적용해 봤지만, 어느 것도 그 시점을 앞당기지 못했습니다 (PMID 35761433). 출판편향의 대가가 최종 답이 아니라 시간일 수 있다는 뜻이고, 보정 도구는 그 시간을 되찾아 주지 못했습니다.

같은 주제, 다른 재료

비타민D와 골절을 다룬 메타분석들도 재료가 서로 달랐습니다. 이 주제의 메타분석 24편 가운데 최상위 일반의학 학술지에 실린 일곱 편을 자세히 비교한 결과입니다. 질 평가 도구로 보면 일곱 편은 대체로 고품질이었습니다. 하지만 상세히 들여다보자 시험 선정·자료 추출·분석 방법에서 중요한 차이가 드러났습니다. 세 편은 자기 기준에 맞는 시험을 3편에서 8편씩 "놓쳤고", 두 편은 부적격으로 보이는 시험을 넣었습니다.

이 차이들은 한쪽으로 기울어 있었습니다. 비교 기준은 무작위 배정된 모든 참가자를 보정 없이 분석한 값(무보정 의도치료 분석)입니다. 차이의 다수(16개 중 11개)가 이 기준보다 비타민D에 더 유리한 추정치로 이어졌습니다. 결론들도 "비타민D가 골절을 예방한다"부터 "칼슘 없는 비타민D는 골절을 예방하지 않는다"까지 흩어져 있었습니다 (PMID 25551377).

무엇을 넣고 뺐느냐만이 아니라, 편향을 어떻게 다뤘느냐도 결론을 가릅니다. 항혈소판제 클로피도그렐의 효과가 CYP2C19라는 유전자의 기능 저하 변이와 관련되는지를 다룬, 서로 겹치는 메타분석 11편이 그 사례입니다. 결과값이 달랐던 이유는 최근 메타분석일수록 더 많은 일차 연구를 포함했고, 일부는 학회 초록을 넣지 않았기 때문이었습니다. 반면 결론이 달랐던 이유는 이질성과 출판편향을 서로 다르게 다뤘기 때문입니다. 임상 종점에서 모든 메타분석이 유의한 이질성을 관찰했고, 여럿이 출판편향의 근거를 보고했습니다. 그런데 유의한 연관을 보고한 여덟 편 가운데, 그래서 연관이 입증되지 않았다고 결론지은 것은 한 편이었습니다 (PMID 24946154). 같은 경고 신호를 보고도 결론을 어떻게 내릴지는 메타분석마다 달랐다는 뜻입니다.

그래서 실제로 해결한 사례

불일치의 출처를 밝히고 방법을 맞춰 다시 계산하면, 불일치는 풀 수 있습니다. 이 글을 연 비타민D와 낙상 사례가 그렇습니다. 보정하지 않은 분석과 무작위 배정된 모든 참가자로 방법론적 선택을 통일해 다시 계산하자, 비타민D는 칼슘 여부와 상관없이 낙상에 간신히 걸치는 효과를 보였습니다(상대위험 0.95, 0.90~1.00). 신뢰구간의 위쪽 끝이 '효과 없음'의 경계에 닿아 있다는 뜻입니다.

하위군으로 갈라 보면 조건이 붙습니다. 비타민D 단독은 효과가 없었습니다(1.00, 0.92~1.08). 비타민D와 칼슘을 위약 또는 대조군과 비교했을 때도 효과가 없었습니다(0.95, 0.88~1.02). 완만한 효과는 비타민D와 칼슘을 칼슘 단독과 비교했을 때에만 남았습니다(0.84, 0.76~0.92) (PMID 25093621). 방법을 통일하면 불일치가 줄지만, 남는 효과에는 이런 조건절이 붙습니다.

상대위험 눈금 위의 네 구간. 전체 0.95(0.90~1.00), 비타민D 단독 1.00(0.92~1.08), 비타민D+칼슘 대 위약·대조군 0.95(0.88~1.02), 비타민D+칼슘 대 칼슘 단독 0.84(0.76~0.92). 마지막 줄만 1에서 떨어져 있다.

자금원 — 누가 연구비를 댔는가

마지막 재료는 누가 돈을 댔는가입니다. 이 재료는 바깥과 안 양쪽에 걸칩니다. 자금원 편향은 연구비를 댄 쪽에 유리한 결과와 결론이 더 자주 나오는 경향입니다.

약물과 의료기기 연구를 다룬 논문 48편을 모아 보면, 산업 후원 연구가 후원자에게 유리한 결과를 더 자주 냈습니다. 여기서 위험비는 유리한 결과가 나온 비율을 산업 후원 연구와 그 밖의 연구끼리 나눈 값입니다. 효능 결과는 1.24(95% 신뢰구간 1.14~1.35), 해로움 결과는 1.87(1.54~2.27), 결론은 1.31(1.20~1.44)이었습니다.

그런데 편향 위험 평가에서는 차이가 없었습니다. 편향 위험 평가는 연구 설계에 결과를 비뚤게 만들 약점이 있는지를 항목별로 점검하는 일입니다. 눈가림(누가 어떤 치료를 받는지 모르게 하는 것) 항목에서는 산업 후원 쪽이 오히려 편향 위험이 낮은 경우가 더 많았습니다(1.32, 1.05~1.65). 저자 결론은 그 위에 섭니다. 제조사 후원은 더 유리한 결과와 결론으로 이어지며, 표준적인 편향 위험 평가로는 설명되지 않는 산업 편향이 존재함을 시사한다는 것입니다. 다만 같은 리뷰는 균형도 적습니다. 효과크기를 보고한 열 편 중 다섯 편은 산업 후원 쪽이 더 컸고, 다섯 편은 차이를 찾지 못했습니다 (PMID 23235689).

이 경향의 크기는 분야마다 다릅니다. 영양학에 같은 질문을 던진 체계적 문헌고찰은 답이 달랐습니다. 775편을 검토해 12편을 포함했습니다. 유의성과의 연관을 본 두 편은 둘 다 연관을 찾지 못했습니다. 결론과의 연관을 본 여덟 편(연구 340개)에서는 산업 후원 연구가 유리한 결론을 낼 가능성이 더 높았지만, 그 차이는 유의하지 않았습니다(위험비 1.31, 0.99~1.72). 저자들은 이 결과가 식품산업의 연구 후원과 유리한 결론의 연관을 시사하지만 확정하지는 않는다고 결론짓습니다 (PMID 27802480).

방향은 있습니다. 크기는 맥락에 따라 다릅니다.

이 글이 다루는 오해는 둘이다

① "깔때기가 대칭이니 출판편향이 없다." 대칭은 출판편향이 없다는 증거가 되지 못합니다. 연구가 열 편 안팎이면 검정은 검정력, 곧 실제 있는 편향을 잡아낼 힘이 크게 부족합니다 (PMID 37684502). 검정은 편향의 존재를 과소추정하고 (PMID 31743750), 눈으로 읽는 판정의 정답률은 절반 언저리입니다 (PMID 16085192). 신경외과에서 신호가 없었을 때 저자들이 내린 판정도 "출판편향이 없다"가 아니었습니다 (PMID 34656237). 거꾸로, 비대칭이 곧 출판편향인 것도 아닙니다 (PMID 10812319, PMID 28884685).

② "이 결과는 여러 메타분석에서 반복 확인됐다." 같은 시험이 여러 메타분석에 거듭 쓰이면 근거가 여러 개처럼 보입니다. 그 여러 편이 서로 다른 결론을 낸다면, 그 차이는 새 자료가 아니라 재료를 고르고 다루는 방식에서 올 수 있습니다 (PMID 25551377, PMID 24946154).

요약값 앞에서 물어볼 것

마름모나 "메타분석에서 확인됐다"는 한 줄을 만나면 물어볼 것이 네 가지 있습니다.

이 값이 어느 시험들 위에서 나왔는가. 각 시험에서 어떤 결과를 어떻게 뽑았는지 적혀 있는가 (PMID 25093621).
저자가 깔때기 그림이나 비대칭 검정으로 무엇을 확정했다고 적었는가. 그것만으로 확정되는 것은 거의 없습니다 (PMID 31743750, PMID 37684502).
발표되지 않은 자료를 찾아봤다고 적혀 있는가 (PMID 20940209).
다른 메타분석과 결론이 다르다면, 그 차이가 자료 때문인지 방법 때문인지 밝혔는가 (PMID 24946154).

하나만 남긴다면, 메타분석의 결론을 정하는 것은 계산이 아니라 재료입니다. 무엇이 들어왔고 무엇이 못 들어왔는지 묻지 않으면 마름모는 읽히지 않습니다.

이 글이 비워 둔 자리 — 그리고 시리즈를 닫으며

이 결함들은 근거 종합을 버릴 이유가 되지 못합니다. 가용한 근거를 체계적으로 모아 요약하는 일은 여전히 근거 기반 실무의 토대입니다. 남는 것은 미해결 하나로, 참된 출판편향은 확정하기가 매우 어렵습니다 (PMID 37684502). 그래서 이 글이 줄 수 있는 것은 "보정하면 맞다"가 아니라 "무엇 위에서 계산됐는지 묻고 읽으면 된다"까지입니다.

그리고 이 글로 이 시리즈가 끝납니다. 되풀이해 물은 것은 하나였습니다. 이 숫자는 무엇의 숫자인가. 「p=0.03은 무엇의 확률인가」에서 그것은 가설이 참일 확률이 아니었고, 「신뢰구간은 오차범위가 아니다」에서 괄호 안 두 숫자는 참값이 거기 있을 확률이 아니었습니다. 「오즈비는 위험비가 아니다」에서 '몇 배'는 위험의 몇 배가 아니었고, 「"연령·성별·BMI 보정"은 무엇을 했나」에서 보정은 원인을 만들어 주지 않았습니다. 「메타분석은 평균을 내지 않는다」에서 마름모는 평균이 아니었고, 「I²는 흩어짐의 크기가 아니다」에서 I²는 흩어짐의 크기가 아니었습니다. 그리고 이 글에서, 합쳐진 값은 근거 전부의 값이 아니었습니다.

숫자를 겁내지 않는다는 것은 숫자를 믿는다는 뜻이 아닙니다. 그 숫자가 무엇의 숫자인지 물을 수 있다는 뜻입니다.

근거 논문