Paperis 아티클
95%는 이 구간에 붙는 숫자가 아니라, 이 구간을 만들어 낸 절차에 붙는 숫자다. 그 차이를 놓치면 구간이 넓다는 사실도, 두 구간이 겹친다는 사실도, 비열등성 시험의 결론도 전부 반대로 읽힌다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
초록에서 가장 자주 지나치는 것은 괄호 안이다.
사망 위험이 22% 낮았다 (95% CI 0.63–0.97).
읽는 사람은 앞의 숫자만 가져가고 괄호는 버리기 쉽다. 그런데 그 괄호가 앞의 숫자보다 많은 것을 말한다. 이 글은 그 괄호를 읽는 법만 세운다.
미리 한 줄로 말해 두면 이렇다. 95%는 이 구간에 붙는 숫자가 아니다. 이 구간을 만들어 낸 절차에 붙는 숫자다. 이 문장의 뜻이 지금 분명하지 않다면, 그게 이 글이 필요한 이유다.
시리즈 1편은 p값이 답하지 않는 질문에서 끝났다. p값은 "관측된 것이 귀무 모형과 얼마나 어긋나는가"를 잰다. 그것으로 답할 수 없는 질문이 둘 남는다. 효과가 얼마나 큰가, 그리고 우리가 그 크기를 얼마나 아는가.
이건 시리즈의 편의상 나눈 구분이 아니다. p값을 다룬 최근 종설은 이 지점을 정면으로 짚는다. p값은 생의학 문헌에서 가장 자주 보고되는 통계량 축에 들면서 동시에 가장 널리 오해되는 축에도 드는 통계량이고, 0.05라는 관행적 절단값에 기대면서 "p값이 귀무가설이 참일 확률"이라거나 "통계적 유의성이 곧 임상적 중요성"이라는 오해가 자라났다. 저자의 결론은 p값을 유일한 추론 기준으로 쓰지 말라는 것, 그리고 그 자리를 효과크기·신뢰구간·맥락의 투명한 보고로 채우라는 것이다 (PMID 41250654).
같은 말을 훨씬 날카롭게 하는 논평도 있다. 임상시험의 '취약성 지수(Fragility Index)'는 결과가 더 이상 통계적으로 유의하지 않게 되려면 몇 명의 결과가 뒤집혀야 하는지를 세는 값이다. 그런데 잘 설계된 임상시험은 애초에 유의성을 얻을 최소 인원을 사전 계산해서 모집한다. 그러니 그런 시험은 설계상 취약할 수밖에 없다. 저자의 결론은 시험의 견고함을 보려면 이분법적 유의성이 아니라 불확실성의 추정을 봐야 한다는 것이고, 그 도구가 신뢰구간이다. 신뢰구간은 그 연구의 데이터와 양립하는 값들의 범위를 주고, 폭은 결과의 정밀도를, 그 안에 든 값들은 그 값이 임상적으로 중요할 여지가 있는지를 말해 준다. 덧붙여 이 논평은 취약성 지수가 크다고 결과가 견고한 것도 아니라고 못박는다 — 잘못 수행된 시험은 편향 때문에 큰 효과, 작은 p값, 큰 취약성 지수를 낳는다 (PMID 38219106).
문제는 그 신뢰구간 자체가 오해된다는 것이다. 그것도 논문을 쓰는 사람들 쪽에서.
심리학 분야 연구자 120명과 학생 442명에게, 하나의 신뢰구간에 대한 여섯 개 진술의 참·거짓을 판정하게 한 조사가 있다. 여섯 개는 이었다. 그런데 연구자도 학생도 평균 세 개 넘게 "참"이라고 표시했다. 스스로 밝힌 통계 경험은 연구자의 성적과 아무 관련이 없었고, 더 놀랍게도 연구자가 학생을 거의 앞서지 못했다 — 그 학생들은 통계적 추론 교육을 집단이었는데도 ().
이 글이 근거로 삼은 논문 중 ‘거인의 어깨’에 오른 초석 연구예요. 개념을 익혔다면 원전으로 가보세요.
연구자 161명을 73개 팀으로 묶어 같은 데이터로 같은 가설을 검증하게 했습니다. 팀들의 결론은 갈렸고, 식별 가능한 모든 분석 결정을 코딩해 넣은 뒤에도 분산의 95% 이상이 설명되지 않았습니다. 논문 한 편만 볼 때는 보이지 않는 불확실성이 얼마나 큰지를 처음으로 눈에 보이게 만든 연구입니다.
이 분야의 거인의 어깨 →이 연구에는 만만치 않은 반박이 붙었고, 그 논쟁은 이 글 뒷부분에서 정직하게 다룬다. 다만 논쟁의 어느 쪽도 "정확한 해석이 직관적이다"라고는 말하지 않는다. 그러니 출발점은 이렇게 잡는 게 맞다. 이건 헷갈릴 만한 것이다.
점추정치 하나는 "이 연구에서 나온 값"이다. 신뢰구간은 그 주변에서 이 데이터와 양립하는 값들의 범위다 (PMID 38219106). 그래서 구간은 두 가지를 동시에 말한다.
여기서 먼저 정리하고 갈 것이 있다. 그림과 표에 붙는 막대는 여러 종류인데, 서로 다른 것을 잰다. 신뢰구간에 대한 한 입문 논문은 신뢰구간을 표준편차·표준오차·신뢰수준과 각각 구별하는 데서 시작한다. 표준편차는 개인들이 얼마나 흩어져 있는지, 표준오차는 추정치 자체가 얼마나 흔들리는지, 신뢰구간은 그 흔들림을 특정 신뢰수준에서 범위로 옮긴 것이다. 같은 논문은 좁은 구간과 넓은 구간을 각각 어떻게 읽어야 하는지, 폭을 결정하는 요인이 무엇인지, 구간으로 통계적 유의성을 어떻게 판단하는지, 그리고 구간이 겹칠 때와 겹치지 않을 때 무엇을 말할 수 있는지를 차례로 다룬 뒤 이렇게 맺는다 — 결과로부터 결론을 끌어낼 때 신뢰구간은 p값 하나보다 훨씬 많은 정보를 준다 (PMID 25742216).
이 대목에서 이름 자체가 문제라는 지적도 있다. 성형외과 연구의 통계 보고를 다룬 논평은 "통계적 유의성"과 "신뢰구간"이라는 용어가 각각 중요성과 확실성을 함의해 오도한다고 본다. 실제 의미에 맞는 이름은 "통계적 이탈(statistical divergence)"과 "불확실성 구간(uncertainty interval)"이라는 것이다. 특히 신뢰구간을 불확실성 구간으로 다시 정의하면 그 확률적 성격에 대한 흔한 오해가 교정된다고 주장한다 (PMID 42367712).
이름이 곧 해석을 좌우한다는 감각은 현장에도 있다. 세계질병부담(GBD) 연구는 자기 추계에 '불확실성 구간'이라는 이름을 붙인다. 2021년 과체중·비만 추계는 성인 남성 10억 명(95% 불확실성 구간 9억 8,900만–10억 1,000만)이라는 식으로 보고하고 (PMID 40049186), 2023년 사망원인 추계는 각 지표마다 250회 추출 분포의 2.5백분위수와 97.5백분위수로 불확실성 구간을 만든다고 방법을 명시한다 (PMID 41092928). 다만 이 구간은 추출 분포의 백분위수로 잘라 낸 것이라, 뒤에서 볼 '신용구간' 쪽에 가깝다. 이름이 바뀌면 읽는 법도 함께 확인해야 한다는 뜻이기도 하다.
여기가 이 글의 중심이다.
95% 신뢰구간을 만드는 절차에는 하나의 성질이 있다. 같은 방식으로 연구를 무한히 되풀이하면, 그렇게 만들어진 구간들 가운데 95%가 참값을 덮는다. 이 성질을 피복(coverage)이라고 부른다. 관찰의료 데이터의 효과추정을 다룬 논문이 이 성질을 명시적으로 쓴다 — 보정을 거치면 "95% 신뢰구간이 참 효과크기를 95% 덮는" 명목 특성이 회복된다고 (PMID 29531023).
여기서 결정적인 전환이 일어난다. 95%는 구간들의 집단에 대한 진술이지, 지금 눈앞에 있는 이 구간 하나에 대한 진술이 아니다. 프리퀀티스트 틀에서 참값은 고정된 미지수고 무작위인 것은 구간 쪽이다. 그래서 "이 구간 안에 참값이 있을 확률이 95%"라는 문장은 이 틀 안에서는 성립하지 않는다. 구간은 이미 뽑혔고, 참값을 덮었거나 못 덮었거나 둘 중 하나다.
비유하자면 이렇다. 어떤 그물이 던질 때마다 물고기를 잡을 확률이 95%라고 하자. 그물을 한 번 던졌다. 이제 "이 그물 안에 물고기가 있을 확률"을 묻는 것은, 그물의 성질이 아니라 이 한 번의 결과를 묻는 것이다. 95%는 그물에 붙은 숫자지 이 한 번의 던짐에 붙은 숫자가 아니다.
그리고 피복은 이론상의 약속일 뿐, 실제로 지켜지지 않는 경우가 흔하다. 랜덤효과 메타분석에서 REML로 추정한 뒤 얻은 95% 신뢰구간의 피복을 모의실험으로 조사한 연구는, Hartung-Knapp 보정이 넓은 범위의 상황에서 잘 작동하고 이질성이 크거나 연구 크기가 비슷할 때 다른 방법을 앞선다는 것을 보였다. 다만 이질성이 낮고(I² < 30%) 연구 크기가 들쭉날쭉하면 그 피복도 약간 미달했다 (PMID 27714841). 즉 "95%"라고 적힌 구간이 실제로 95%를 덮고 있는지는, 방법과 상황에 따라 달라지는 별개의 질문이다.
폭을 정하는 것은 표본 크기, 자료의 변동성, 그리고 선택한 신뢰수준이다. 앞서 본 입문 논문도 신뢰구간의 폭에 영향을 주는 요인들을 따로 정리해 둔다 (PMID 25742216). 여기서 실무적으로 중요한 사실이 하나 나온다. 표본 크기를 검정력 기준으로 정하면, 구간은 대개 정밀 추정에 못 미치게 넓게 나온다. 원하는 검정력과 기대 효과크기에 맞춰 정한 표본은 모집단 값을 정밀하게 추정할 만큼 좁은 구간을 주기에는 너무 작은 경우가 많다는 것이다 (PMID 21336224).
그래서 표본 계획에는 두 갈래가 있다. 하나는 귀무가설을 제대로 기각할 확률을 확보하는 전통적인 검정력 관점이고, 다른 하나는 기대되는 신뢰구간의 폭이 충분히 좁아지도록 표본을 고르는 '모수 추정 정확도(AIPE)' 관점이다. 어느 쪽이 옳은 개념화인가는 연구 질문과 목표에 달려 있다 (PMID 12971200). 두 관점은 무관하지도 않다. z검정에서 신뢰구간의 폭은 계획된 연구의 검정력의 함수이고, t검정에서는 검정력이 특정 폭을 달성할 확률에 영향을 준다 (PMID 22026811).
정리하면, 좁은 구간은 공짜로 오지 않는다. 누군가 표본을 그만큼 모았거나 측정을 그만큼 정밀하게 했다는 뜻이다.
이제 실전이다. 첫 번째 실전 규칙: 구간이 넓다는 사실 자체가 결과다.
코크런 리뷰 하나를 보자. 잔류태반을 손으로 제거할 때 어떤 마취·진통을 쓸 것인가를 다룬 리뷰인데, 조건에 맞는 무작위 시험이 딱 한 편, 여성 30명뿐이었다. 시술 중 통증 조절이 좋았다고 본 시술자의 비율은 위험비 1.50(95% CI 0.71–3.16)이었다. 이 구간이 뜻하는 바를 풀어 쓰면 이렇다 — 이 데이터와 양립하는 값에는 "만족이 30% 가까이 줄어드는" 경우도, "3배로 느는" 경우도 모두 들어 있다. 리뷰 저자들은 이 근거의 질을 '매우 낮음'으로 매겼고, 강등 사유에 연구 설계의 한계와 함께 비정밀성 — 단일 소표본, 사건 수 부족, 넓은 신뢰구간 — 을 그대로 적었다. 결론은 효과와 안전성을 평가할 근거가 불충분하다는 것이었다 (PMID 32529658).
이런 구간은 "차이가 없었다"가 아니다. "우리는 아직 모른다"이다. 그리고 이 상태는 예외가 아니라 흔하다.
우울증 선별도구의 진단 정확도 연구를 2018~2021년 발표분 106편으로 조사한 메타연구가 있다. 표본 크기 계산을 제대로 기술한 논문은 12편(106편 중 11%), 신뢰구간을 합리적으로 정확하게 제시한 논문은 36편(34%)이었다. 신뢰구간이 제시됐거나 계산 가능한 103편 가운데 민감도 구간의 폭이 10%포인트 이하인 논문은 7편(103편 중 7%)뿐이었고, 21%포인트 이상인 논문이 58편(103편 중 56%)이었다. 민감도 구간의 하한이 80% 미만인 논문이 84편(82%), 특이도 쪽은 77편(75%)이었다 (PMID 35362161).
이 조사는 앞선 조사의 후속이라 비교가 가능하다. 2013~2015년 발표분 89편을 본 조사에서는 표본 계산을 제대로 한 논문이 3편(3%), 신뢰구간을 합리적으로 제시한 논문이 30편(34%)이었고, 계산 가능한 86편 중 민감도 구간 폭이 10%포인트 이하인 것이 7편(8%), 21%포인트 이상이 53편(62%)이었다 (PMID 27060912). 표본 계산 보고는 3%에서 11%로 8%포인트 올랐지만, 정밀도 자체는 사실상 제자리였다 (PMID 35362161).
지표에 따라 정밀도가 얼마나 갈리는지 보여 주는 자료도 있다. 난민 지역에서 수행된 영유아 수유 지표 조사 203건(15개국)을 분석했더니, 95% 신뢰구간 반폭의 중앙값이 "모유수유 경험 있음" 3.1%, "젖병 수유" 3.6%로 매우 정밀한 반면, "6개월 미만 완전모유수유"는 12.6%, "6~8개월 고형식 도입"은 18.2%였다. 앞의 두 지표는 0~23개월 아동 전원을 포함해 표본이 크고 유병률이 100%나 0%에 가까워서 정밀했던 것이다. 저자들의 결론은 뒤의 두 지표에 대한 과거 조사 추정치를 해석할 때 각별한 주의가 필요하다는 것이었다 (PMID 40803324).
근거 평가 체계는 이 감각을 형식화해 두었다. GRADE에서 비정밀성(imprecision)을 판정할 때 쓰는 기준은 통계적 유의성이 아니라, 신뢰구간이 가리키는 그럴듯한 효과크기들이 몇 개의 결정 문턱(decision threshold)을 넘느냐다. 넘는 문턱의 수가 확실성을 몇 단계 강등할지를 정한다 (PMID 41314355).
그럼 실제로 어떻게 읽으면 되나. 합의된 표준은 아니지만, 크기에 근거한 추론을 제안한 논문의 규칙이 가장 명료하다. 먼저 불확실성을 신뢰한계로 표현해 참값의 그럴듯한 범위를 잡는다. 그다음 그 범위를 실질적으로 이로운 값과 실질적으로 해로운 값에 비추어 본다. 범위가 양쪽을 모두 상당히 걸치면 결론은 '불명확'이고, 그렇지 않으면 관측된 크기의 방향으로 추론한다 (PMID 19114737).
그림에서 두 집단의 오차막대가 겹쳐 있으면 "차이 없음"으로 읽히기 쉽다. 이건 잘못이다.
임상 연구 발표에서 겹치는 신뢰구간의 해석이 어떻게 혼란을 낳는지 다룬 보고는, 최근의 무작위 시험 하나를 예로 들어 짚는다. 두 독립 집단 평균의 신뢰구간이 겹친다고 해서 참된 유의한 차이가 반드시 기각되는 것은 아니다. 저자들의 권고는 두 가지다. 연구자는 각 집단의 구간이 아니라 두 집단 차이 자체의 신뢰구간을 추정해 2종 오류를 줄일 것. 그리고 임상가는 겹치는 구간을 신중하게 해석하고, 겹침이 곧 치료 효과의 차이 없음을 뜻한다고 가정하지 말 것 (PMID 30119088).
이 오류가 얼마나 센지는 정량적으로도 나와 있다. 독성학에서 두 집단의 반수치사농도(LC50)를 비교할 때, 각각의 95% 신뢰구간을 구해 겹치면 차이가 없다고 결론짓는 관행이 있었다. 몬테카를로 모의실험으로 이 '구간 겹침 검정'과 '비(ratio) 검정'을 견줘 봤더니, 겹침 검정은 명목 유의수준 0.05보다 훨씬 아래, p ≈ 0.005 수준에서 작동했다. 그만큼 실제 차이를 잡아낼 검정력이 떨어진다는 뜻이다. 두 LC50의 비의 신뢰구간이 1을 포함하는지(로그를 취했다면 0을 포함하는지) 보는 비 검정 쪽이 1종 오류율도, 검정력도 우수했다 (PMID 16704080).
표준오차 막대는 또 다르다. 신뢰구간 또는 표준오차 구간의 겹침으로 모수 차이에 대한 가설을 판정하는 절차를 수식과 모의실험으로 검토한 연구는, 이 방법의 사용을 표준적인 가설검정이 존재하지 않는 상황으로 한정해 권고한다 (PMID 15841249). 즉 차이의 검정이 가능하면 그걸 쓰라는 것이다.
그림을 눈으로 읽는 규칙 자체를 정리한 고전도 있다. 오차막대가 있는 그림의 추론적 해석을 위한 '눈의 규칙' 7가지를 제안한 논문인데, 원칙 세 가지가 특히 실용적이다 — 관심 있는 효과에 직접 대응하는 막대를 찾을 것, 실험 설계에 민감할 것(대응 설계와 독립 설계는 다르다), 그리고 구간을 해석할 것. 여기에 독립 집단 평균의 신뢰구간이 겹칠 때의 추론적 해석에 대한 지침이 함께 들어 있다 (PMID 15740449).
그렇다고 겹침이 언제나 무의미한 것은 아니다. 여러 연구 결과의 비일관성(inconsistency)을 판정하는 Core GRADE 지침은, 점추정치들이 얼마나 다른지와 신뢰구간들이 얼마나 겹치는지를 함께 고려해 비일관성의 크기를 판단하라고 한다 (PMID 40328467). 구분은 이렇다. 여러 연구가 서로 얼마나 어긋나는지를 가늠하는 데 겹침을 보는 것과, 두 집단 사이에 차이가 있는지를 판정하는 데 겹침을 쓰는 것은 다른 일이다. 문제는 후자다.
같은 단어, 다른 뜻 하나. 공중보건 지표에서 부분집단을 전체 인구와 비교할 때 나오는 '겹침(overlap)'은 구간의 겹침이 아니라 표본의 중복이다. 부분집단이 전체 안에 들어 있으니 두 추정치가 같은 사람들을 공유한다. 이 중복을 무시하면 유의성 검정이 보수적이 되고 신뢰구간이 지나치게 넓어진다. 중복이 12%인 사례에서 보정계수는 1.13이었고, 유의수준 0.08이 중복을 고려하자 0.05로 바뀌었다. 저자들의 권고는 결과가 이미 유의하거나 부분집단이 전체의 10% 미만이면 신경 쓰지 않아도 되지만, 10%를 넘으면 무시하면 안 된다는 것이다 (PMID 16905714). 겹치는 대상이 전혀 다른데도 결과는 나란히 보수적인 쪽 — 실제 차이를 놓치는 쪽 — 으로 기운다. 그러니 논문에서 'overlap'을 만나면 무엇이 겹치는지부터 확인해야 한다.
"A가 B보다 낫다"를 보이는 시험이 우월성 시험이라면, "A가 B보다 용납할 수 없을 만큼 나쁘지는 않다"를 보이는 것이 비열등성 시험이다. 효능 말고 다른 장점(먹는 약이라 편하다, 싸다, 부작용이 적다)이 있는 치료를 평가할 때 쓴다.
핵심 장치는 비열등성 마진이다. 비열등성 시험의 해석을 정리한 종설은 이렇게 설명한다. 임상적 비열등성 마진을 미리 정하고, 새 치료와 기존 치료의 차이에 대한 신뢰구간의 하한이 그 마진보다 위에 있어야 한다. (차이를 어느 방향으로 정의했느냐에 따라 봐야 할 경계가 뒤집히는데, 그 얘기는 이 절 끝에서 따로 한다.) 그리고 여기서 반드시 알아야 할 사실이 하나 있다 — 비열등성 요건을 충족한 치료는 통상적 분석에서 표준 치료보다 통계적으로 유의하게 우월할 수도, 차이가 없을 수도, 심지어 유의하게 열등할 수도 있다 (PMID 36104512).
말로만 들으면 추상적이니 실제 시험 둘을 보자.
사례 A — 통과한 쪽. 임질에 쓰는 경구 항생제 조리플로다신의 3상 비열등성 시험이다. 미생물학적 완치율은 조리플로다신 90.9%(95% CI 88.1–93.3, 506명 중 460명), 대조군인 세프트리악손+아지트로마이신 96.2%(92.9–98.3, 238명 중 229명)였다. 두 군 차이는 5.3%(95% CI 1.4–8.6). 이 구간을 보라 — 1.4부터 8.6까지, 구간 어디에도 0이 들어 있지 않다. 즉 데이터와 양립하는 값이 전부 대조군에 유리한 쪽이다. 그런데도 결론은 비열등이었다. 사전 지정된 마진이 12%였고, 구간의 상한 8.6%가 그 안쪽이었기 때문이다. 저자들은 조리플로다신이 비열등하고 안전성 프로파일도 비슷하며, 단순 요로생식기 임질에 대한 경구 치료 선택지가 될 잠재력이 있다고 결론지었다 (PMID 41391465). 앞의 종설이 말한 "유의하게 열등할 수도 있다"가 설계에 내장된 성질임을 그대로 보여 주는 사례다.
사례 B — 통과하지 못한 쪽. 아이들의 심하게 어긋난 손목뼈 골절에서 수술적 정복 대신 비수술적 깁스로 갈 수 있는지를 물은 영국의 다기관 시험(CRAFFT, 4~10세 750명)이다. 3개월 시점 팔 기능 점수의 보정 평균차는 −1.64(95% CI −2.84 ~ −0.44)였고, 사전 지정 마진은 −2.5점이었다. 점추정치 −1.64는 마진 안쪽인데, 구간의 하한 −2.84가 마진을 넘어간다. 그래서 비열등성은 입증되지 않았다. 다만 완전히 어긋난 골절을 가진 아이들의 하위군에서는, 이 군을 위해 미리 지정된 더 넓은 마진에 대해 비열등성과 부합하는 결과가 나왔다. 그리고 시험진의 결론은 "수술이 낫다"가 아니었다. 관찰된 차이는 작고 가족들이 의미 있다고 여기는 문턱 아래였으며 초기 회복 이후에는 지속되지 않았고, 수술군에서는 비용이 더 들고(환자당 평균 1,665파운드 차이) 초기 합병증이 있었으므로, 대부분의 아이에게 깁스 우선 전략을 고려할 만하다는 것이었다. 깁스 쪽은 질보정생존년(QALY)이 0.023 낮았지만(95% CI −0.037 ~ −0.009), 비용까지 함께 보면 QALY당 20,000·30,000파운드 문턱 어디서도 깁스가 비용효과적일 확률이 100%였다 (PMID 41965242).
여기까지가 읽는 법이다. 그럼 그 마진은 누가 정하나. 여기가 이 설계의 가장 약한 고리다.
염증성 장질환 시험을 예로 든 논평은 이렇게 경고한다. 설계 시점의 마진 선택은 비열등성 주장에 유리하도록 넓게 잡히는 쪽으로 치우칠 수 있다. 그래서 저자들은 독자가 연구자가 정한 마진이 아니라 환자의 가치와 선호를 반영하는 마진을 기준으로 판단하기를 권한다 (PMID 38159079).
실태 조사도 있다. 위약군을 포함한 비열등성 시험 94편을 훑은 스코핑 리뷰에서, 마진을 사전 지정한 시험은 96%였지만 그 마진을 정당화한 시험은 41%뿐이었다. 비열등성 설계를 택한 이유를 밝힌 시험은 22%, 비열등성 마진과 신뢰구간을 그림으로 보여 준 시험은 23%였다. 71%가 배정된 대로의 분석(ITT)을 했지만 계획대로 받은 사람만 보는 분석(per-protocol)까지 한 것은 53%였다 (PMID 41940588).
더 근본적인 구멍도 있다. 규제 관점에서 비열등성 추론을 검토한 논문은, 위약군이 없으면 어떤 비열등성 추론도 위약 효과를 평가하기 어렵다고 지적한다. 활성 대조약의 효과가 과거 시험에서와 같은 크기로 이번 시험 상황에도 이어진다는 항상성 가정(constancy assumption)이 성립해야 하는데, 위약군이 없으니 그 가정 자체를 확인할 방법이 없다는 것이다. 저자가 내놓는 출구는 둘이다. 가정 위반이 심각하다고 보면 아주 보수적인 비열등성 분석을 견딜 만큼 여유(cushion)를 둔 설계로 가거나, 아예 시험약의 우월성을 보이는 쪽으로 설계를 바꾸라는 것. 마진을 고정값으로 둘지 함수로 정의할지도 그 분석이 무엇을 달성하려는지에 달렸다고 덧붙인다 (PMID 16395994).
해석 규칙의 비대칭을 짚는 논문도 있다. 현행 관행에서는 시험약이 대조약보다 조금이라도 나으면 — 그 차이가 마진보다 작아도 — 우월로 결론짓고, 마진 안쪽으로 조금 나쁘면 비열등으로 결론짓는다. 대조약 입장에서 보면 앞의 경우, 즉 시험약이 마진보다 작은 차이로 앞섰을 때는 대조약도 시험약에 비열등하다고 주장할 수 있어야 한다. 저자들은 통계적 우월성과 임상적 우월성을 갈라서 각각 영(null) 마진과 임상적 마진을 넘었는지로 판정하자고 제안하며, 해석 규칙이 한쪽 치료에 유리해서는 안 된다고 결론짓는다 (PMID 28619049).
아예 이 이분법을 재고하자는 목소리도 있다. 감염병 연구의 두 사례를 들어, 어떤 시험이 우월성인지 비열등성인지의 분류가 늘 명확하지는 않음을 보이고, 표본 크기 계산(마진 선택), ITT 대 per-protocol, 단측 대 양측 신뢰구간을 둘러싼 통상적 논거들을 하나씩 뜯어 본 논문이다. 저자들의 주장은 규제 시험 맥락에서는 이 틀에 분명한 근거가 있지만, 공중보건을 목적으로 하는 비규제 3상 시험에서는 이 이분법이 불필요할 뿐 아니라 해로울 수 있다는 것이다 — 검정에 무게를 싣고 추정을 뒷전으로 밀기 때문이다 (PMID 30223881).
마지막으로, 실무적으로 가장 자주 발을 거는 함정. 어느 끝을 봐야 하는지는 차이를 어떻게 정의했느냐에 따라 뒤집힌다. 자궁내막암 보조치료 시험(PORTEC-4a)은 차이의 단측 신뢰구간 상한(5.3%)이 사전 정의 마진 7.0% 아래라고 적었고 (PMID 41449145), 뇌졸중 원격재활 시험은 보정된 집단 간 대비의 95% 신뢰구간 하한이 −Δ보다 크면 비열등으로 결론짓는다고 적었다(사전 지정 마진은 Δ = −5.2로 표기돼 있다) (PMID 42068283). 같은 논리인데 부호와 방향이 반대다. 논문을 읽을 때 첫 번째로 확인할 것은 어느 쪽이 나쁜 방향인가이다.
메타분석 결과에는 종종 두 개의 구간이 나란히 나온다. 둘은 다른 질문에 답한다.
랜덤효과 메타분석의 95% 신뢰구간은 평균 효과가 어디쯤인지를 말한다. 95% 예측구간은 비슷한 새 연구 하나의 참 효과가 어디에 떨어질지를 말한다 — 반복 표집에서 평균적으로 참 효과 분포의 95%를 덮는다 (PMID 41992906). 앞엣것은 "지금까지의 평균이 어디쯤인가", 뒤엣것은 "다음 연구에서 무엇이 나올 것 같은가"다.
차이가 얼마나 큰가. 스포츠의학과 의학 상위 학술지에서 2012~2022년에 나온 메타분석 논문 1,500편을 무작위로 훑어, 랜덤효과 모형을 쓴 866편(그중 스포츠의학 514편)을 추린 조사가 있다. 예측구간을 보고할 확률은 스포츠의학에서 1.7%(95% CI 0.9–3.3), 의학에서 3.9%(2.4–6.6)였다. 예측구간을 계산할 수 있었던 스포츠의학 220편 가운데 60%에서 보고된 신뢰구간과 계산된 예측구간의 결론이 어긋났다. 예측구간은 신뢰구간보다 평균 3.4배 넓었다. 저자들의 경고는 이렇다 — 예측구간을 보고하는 메타분석이 거의 없기 때문에 연구 간 이질성이 전체 결론에 미치는 영향을 놓치기 쉽고, 그로 인해 해로울 수 있거나 근거가 충분치 않은 치료가 실제로 쓰이고 있을 수 있다 (PMID 38501202).
교정치의학에서도 같은 그림이 나온다. 2010~2021년의 체계적 문헌고찰 121편 중 예측구간을 보고한 것은 23편(121편 중 19.0%)이었다. 예측구간을 계산할 수 있었던 95편 가운데 95% 신뢰구간과 예측구간이 서로를 뒷받침한 것은 6편(95편 중 6.3%)뿐이었고, 60편(95편 중 63.3%)에서는 95% 신뢰구간이 통계적으로 유의한 결과를 가리키는데도 그 결론이 예측구간으로는 뒷받침되지 않았다. 저자들은 최소 3편 이상의 시험을 담은 랜덤효과 모형이라면 예측구간 보고를 권장한다고 결론지었다 — 치료 효과가 앞으로 어느 범위에서 나타날지를 알려 주기 때문이다 (PMID 34331450).
이 차이는 돈으로도 환산된다. 로봇보조 근치적 전립선절제술의 비용효용 분석에서, 랜덤효과 메타분석의 임상 효과를 신뢰한계로 넣었을 때와 예측구간으로 넣었을 때를 비교한 연구가 있다. 점추정치는 거의 움직이지 않았다(중앙값 ICER 26,731유로 대 26,643유로/QALY, 평균은 24,193유로 대 26,920유로/QALY). 그런데 95% 범위는 13,752~68,861유로/QALY에서 −135,244~239,166유로/QALY로 벌어졌고, 예측구간을 쓰면 로봇수술이 오히려 QALY를 순감소시킬 확률이 0.042로 나왔다. 저자들의 결론은 예측구간을 쓰면 불확실성이 커지지만 그 기술의 효과를 더 잘 반영한다는 것이다 (PMID 24472222).
정직하게 덧붙일 것이 있다. 예측구간 자체도 만만치 않다. 랜덤효과 메타분석 후 관행적 방법으로 도출한 95% 예측구간의 피복은 이질성이 크고(I² > 30%) 연구 크기가 비슷할 때만 타당했고, 특히 이질성이 작고 연구 크기가 들쭉날쭉하면 피복이 크게 미달했다. 연구 수를 늘리거나 자유도를 조정하거나 분산 팽창법을 써도 일관되게 개선되지 않았다. 그래서 저자들은 더 믿을 만한 해법이 나올 때까지 신중하라고 권한다 (PMID 27714841). 지금까지 발표된 모든 프리퀀티스트 예측구간 방법을 대규모 모의실험으로 조사한 최근 연구도 같은 곳을 짚는다. 예측구간에 요구되는 유일한 조건은 명목 피복확률을 평균적으로 지키는 것인데, 연구 수가 적은 메타분석에서는 피복확률의 분포가 비대칭적이고 이상적이지 않은 모양을 띤다. 평균 피복만 보면 오해하기 쉽다는 것이다 (PMID 41992906).
실증까지 붙어 있는 오해다.
앞서 소개한 조사를 다시 자세히 보자. 심리학 분야 연구자 120명과 학생 442명에게 하나의 신뢰구간에 대한 여섯 개 진술의 참·거짓을 물었다. 여섯 개는 전부 거짓이었는데 두 집단 모두 평균 세 개 넘게 참으로 표시했다. 스스로 밝힌 통계 경험은 연구자의 성적과 관련이 없었고, 연구자가 학생을 거의 앞서지 못했다. 저자들은 많은 연구자가 신뢰구간의 올바른 해석을 모른다는 뜻이라며, p값과 신뢰구간을 둘러싼 오해는 특히 불행하다고 적었다 — 그 둘이 심리학자가 데이터에서 결론을 끌어내는 주된 도구이기 때문이다 (PMID 24420726).
이 연구는 그대로 통과하지 않았다. 논쟁을 요약하면 이렇다.
먼저 Miller와 Ulrich의 비판. 응답자들이 문항을 자기 나름의, 그러나 올바른 방식으로 읽었을 수 있으므로 오해의 증거가 못 된다는 것이었다. 원저자들의 답변은 셋이다. 그 대안 해석이 그 자체로는 옳더라도 설문 문항의 수용 가능한 독법이 될 수는 없는데, 잘 알려진 기준집합 문제(reference class problem) 때문이다. 게다가 참가자들이 실제로 그런 대안 해석을 염두에 뒀다는 근거는 자료 어디에도 없다. 마지막으로 그 대안 해석들은 신뢰구간 정의의 사소한 재진술일 뿐이어서, 모수가 어디 있는지에 대해서는 아무것도 함의하지 않는다 (PMID 26620955).
더 무거운 반론은 설계 쪽에서 왔다. 여섯 문항이 모두 오해를 표현하는 진술이고 응답자가 전부에 답하도록 강제됐기 때문에, 그 결과가 인위적으로 만들어졌을 수 있다는 지적이다. 이 논문은 신뢰구간에 대한 두 가지 해석이 있으며 따라서 일부 문항에 동의했다는 사실만으로 오해를 추론할 수 없다고 먼저 논증한 뒤, 원자료를 재분석해 1학년생과 석사생 사이의 이해하기 어려운 차이를 짚는다. 그리고 재현 연구를 설계한다 — 올바른 해석을 표현한 문항 2개를 추가해 옳은 진술과 명목상 틀린 진술에 대한 동의를 비교하고, 석사생에게는 "선택지가 있었다면 답하지 않았을 문항"을 표시하게 해 알고 한 동의와 모르고 한 동의를 갈랐다.
결과가 흥미롭다. 아무것도 모르는 1학년생은 옳은 문항과 명목상 틀린 문항을 똑같은 비율로 지지했다 — 두 유형이 겉보기만으로는 구별되지 않는다는 뜻이다. 반면 석사생은 모르고 한 응답을 걷어내자 옳은 문항 쪽을 뚜렷이 더 많이 지지했다. 다만 이들은 예상보다 자주 "모르겠다"를 인정했다. 저자들은 교육 실무에 대한 함의를 논의하며 맺는다 (PMID 27458424).
이 논쟁을 어떻게 받아들일 것인가. 정직한 정리는 이렇다. "전문가도 전부 틀린다"는 극적인 결론은 방법론 논쟁 중이다. 재현 연구는 강제 응답 형식을 걷어내면 훈련받은 사람들이 옳은 진술을 알아본다는 쪽을 지지한다. 그러나 그 재현 연구조차, 훈련받지 않은 사람에게는 옳은 진술과 틀린 진술이 겉보기로 구별되지 않는다는 것을 보여 준다. 그리고 두 편 모두 결론이 교육으로 향한다. 논쟁의 어느 쪽도 이 개념이 직관적이라고 말하지 않는다.
정확한 진술을 다시 적어 둔다. 95%는 이 구간이 아니라 이 구간을 만든 절차에 붙는다.
그 질문은 잘못된 질문이 아니다. 다만 다른 도구가 답하는 질문이다.
재활의학 연구에서 베이즈적 사고를 소개한 논문이 이 대비를 명료하게 정리한다. p값과 신뢰구간을 중심에 둔 프리퀀티스트 방법은 치료 효과를 간접적으로 평가하는 확립된 도구이고 시험 해석의 중심으로 남아 있지만, 치료가 이로울 확률을 직접 추정하지는 않는다. 베이즈 접근은 사전 근거와 관측 자료를 결합해 사후확률을 낸다 — 어떤 이득이라도 있을 확률, 그리고 임상적으로 의미 있는 문턱을 넘는 이득이 있을 확률까지. 저자들의 결론은 베이즈 방법이 전통적 분석을 보완한다는 것이며, 동시에 그 결론이 사전 가정에 의존하고 엄밀한 시험 설계·프리퀀티스트 추론·재현을 대체하지 않는다는 단서를 분명히 단다 (PMID 42366482).
실무적으로 이건 이렇게 나타난다. 네트워크 메타분석 논문에서 "95% 신용구간(credible interval, CrI)"이라는 표기를 자주 보게 되는데, 이건 오타도 이명동의어도 아니다. 많은 독자가 신뢰구간에 기대하는 그 의미에 훨씬 가까운, 다른 종류의 구간이다. 논문에서 CI와 CrI가 함께 쓰이는 경우도 있으니 표기를 구별해서 볼 값어치가 있다.
신뢰구간이 정량화하는 것은 무작위 오차뿐이다.
전자의무기록·청구자료 같은 관찰의료 데이터로 효과를 추정하는 연구에서 오차의 원천은 둘이다. 표집 변동에 의한 무작위 오차와, 교란·선택편향·측정오차에 의한 계통 오차. 그런데 보통 정량화되는 것은 무작위 오차뿐이고, 무작위 오차는 데이터베이스가 커질수록 0으로 수렴하는 반면 계통 오차는 표본 크기와 무관하게 남아 상대적 비중이 오히려 커진다 (PMID 29531023). 수백만 명 자료에서 나온 아주 좁은 구간이 정밀하지만 정확하지 않을 수 있다는 뜻이다. 같은 논문은 인과관계가 없다고 믿어지는 노출-결과 쌍(음성 대조군)과 그것을 변형해 만든 양성 대조군으로 경험적 영분포를 세워 신뢰구간을 보정하면 명목 95% 피복이 회복되고, 서로 충돌하던 두 쌍의 관찰연구 재현에서 불일치가 줄어든다는 것을 보였다.
구간이 담지 못하는 것이 하나 더 있다. 분석자의 선택이다. 같은 데이터와 같은 가설(이민 증가가 대중의 사회정책 지지를 낮추는가)을 놓고 73개 연구팀 161명이 독립적으로 분석했더니, 출발 조건이 동일했는데도 수치 결과와 실질적 결론이 크게 갈렸다. 연구자의 전문성·사전 신념·기대는 이 변이를 거의 예측하지 못했고, 각 팀의 작업 흐름에서 식별 가능한 모든 결정을 질적으로 코딩해 넣은 뒤에도 수치 결과의 총 변이 가운데 95% 이상이 설명되지 않은 채 남았다. 저자들은 이 결과가 더 큰 인식론적 겸손과 보고의 명료함을 요구한다고 맺는다 (PMID 36306328). 한 논문의 신뢰구간은 그 논문이 택한 하나의 분석 경로 안에서의 불확실성이다.
이렇게 읽으면 p값을 다른 옷으로 갈아입힌 것에 지나지 않는다. 구간을 쓰는 이유가 없어진다.
봐야 할 것은 구간이 어느 값들까지 뻗어 있는가다. 앞서 본 규칙대로, 그럴듯한 범위가 실질적으로 이로운 값과 해로운 값을 모두 상당히 걸치면 결론은 '불명확'이지 '효과 없음'이 아니다 (PMID 19114737). 근거 평가에서도 판정 기준은 유의성이 아니라 그 구간이 결정 문턱을 몇 개 넘느냐다 (PMID 41314355). 그리고 다시, 신뢰구간의 값어치는 통계적 유의성의 영역 바깥에 있다 — 결과의 정밀도와 그 안의 값들이 임상적으로 중요할 여지를 보여 주는 데 있다 (PMID 38219106).
표준편차 막대, 표준오차 막대, 신뢰구간은 서로 다른 것이고 신뢰수준도 저마다 다르다 (PMID 25742216). 그림의 막대가 무엇인지 확인하지 않으면 눈으로 하는 추론은 통째로 어긋난다. 그래서 '눈의 규칙' 첫 항목이 관심 있는 효과에 직접 대응하는 막대를 찾으라는 것이다 (PMID 15740449). 표준오차 구간의 겹침은 신뢰구간의 겹침과 또 다른 성질을 가지므로 따로 다뤄야 한다 (PMID 15841249).
신뢰구간은 답이 아니다. 답의 모양이다.
폭은 우리가 얼마나 아는지를, 놓인 자리는 그 앎이 어느 쪽을 가리키는지를 말한다. 이 두 가지를 함께 읽으면 논문 한 편이 훨씬 적게 말하고, 훨씬 정확하게 말한다. 그리고 다음에 초록에서 괄호를 만나면, 앞의 숫자보다 그 안쪽을 먼저 보게 될 것이다.