Paperis 아티클
넷 중 하나는 환자 세 명이면 유의성이 사라졌다 — '유의하다'가 정하는 것과 정하지 않는 것
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
논문 초록에서 가장 자주 눈에 걸리는 문장은 이것이다. "유의한 차이가 있었다(p=0.03)."
이 한 줄이 실제로 말하는 것은, 놀랄 만큼 적다. 효과가 얼마나 큰지 말하지 않는다. 그 크기가 환자에게 의미가 있는지도 말하지 않는다. 결과가 우연일 확률을 말하지도 않는다. 다시 해 봐도 같은 결과가 나올지는 더더욱 말하지 않는다.
그런데 우리는 저 한 줄에서 그 다섯 가지를 전부 읽어 낸다.
이 글은 p값을 계산하는 법을 가르치지 않는다. 어디서 틀리는지를 세운다. 그리고 그 대부분은 어려운 수학이 아니라, 한 숫자가 답하지 않는 질문에 답을 시킨 데서 나온다.
미리 하나 말해 둘 것이 있다. 이 글은 "p값을 믿지 마라"는 글이 아니다. p값은 잡음 속에서 신호를 건져 올리려는, 백 년 가까이 다듬어진 도구다. 문제는 도구가 아니라 그 도구에 없는 눈금을 읽으려는 습관이다.
먼저 확인해 둘 것이 있다. 이건 "통계를 안 배운 사람이 헷갈리는 것"이 아니다.
The Journal of the American Medical Association, The Lancet, The New England Journal of Medicine — 이 세 저널의 지난 20년치 논문을 체계적으로 표집해, p값이 0.05 근처인 대목을 해석한 문장 400개를 뽑아 검토한 연구가 있다. 문장 중 303개(75.8%)는 p가 0.036~0.050이었고, 97개(24.3%)는 0.050~0.064였다. 이 400개 중 44개(11%)가 오도(misleading)로 판정됐다. 그런데 방향이 한쪽으로 심하게 쏠려 있었다. p가 0.05를 넘는데도 유의한 것처럼 쓴 문장이 40개 — 0.05 위쪽 97개의 41.2%다. 반대로 p가 0.05 아래인데 유의하지 않은 것처럼 쓴 문장은 4개, 아래쪽 303개의 1.3%였다. 최소한 한 문장 이상 오도가 들어 있는 논문의 비율은 16.2%였다 (PMID 34355494).
한 편의 연구가 아니다. 한 생리학 저널이 2019~2020년에 실은 논문 580편을 감사한 결과는 이렇다. 40%는 자기가 쓴 검정의 통계적 임계값을 아예 정의하지 않았고, p값이 0.05와 0.1 사이인 논문 중 64%가 그것을 "통계적 경향(trend)"으로 잘못 해석했다. 이 저널은 2016년에 이미 공개적으로 부실 보고를 지적당했고 그 뒤 저자 안내를 두 차례 개정했는데, 감사 결과 여러 항목이 그대로거나 오히려 나빠졌다 ().
분야를 바꿔도 결이 같다. 동물인지 연구에서 통계적으로 비유의한 결과를 어떻게 적는지 손으로 분류한 연구에서, 비유의를 그냥 "효과 없음(No Effect)"으로 적은 비율이 제목에서 84%, 초록에서 64%, 결과 절에서 41%였다. 반대로 "비유의(Non-Significant)"라고 정확히 적은 비율은 제목에서 0%, 초록에서 26%였다 — 다만 결과 절에서는 52%로, 본문 안에서는 정확한 표기가 더 많았다. 정확히 쓸 줄 아는데 제목·초록에서 무너지는 것이다. 효과 크기를 논의한 논문은 5% 미만이었다 (PMID 36919170).
왜 이렇게 되나. 이유 하나는 언어에 있다. 영어에서 significant는 일상어로 "중요하다"는 뜻이다. p<0.05인 결과를 'significant'라고 부르는 순간, 이것이 임상적으로 의미 있다는 증명처럼 읽히는 오해가 곧바로 따라붙는다 (PMID 32710113). 한국어 '유의(有意)'도 사정이 다르지 않다.
그리고 이 문제는 특정 분야의 사고가 아니다. 의학 연구의 흔한 통계 오류를 정리한 개관(실측 감사가 아니라 저자들이 꼽아 정리한 목록이다)은 그 목록에 다중비교 미보정, p값을 효과 크기나 임상적 관련성의 척도로 오해하기, 1종·2종 오류, 데이터 낚시, 출판 편향을 나란히 올린다 (PMID 37234723). 간호 연구를 다룬 교육 논문은 "비유의한 p값을 귀무가설의 증거로 오해하기", "모형 선택에서 생기는 다중검정을 못 알아보기", "연구자 자유도 남용", "무작위 시험에서 기저 차이에 대해 가설검정하기"를 콕 집어 든다 (PMID 31349121). 동물과학 쪽 개관도 같은 항목들을 짚는다 (PMID 29729923).
측정된 분야에서도, 정리된 분야에서도 같은 오류가 반복된다는 것 — 그게 이 글이 필요한 이유다.
먼저 정의부터. 이건 교과서적인 것이라 어렵지 않다.
귀무가설검정(NHST)에서 연구자는 실험 결과를 "아무 관계가 없다"는 가설(귀무가설)에 견준다. 그리고 귀무가설이 참이라고 할 때, 실제로 관측된 값 또는 그보다 더 극단적인 값이 나올 확률을 계산한다. 그 확률이 p값이다 (PMID 32539165).
이 한 문장 안에 이미 세 가지가 들어 있다.
첫째, p값은 조건부다. "귀무가설이 참이라면"이라는 조건이 앞에 붙어 있다. 그러니까 p값은 데이터에 관한 확률이지, 가설에 관한 확률이 아니다.
둘째, 관측값 하나가 아니라 "그보다 극단적인 것 전부"를 센다. 실제로 본 것만이 아니라, 보지 않은 더 극단적인 결과들까지 확률에 포함된다.
셋째 — 그리고 이게 가장 자주 잊히는데 — 조건에 들어가는 것은 귀무가설만이 아니다. 검정 가설과 배경 가정 전체, 즉 통계 모형이 통째로 조건 안에 있다. 그래서 p값은 "데이터와 모형 전체 사이의 양립성(compatibility) 지표"로 읽는 편이 정확하다는 제안이 나왔다 (PMID 37637018).
이 제안을 밀고 나간 쪽의 표현이 세다. 의학·보건 저널의 통계 서술이 오래도록 오도되거나 아예 틀려 왔고, 수십 년의 개혁 노력에도 이 상황이 바뀌지 않았다는 것이다. 저자들은 그 원인 하나로 편집 규범에 박혀 있는 "유의성(significance)"과 "신뢰(confidence)"라는 용어 자체를 지목한다. p값을 금지하거나 다른 통계로 교체하자는 게 아니라, 정확하고 겸손한 일상어 딱지로 바꾸자는 제안이다 — 데이터와 가설·모형 사이의 양립성 척도로 (PMID 35787846). 같은 문제를 인지적 문제로 진단한 논문도 있다. 핵심 문제가 통계가 아니라 인지에 있으므로, 확률보다 논리와 정보 개념을 앞세운 서술이 흔한 오해에 더 강할 수 있다는 것이다 (PMID 32998683).
임계값 유지를 옹호하는 쪽조차 이 대목만큼은 같은 말을 한다. p값은 데이터가 귀무가설과 얼마나 양립하는지의 정도를 재는 값이므로, 저자는 "p<0.05" 같은 진술이 아니라 언제나 실제 값을 적어야 한다는 것이다 (PMID 32157489).
정리하면 이렇다.
| p값이 말하는 것 | p값이 말하지 않는 것 |
|---|---|
| 이 데이터가 귀무가설 및 배경 가정 전체와 얼마나 양립하는가 | 귀무가설이 참일 확률 |
| 효과의 크기 | |
| 그 크기가 임상적으로 중요한지 | |
| 효과가 없다는 것 | |
| 다시 해도 같은 결과가 나올 확률 |
오른쪽 칸이 이 글의 나머지 전부다.
0.05라는 숫자에는 감각이 없다. 그래서 p값을 정보량으로 바꿔 보는 장치가 제안됐다. p값의 섀넌 변환, 즉 S값(surprisal, 놀라움값) = −log₂(p) 이다. 단위는 비트다 (PMID 32998683).
쓸모는 직관 보정에 있다. S값은 "공정한 동전을 연달아 던져 전부 앞면이 나오는" 실험에 견줄 수 있다 (PMID 37637018, PMID 35787846). p=0.05는 약 4.3비트다. 공정한 동전을 네다섯 번 던져 전부 앞면이 나온 정도의 놀라움이라는 뜻이다.
네 번 연속 앞면. 신기하긴 하다. 그런데 그게 동전이 조작됐다는 증명은 아니다. 그리고 사람이 스무 번 동전을 던지고 있었다면, 네 번 연속 앞면은 놀랄 일이 아니게 된다.
이 두 문장이 뒤에 나올 이야기의 요약이다.
0.05는 자연의 상수가 아니다.
p값의 역사를 짧게 정리한 개관의 서술이 인상적이다. 실무자들은 자기들에게 잘 맞는 간단한 방법을 아주 빨리 찾아냈고, 통계학자들은 그 열기를 굳이 누를 필요를 못 느꼈다 — 합의된 것처럼 보였기 때문이다. 저자는 0.05를 "임의적인데도 신성한(arbitrary yet sacred)" 문턱이라 부른다. 그리고 p<0.05에 기대는 관행의 함정을 다섯으로 정리한다. 흑백 판정으로 가는 이분법, 위양성 가능성, 효과 크기 정보의 부재, 임상적 관련성의 부재, 맥락을 떠난 사용. 이 개관의 결론은 p값 자체를 버리자는 게 아니라 0.05라는 문턱과 "통계적 유의성"이라는 용어를 버리자는 것이다 (PMID 41748420).
같은 방향에서 더 강하게 말하는 논문도 있다. p값을 '유의/비유의'로 등급 강하시키는 것이 연구를 재현 불가능하게 만들거나, 재현 불가능해 보이게 만든다는 것이다. 이 논문이 제시한 숫자 하나가 특히 아프다. 참 효과가 있고 검정력이 80%로 양호할 때조차, 두 연구가 "충돌"할 확률 — 하나는 유의하고 하나는 비유의할 확률 — 이 3분의 1이다. 그러니까 복제 연구가 비유의하다는 이유만으로 실패했다고 해석할 수 없다. 저자들의 결론은 고정된 유의성 문턱을 없애고 p값을 귀무가설에 반하는 증거 강도의 연속적 척도로 읽자는 것이며, 이는 고(故) 로널드 피셔의 권고와 일치한다고 적는다 (PMID 28698825).
그런데 반대편도 있다. 그리고 이 반대편이 있다는 사실 자체를 알아야 한다.
임계값 유지를 옹호하는 개관은 이렇게 반박한다. 임상 연구는 의사결정을 이끌기 위해 이분법적 답을 필요로 한다. 특히 진단영상과 중재시술에서 그렇다. 그리고 문턱을 0.005로 낮추자는 제안에 대해서는, 그렇게 하면 연구 비용이 올라가고 지원금 없이 이뤄지는 자발적 연구가 줄어들 수 있다고 지적한다. 이 개관이 내놓는 대안은 문턱을 만지는 것이 아니라 체계적 문헌고찰·메타분석 같은 2차 근거, 데이터 공유, 비용효과 분석으로 위발견율과 재현성 문제를 완화하는 쪽이다 (PMID 32157489).
보건 전문직 교육 분야를 위해 이 논쟁을 요약한 논문의 권고가 실무적이다. 미국통계학회가 2016년 성명에서 "통계적으로 유의하다"는 표현을 버리라고 학계에 요구했고 주요 저널들이 이에 호응했다는 사실을 짚으면서, 그럼에도 연구자가 실제로 할 일은 효과 크기와 신뢰구간, 귀무가설을 명시하고 민감도 분석을 함께 보고하는 것이라고 정리한다 (PMID 38680196).
그러니 이 글은 "0.05를 버려라"라고 말하지 않는다. 0.05는 합의된 관습이며, 그 관습을 유지할지 말지는 지금도 논쟁 중이라는 사실을 말한다. 다만 논쟁의 양쪽이 공통으로 요구하는 것이 하나 있다 — 정확한 p값을 적고, 효과의 크기를 함께 적으라는 것.
p값이 작아지는 이유는 하나가 아니다. 적어도 셋이다.
이것을 극단까지 밀어 본 연구가 있다. 무릎·고관절 인공관절 치환술 국가 데이터베이스에서 95만 5,092건을 놓고, 임상적 근거를 전혀 고려하지 않은 채 난수 발생기로 예측변수와 결과변수를 20쌍 무작위로 짝지었다. 결과: 20쌍 중 14쌍(70%)이 p<0.05로 유의했다. 예를 들어 시술 코드와 당화혈색소가 상관계수 −0.0435에 p=2.14×10⁻⁴⁰, 키와 만성폐쇄성폐질환 병력이 p=1.83×10⁻⁴⁷였다. 저자들의 결론은 명확하다. 이 유의성은 오로지 표본 크기가 만들어 낸 것이며, 임상적 관련성은 없다 (PMID 40885217).
반대로, 표본이 크면 임상적으로 작은 효과도 정직하게 유의해질 수 있다. 급성 허혈성 뇌졸중 환자 19,435명을 무작위 배정한 국제뇌졸중시험(IST)에서, 아스피린군의 6개월 시점 사망·의존 비율은 62.2%, 대조군은 63.5%였다. 2p=0.07 — 문턱을 넘지 못했다. 기저 예후를 보정하자 유의해졌는데(2p=0.03), 그 효과의 크기는 1,000명당 14명이었다 (PMID 9174558).
같은 "유의함"인데 한쪽은 아무 의미가 없고, 다른 한쪽은 1,000명당 14명이다. p값만으로는 이 둘을 구분할 수 없다.
동전을 스무 번 던지는 이야기다.
격자 자료의 시공간 추세를 다룬 논문이 이 문제를 잘 요약한다. 픽셀마다 추세 검정을 하면 검정이 수천 번이 되고, 수행한 검정 전체의 p값을 적절히 고려·보정하지 않는 한 위발견 확률이 알 수 없는 방식으로 늘어난다. 이 논문의 한 문장이 핵심이다 — "다중성 맥락에서는 전체 이야기를 알기 전까지는 무엇이 통계적으로 유의한지 옳게 결정할 수 없다." 유의한 것(p<0.05)의 실체는 유의하지 않은 것(p≥0.05)의 수와 값에도 달려 있기 때문이다 (PMID 39637466).
실제 논문에서 이 보정이 어떻게 작동하는지 보여 주는 예가 있다. 청소년 남자 축구선수 35명(단식군 17명, 대조군 18명)을 대상으로 3일간의 간헐적 단식 효과를 본 연구에서, 주관적 수면의 질에 대한 군×시점 상호작용이 보정하지 않은 문턱에서는 p=0.029로 유의했다. 그런데 이 연구는 후퍼 지수 4개 비교에 대해 본페로니 보정(α=0.0125)을 적용했고, 그 문턱은 넘지 못했다. 저자들은 이 결과를 가설생성용으로만 해석한다고 명시했다 (PMID 42588098).
다중성 보정이 일상적으로 쓰이는 예도 흔하다. 61개 암종의 25년치 국내 자료를 분석한 연구는 암종 사이 상관을 볼 때 위발견율(FDR) 보정을 적용했다 (PMID 42512403). 유전체학처럼 수백~수천 개 특징을 동시에 검정해 온 분야에서는, 다중검정에 대한 잘 알려진 보정을 근거로 유의성 문턱 자체를 이미 낮춰 쓰고 있다. 라디오믹스와 빅데이터도 같은 처지에 놓여 있다는 것이 이 개관의 지적이다 (PMID 32157489).
다중비교 미보정은 의학 연구의 흔한 오류 목록에 늘 올라 있다 (PMID 37234723, PMID 31349121).
세 번째는 눈에 잘 안 보인다. 검정을 몇 번 했는지가 논문에 적혀 있지 않은 경우다.
간호 연구를 다룬 교육 논문은 이 형태를 "더 미묘한 다중검정"이라 부르며 두 가지를 든다. 모형 선택 과정에서 생기는 다중검정과 연구자 자유도의 남용이다 (PMID 31349121).
이걸 문헌 수준에서 재 본 연구가 있다. 일본의 두 대형 심리학회 학술대회 발표문 — 동료심사를 사실상 거치지 않는 자료라, 저널 편집자의 압력 없이도 연구자가 유의한 결과만 골라 보고하는지 시험하기에 알맞다 — 을 모아 z-곡선으로 분석했다. 2013년 자료에서 관측 발견율은 76%인데 기대 발견율은 7%였고, 95% 신뢰구간이 관측값을 포함하지 않았다. 즉 선택적 보고의 증거다.
그런데 이 논문의 결론을 여기서 끊으면 안 된다. 같은 분석은 기대 복제율이 31%로, 효과가 없다는 귀무가설 아래에서 기대되는 5%보다 유의하게 높다는 것도 보였다 — 저자들의 표현으로 "이것이 그 연구 묶음에 증거 가치가 전혀 없다는 뜻은 아니다." 그리고 2013년에서 2018년 사이에 기대 복제율은 31%→44%로, 기대 발견율은 7%→13%로 개선됐다. 최대 위발견율 추정치는 68%에서 35%로 내려갔다. 저자들의 최종 평가는 "선택적 보고가 있었지만 분야 전체가 위양성으로 덮인 것은 아니며, 개선의 조짐이 있으나 낙관할 정도는 아니다"이다 (PMID 38250729).
여기까지가 원리다. 그런데 원리는 감각을 주지 않는다. p=0.04와 p=0.06이 얼마나 다른지, 숫자만 봐서는 모른다.
그래서 만들어진 것이 취약성 지수(fragility index)다. 정의는 간단하다. 한 군에서 몇 명의 결과가 "사건 없음"에서 "사건 있음"으로 바뀌면 그 결과의 통계적 유의성이 사라지는가. 그 최소 인원이 취약성 지수다. 숫자가 작을수록 결론이 몇 사람 위에 얹혀 있다는 뜻이다 (PMID 24508144).
이 지표를 처음 제안한 논문의 결과가 이 글에서 가장 중요한 숫자다. 고영향 의학저널의 무작위 대조시험 399편 — 표본 크기 중앙값 682명(범위 15~112,604), 사건 수 중앙값 112건, 그중 53%는 p<0.01을 보고한 — 을 검토했더니, 취약성 지수의 중앙값은 8(범위 0~109)이었다. 그리고 4분의 1은 3 이하였다. 즉 넷 중 하나는 환자 세 명의 결과만 달랐어도 "유의함"이 사라졌을 연구다. 더 나아가 전체의 53%에서 취약성 지수가 추적 소실 인원보다 작았다 (PMID 24508144).
이 계산이 이후 여러 분야로 퍼졌다. 아래는 각 연구가 자기 코퍼스에서 보고한 값이다. 분모(대상 시험 수)를 함께 읽어야 한다 — 5편을 본 연구와 1,007편을 본 연구를 같은 무게로 놓을 수 없다.
| 대상 | 시험 수 | 취약성 지수 중앙값 | 출처 |
|---|---|---|---|
| 고영향 저널 5종, 2014~2021 | 643편 | 12 (IQR 3–28) | PMID 35820586 |
| 심혈관(표본 >500) | 123편 | 13 (IQR 5–26) | PMID 31822121 |
| 급성 관상동맥증후군 진료지침 인용 | 132편 | 12 (IQR 4–29) | PMID 36882068 |
| 진행·전이 신세포암 | 16편 | 12.5 (IQR 8.5–27) | PMID 40155257 |
| 허혈성 뇌졸중† | 25편 | 7 (IQR 4–15) | PMID 30765294 |
| 어깨 관절치환† | 13편 | 6 | PMID 33271323 |
| HIV/AIDS | 39편 | 5 | PMID 31037544 |
| 대장항문 최소침습 수술 | 50편(820개 결과, 유의 73개) | 5 (IQR 4–7, 전체 결과 기준) | PMID 38900698 |
| 상완신경총 차단 후 횡격막 마비 | 23편 | 4 (IQR 2–8) | PMID 40476887 |
| 신경외과 | 74편 | 4.5 (IQR 1.5–10) | PMID 35505538 |
| 외과 전반(우산 리뷰) | 1,007편 | 3 (IQR 1–7) | PMID 36719446 |
| 소아마취 | — | 3 (IQR 1–7) | PMID 37286747 |
| 조산아 | 66편 | 3 (IQR 1–5) | PMID 35615631 |
| 직장암 총신보강요법 | 10편·25개 결과 | 2 (IQR 1–16) | PMID 38341094 |
| 난원공개존 폐쇄 | 6편 | 0 (뇌졸중 종결점, IQR 0–5.3) | PMID 30890394 |
† 이 두 행은 저자들이 자기 값을 다른 분야와 견주어 견고한 편으로 해석한 논문이다. 허혈성 뇌졸중 연구는 자기 중앙값 7이 다른 임상 분야의 2.5보다 높다고 적고, 결론을 "이 분야의 많은 무작위 시험은 다른 임상 분야에 비해 상당한 견고성을 갖는다"로 맺었다 (PMID 30765294). 어깨 관절치환 연구도 중앙값 6을 "다른 정형외과 세부전공에서 관찰된 것보다 높은 값"이라 적고, 결론을 "비슷한 수준의 통계적 견고성"으로 맺었다 (PMID 33271323). 표의 숫자는 취약성 판정이 아니라 각 코퍼스의 보고값이다.
몇 가지를 덧붙여야 한다.
추적 소실과의 관계. 여러 연구가 "취약성 지수보다 추적 소실 인원이 많은 시험이 얼마나 되는가"를 함께 보고했다 — 조산아 시험에서 42.4%(28/66) (PMID 35615631), 심혈관 시험에서 30.1%(37/123) (PMID 31822121), 급성 관상동맥증후군 지침 인용 시험에서 47% (PMID 36882068), 신세포암에서 44%(7/16) (PMID 40155257), 직장암에서 68.0%(25개 결과 중 17개) (PMID 38341094), 손외과에서 40%(5편 중 2편) (PMID 30420197). 어깨 관절치환에서는 결과 단위로 74.4%였고, 같은 연구에서 결과의 89.7%는 애초에 비유의였다 (PMID 33271323). 연속형 결과를 다루는 확장판(연속 취약성 지수)에서도 마찬가지여서, 전방 어깨 불안정성 시험 27편·1,846 어깨를 본 연구에서 57개 결과 중 22개(38.6%)가 추적 소실이 자기 연속 취약성 지수를 넘었다 (PMID 38258495). 다만 이 비교 자체가 옳으냐는 논쟁이 있다 — 뒤에서 다룬다.
좋아지고는 있다. 2014~2021년 5대 저널의 643편을 본 연구는 취약성 지수 중앙값이 12로, 같은 저널 10년 전의 8에서 유의하게 개선됐다고 보고한다(p<0.001). 그런데 같은 논문이 곧바로 덧붙인다 — 사분위 하한은 3에서 그대로여서, 여전히 시험의 4분의 1은 유의성이 사건 3건 이하에 걸려 있다. 그리고 15개 진료과의 체계적 문헌고찰 57편(진료과당 시험 10~692편)을 모은 우산 리뷰에서 모든 분과의 취약성 지수 중앙값이 2~4 사이였다 (PMID 35820586).
취약성 지수는 p값과 강하게 얽혀 있다. 조산아 시험 연구에서 취약성 지수는 표본 크기, 총 사건 수, 그리고 보고된 p값과 상관을 보였는데, p값과의 상관계수가 −0.857로 특히 강했다 (PMID 35615631). 이 사실은 뒤에서 다시 나온다.
같은 계산을 비유의한 결과에 거꾸로 적용한 것이 역-취약성 지수(reverse fragility index)다. 비유의를 유의로 뒤집는 데 몇 명이 필요한가를 센다.
성형외과 무작위 시험 중 비유의한 결과를 보고한 40편·65개 1차 결과를 본 연구에서, 표본 크기 중앙값은 76명, 사건 수 중앙값은 10건이었고, 역-취약성 지수 중앙값은 4였다. 참가자 네 명의 사건 상태만 달랐어도 "유의함"이 됐을 결과들이라는 뜻이다. 덧붙여 40편 중 21편은 통계적 검정력 분석을 아예 수행하지 않았고, 12편은 추적 소실을 보고하지 않거나 명확히 밝히지 않았다 (PMID 39850534).
벨마비에 스테로이드와 항바이러스제를 병용한 무작위 시험 11편에서 보고된 회복 관련 이분형 결과 57개를 본 연구는 양쪽을 나란히 보여 준다. 유의했던 7개 결과의 평균 취약성 지수는 2.714, 비유의했던 50개 결과의 평균 역-취약성 지수는 5.960이었다 (PMID 40741786).
이두건 절단술과 고정술을 비교한 무작위 시험 7편·622명을 연속형 역-취약성 지수로 본 연구는 한 걸음 더 나간다. 평균 역-연속취약성지수는 17.7이었는데, 계산 과정에서 7편 중 4편(57.14%)이 "이제는 유의한" 결과를 보였다 — 고정술 쪽 점수가 더 높은 방향으로. 다만 이 연구에서는 어느 시험도 추적 소실이 자기 역-취약성 지수를 넘지 않았고, 저자들의 결론은 이 비열등 결론들이 중등도의 견고성을 갖는다는 것이었다 (PMID 42015691).
전방십자인대 재건 자가건 비교 시험 19편·55개 결과를 본 연구는 두 방향의 값을 함께 적었다. 유의했던 5개 결과의 취약성 지수 중앙값은 4, 비유의했던 50개 결과의 역-취약성 지수 중앙값은 5였다. 전체 결과의 61.8%에서 추적 소실이 해당 지수를 넘었다 (PMID 37543146). 원위 대퇴골 골절 시험 11편·98개 결과(유의 25개·비유의 73개)에서 전체 취약성 지수는 5였다 (PMID 36461949).
여기서 멈추면 이 글도 같은 오류를 저지르는 것이다. 취약성 지수를 비판하는 문헌이 나란히 있고, 그중 일부는 위에서 인용한 계산 방식 자체를 겨눈다.
가장 강한 비판은 시뮬레이션에서 나왔다. 흔한 시험 파라미터 범위로 무작위 시험 30만 건(각 지표당 10만 건)을 모의 생성해 분석한 연구다. 결과는 두 가지다.
첫째, 취약성 지수의 변동 중 79.8%를 p값 하나가 설명했다(역-취약성 지수 71.9%, 연속 취약성 지수 64.5%). 저자들의 결론은 단호하다 — 취약성 지표는 표준적인 시험 파라미터의 수학적 반영이지, 견고성의 독립적인 척도가 아니다.
둘째, 유의성을 실제로 뒤집는 데 필요한 추적 소실 인원(저자들이 LTFI라 이름 붙인 값)이 취약성 지수보다 큰 경우가 84.9%였고, 역방향에서는 95.5%였다. 그러므로 취약성 지수와 추적 소실 인원을 직접 비교하는 것은 통계적으로 부적절하며 앞으로의 연구에서 피해야 한다는 것이다 (PMID 42605132).
같은 지적이 문헌 감사에서도 나왔다. 정형외과에서 취약성 지수를 쓴 연구 39편 중 37편(95%)이 취약성 지수를 추적 소실 인원과 직접 비교했고, 그 37편 중 22편(59%)에 부정확하거나 오도하는 진술이 들어 있었다. 저자들은 표본 100명·p=0.006·취약성 지수 4인 가상의 시험으로 이를 보였는데, 유의성이 실제로 뒤집히려면 추적 소실 7명이 필요했다 — 취약성 지수의 거의 두 배다. 이 논문의 결론이 중요하다. "추적 소실 인원이 취약성 지수를 넘으면 그 시험은 유의성이 뒤집힐 수 있다"는 주장은 흔히 부정확하며, 정형외과에서 이런 주장이 만연해 있다. 이전의 취약성 리뷰들이 주장한 만큼 시험들이 취약하지 않을 수 있다 (PMID 38777001).
그리고 견고한 시험도 많다. 척수자극술 무작위 시험 30편의 1차 통증 결과를 본 연구에서 취약성 지수 중앙값은 5.45(IQR 3.00~11.45)였고, 저자들의 결론은 대다수 시험이 상대적으로 높은 취약성 점수를 가진 견고한 시험이라는 것이다 (PMID 41376548). 병원감염 관리 분야의 무작위 시험 기반 메타분석 171편·440개 메타분석을 본 연구에서 취약성 지수 중앙값은 7이었고 61.14%가 5를 넘었다 — 저자 평가로 중등도의 견고성이다 (PMID 42045842).
심부전 SGLT2 억제제 시험 두 편(EMPEROR-Preserved, DELIVER)을 본 연구는 이 지표를 어떻게 쓰면 되는지 잘 보여 준다. 심부전 입원과 심혈관 사망의 복합 결과는 위험비 0.79와 0.82, 취약성 지수 37과 41, 필요치료수 30과 32였고, 심부전 입원 단독은 취약성 지수 37과 46으로 견고했다. 그런데 같은 시험의 심혈관 사망과 총사망 효과는 취약성 지수·역-취약성 지수가 10 이하로 취약했고 필요치료수는 100 이상이었다. 저자들의 결론은 이 약이 심부전 입원을 일관되게 줄이지만 이 집단에서 사망 이득의 견고성은 여전히 불확실하다는 것이다 (PMID 41314931).
한 걸음 더 나아가, p값·취약성·견고성을 세 축으로 나란히 놓자는 제안도 나왔다. 15개 진료과 129편의 2군·이분형 결과 시험을 놓고 72만 건의 몬테카를로 시뮬레이션과 대조한 연구다. 129편 중 77편(59.7%)이 통계적으로 유의했는데, 그중 30편(39.0%, 95% CI 28.8~50.1)이 세 기준을 모두 통과했다 — 참효과가 없는 귀무 시뮬레이션에서 이 조합이 나올 기대치 1.4%의 27.9배다. 반면 유의한 77편 중 61.0%(47편)는 취약했고, 31.2%(24편)는 유의하지만 취약하고 무효과와의 거리도 미미한 조합이었다 (PMID 41480455).
비판을 다 듣고 나면 이 도구의 자리가 오히려 분명해진다.
취약성 지수는 견고성의 새로운 정보가 아니다. 비판이 옳다 — 그 값의 대부분은 p값과 표본 크기와 사건 수의 함수다 (PMID 42605132). 그리고 추적 소실 인원과 1:1로 비교하면 틀린다 (PMID 38777001).
취약성 지수가 하는 일은 다른 것이다. 같은 정보를 사람이 감각할 수 있는 단위로 번역한다. "p=0.04"에는 감각이 없지만 "환자 세 명"에는 감각이 있다. 이 지표를 계산한 연구들이 거의 예외 없이 "p값과 함께 보고하라"고 적는 이유가 그것이다 (PMID 24508144, PMID 35820586, PMID 38900698, PMID 30420197).
이 글이 취약성 지수를 끌어온 이유도 같다. 판정 도구로 쓰려는 게 아니라, p<0.05라는 문장이 실제로 얼마나 얇은 것 위에 서 있을 수 있는지를 눈에 보이게 하려는 것이다.
흔한 오해 중 하나이고, 가장 기본적인 것이다. 조건이 반대로 뒤집혀 있다.
p값은 "귀무가설(과 배경 가정)이 참일 때 이런 데이터가 나올 확률"이지, "이런 데이터가 나왔을 때 귀무가설이 참일 확률"이 아니다. p값은 세워진 가설에 대해서만, 그 가설이 상정한 결과 분포 모형 아래에서만 말한다 (PMID 30187631, PMID 32539165). 그러므로 p값을 어떤 현상의 본성이나 모집단의 특성과 동일시할 수 없다 (PMID 30187631).
그리고 조건에 들어가는 것은 귀무가설만이 아니라 배경 가정 전체다 (PMID 37637018, PMID 32998683). 작은 p값은 "효과가 있다"의 증거일 수도 있지만, 모형 가정 중 무엇인가가 틀렸다의 증거일 수도 있다. 양립성이라는 표현이 이 점에서 정확하다.
p값을 실무에서 어떻게 쓰고 보고할지 정리한 논문은 이 오해를 오해석·과대강조·"유의/비유의"의 잘못된 이분화 셋으로 묶어 정리한다 (PMID 38680196).
이 글에서 가장 중요한 절이다. 그리고 이 글이 인용한 감사 자료들이 가장 자주 잡아낸 오류이기도 하다 — 최고 저널의 해석 문장 감사에서 0.05 위쪽을 유의한 것처럼 쓴 오류는 아래쪽의 반대 방향 오류보다 상대위험 31.2배였고 (PMID 34355494), 동물인지 연구 제목의 84%가 비유의를 "효과 없음"으로 적었다 (PMID 36919170).
원리부터 짚자. 통상적인 p값 분석은 귀무가설에 반하는 논증만 할 수 있고, 결코 귀무가설을 지지하는 논증은 할 수 없다 (PMID 41151754). 유의성 검정은 유죄 여부를 가리는 재판과 같아서, "무죄"가 아니라 "유죄를 입증하지 못함"만 나온다 (PMID 36869191).
이 오류가 얼마나 널리 퍼져 있는지는 앞에서 봤다 — 동물인지 연구 제목의 84%가 비유의를 "효과 없음"으로 적었다 (PMID 36919170). 그리고 이 습관은 대규모 복제 프로젝트에도 들어가 있었다. 원 연구와 복제 연구가 둘 다 비유의한 것을 "복제 성공"으로 해석한 경우다. 이를 논리적으로 뜯어본 논문은 두 문제를 지적한다. 둘 다 비유의하다는 사실이 두 연구가 효과의 부재에 대한 증거를 제공한다는 보장이 되지 못하고, 표본 크기가 충분히 작기만 하면 이 '복제 성공'은 사실상 언제나 얻을 수 있다는 것이다. 저자들은 암생물학·실험철학·심리학의 세 복제 프로젝트 자료로, '귀무 결과'를 낸 원 연구와 복제 연구의 상당수가 실제로는 결론 불가임을 보였다 (PMID 38739437).
그리고 이건 통계 훈련의 문제만이 아니라 자료가 답하기에 부족했다는 문제이기도 하다. 렘데시비르 사례가 좋은 예다. 코로나19 치료 승인의 초기 근거는 주로 두 시험이었고, 여기에 검정력이 부족해 결론 불가로 분류된 세 번째 시험(Wang 등)이 있었다. 규제기관이 이 세 번째 시험을 어떻게 읽을지에 관심을 보였는데, 빈도주의 틀에서는 그 비유의가 검정력 부족 때문인지 효과 부재 때문인지 판별하기 어렵다. 베이즈 가설검정은 효과의 부재를 지지하는 증거를 정량화할 수 있어서, 세 시험을 베이즈로 재분석한 결과 1차 결과(임상적 호전)에 대해서는 근거가 모호했고 2차 결과(사망률 감소)에 대해서는 효과 부재 쪽으로 중간 정도의 증거가 나왔다 (PMID 34297766).
반대로, 자기가 비유의를 어떻게 읽어야 하는지 스스로 못 박은 논문들이 있다. 이 글이 가르치려는 태도의 실례라 그대로 옮긴다.
치과 가상 햅틱 시뮬레이터로 학년별 와동 형성 술기를 비교한 연구에서, 정확도는 학년 간 차이가 p=0.09915로 비유의했고 수술 시간·삭제 시간·과제 진행도 등에서는 유의한 차이가 나왔다. 저자들은 결론에 이렇게 적었다 — "학년 간 정확도의 비유의한 차이를 술기 역량의 동등성으로 해석해서는 안 된다." 그리고 관찰된 수행 양상은 술기 습득의 확정적 근거가 아니라 학생들이 가상 환경과 상호작용한 방식을 반영한다고 덧붙인다 (PMID 41728354).
앞서 본 청소년 축구선수 단식 연구도 같다. 기억·주의·정신운동 각성 어느 항목에서도 유의한 군×시점 상호작용이 없었는데, 저자들은 결론에서 "이 연구는 동등성·비열등성 시험으로 설계되지 않았으므로, 목표한 중간 크기보다 작은 효과를 배제할 수 없다"고 적고, 따라서 "유의한 상호작용의 부재만으로는 단기 단식이 청소년 운동 훈련과 양립 가능하다고 추론할 수 없다"고 못 박았다 (PMID 42588098).
작은 시험은 특히 그렇다. 골반 취약골절에서 수술과 비수술을 비교한 무작위 시험은 등록이 어려워 28명만 모았고, 1차 종결점(기능적 이동성 2점 회복까지의 시간)은 수술군 중앙 10일 대 비수술군 16일, p=0.1이었고, 6주까지 1차 종결점에 도달한 비율은 수술군 100%·비수술군 83%였다. 같은 시험은 수술을 받았지만 비수술 실패로 볼 수 있는 5명을 비수술군에 포함시키면 성공률 차이가 100% 대 48%, p<0.0001로 벌어진다는 것도 함께 보고했다. 저자들은 1차 종결점 결과를 "차이 없음"이 아니라 "일관된 경향"으로 서술하고, 노인 골절 시험의 등록 자체가 갖는 어려움을 결론에 명시했다 (PMID 40483940).
여기에 두 가지를 덧붙여야 한다.
첫째, 전체에서 비유의한데 하위군에서는 진짜일 수 있다. 어떤 이론적 논의는 전체 효과가 없으면서 한 하위군에만 효과가 있는 조합이 임상적으로 개연성 없는 상호작용을 함의한다고 주장했는데, 이는 점추정치만 보고 표집 오차와 통계적 추론을 무시한 논증이었다. 이를 시뮬레이션으로 검증한 연구에서, 치료가 실제로 한 하위군에만 효과가 있을 때 "전체 효과는 비유의 + 치료×하위군 상호작용은 유의"라는 조합이 자주 나타났다. 영향받는 하위군이 작을수록 더 그랬는데, 전체 효과를 검출할 검정력이 높은 연구에서도 마찬가지였다 — 예를 들어 N=20,000·사건 600건·오즈비 1.5의 효과가 참가자의 30%에만 있을 때, 표본의 37.1%에서 그 조합이 나왔다. 그리고 그런 표본 대부분에서 하위군 분석은 효과가 한 하위군에 한정된다는 사실을 옳게 지목했다. 저자들의 결론은 전체 효과가 비유의하다는 이유로 개연성 있는 상호작용 검정을 막아서는 안 된다는 것이다 (PMID 23939947).
둘째, "검정력이 부족했다"를 사후에 계산해 변명으로 쓰면 안 된다. 음성 결과가 나온 뒤 관측 검정력을 계산하는 관행에 대해, 한 학술지 통계 시리즈의 편집 논평은 이를 가장 심한 오용 사례로 꼽는다. 논지는 이렇다 — 관측 검정력이 낮으면 그건 표본이 적어서 귀무가설을 기각하지 못했다는 말이 되고, 관측 검정력이 높다고 해서 귀무가설이 참이라는 근거가 되지도 않는다. 연구가 귀무가설을 기각할 검정력은 이미 p값 계산 안에 들어가 있기 때문이다. 이 논평은 "…하는 경향이 있었다", "환자 수가 적어 이득을 검출하지 못했다" 같은 표현을 자기 저널에서 몰아내고 싶다고 적는다 — 심사자들에게는 이미 안내했다는 말을 덧붙인다 (PMID 36869191).
[근거 등급 표기: 이 항목과 앞의 재판 비유, 그리고 마지막에 나오는 신뢰구간 언급의 근거는 원저 연구가 아니라 학술지 편집 논평 한 편이다. 이 글이 인용한 근거 중 형식적 등급이 가장 낮은 자리다.]
그러면 "효과가 없다"는 어떻게 말하나. 방법이 있다. 동등성 검정(equivalence test)과 신뢰구간·신용구간은 "의미 있는 크기의 효과가 없다"를, 우도비와 베이즈 인자는 "어떤 효과도 없다"를 다룬다. 이 도구들은 귀무가설에 대해 직접 결론을 내릴 수 있게 해 준다 (PMID 41151754). 심리학·임상 쪽에서 이 도구들을 소개한 논문은 동등성 검정·베이즈 추정·베이즈 인자를 실제 예제로 보이면서, 마지막에 정직한 한계를 덧붙인다 — 어떤 통계적 접근도 귀무가설이 참임을 증명할 수는 없다 (PMID 30873486).
앞에서 언어의 함정을 짚었다 (PMID 32710113). 여기서는 실례를 본다.
류마티스 관절염 환자의 피로에 대한 육상 유산소 운동의 효과를 최소중요차(MID) 접근으로 다시 계산한 메타분석이 있다. 무작위 시험 5편(연구당 최대 298명) 자료로, 운동은 자가보고 피로를 통계적으로 유의하게 줄였다(최소중요차 기반 효과 크기 −0.34, 95% CI −0.58~−0.10, p=0.006). 결과만 보면 명백하다. 그런데 같은 논문의 결론은 이렇다 — 기존에 보고된 절단점에 비추어 볼 때, 상당수의 참가자가 임상적으로 유의미한 피로 감소를 얻었을 가능성은 낮다 (PMID 29609204).
같은 간격을 정량화한 연구도 있다. 말초신경차단 보조제를 다룬 무작위 시험 59편을 훑은 범위 문헌고찰에서, 45편(76%)이 1차 결과에서 통계적으로 유의한 결과를 보고했는데, 그중 22%는 자기가 표본 수 계산에 쓴 기대 효과 크기에 도달하지 못했다 (PMID 38978187). 자기가 "이 정도는 돼야 의미 있다"고 미리 선언한 크기에 못 미쳤는데 유의했던 것이다.
그래서 여러 분야의 방법론 논문이 같은 처방을 반복한다. 효과 크기 지표는 문헌에 70가지 넘게 기술돼 있는데, 귀무가설검정 결과는 추정치의 크기에 대해 아무 정보를 주지 않고 임상적 중요성에 대해서도 아무 말을 하지 않는다. 그러므로 점추정치에 그럴듯한 값들의 범위 전체를 함께 붙여야 한다 (PMID 29337724). 이식의학 쪽 논문은 더 짧게 정리한다 — 검정할 것인가 추정할 것인가. 위험차·상대위험·위험비 같은 효과 크기와 그 정밀도(95% 신뢰구간)의 짝이 있어야 임상적 관련성이라는 중요한 질문에 답할 수 있다 (PMID 31560143). 마취·중환자 쪽 논문도, 작은 표본과 낮은 사건률이 흔한 임상시험에서 p값이 나올 때마다 95% 신뢰한계와 효과 크기가 반드시 함께 있어야 한다고 못 박는다 (PMID 28341168).
효과 크기가 왜 좋은 도구인지에 대한 고전적 설명도 있다. 효과 크기는 표본 크기에 독립적이고 척도에서 자유롭다. 그래서 표본 크기와 원래 척도가 서로 다른 연구들 사이에서도 일관되게 해석할 수 있다 (PMID 15316274). 안과 쪽 개관의 표현대로, 효과 크기는 사후에 딸려 오는 값이 아니라 사전에 정해 두어야 하는 값이다 (PMID 30187631).
그리고 반대 극단을 잊지 말자. 95만 건짜리 데이터베이스에서는 아무 의미 없는 짝짓기의 70%가 유의해진다 (PMID 40885217).
앞에서 본 숫자를 다시 놓는다. 최고 저널에서도 0.05 위쪽의 p값이 유의한 것처럼 서술된 문장이 그 범위의 41.2%였고 (PMID 34355494), 한 저널 감사에서는 p가 0.05~0.1인 논문의 64%가 그것을 "경향"이라 불렀다 (PMID 38434651).
문턱을 없애자는 쪽의 논거가 여기서 나온다. p값을 유의/비유의로 등급 강하시키면 누적 지식 자체가 신뢰할 수 없게 된다는 것이다. 이유 하나는 이상적이지 않은 검정력에서는 유의한 효과 크기가 위쪽으로 편향되기 때문이다. 부풀려진 유의한 결과만 해석하고 비유의한 결과를 무시하면 잘못된 결론에 이른다. 그래서 이 논문은 큰 p값도 귀무가설에 반하는 어느 정도의 증거이며, 귀무가설을 지지하는 근거로 해석해 "효과가 없다"고 결론지을 수는 없다고 적는다 (PMID 28698825).
통계 교육 쪽의 처방도 같은 방향이다. p<0.05인지에 초점을 두지 말고 정확한 p값을 해석하도록 유도해야 한다는 것 (PMID 32710113). 그리고 앞에서 봤듯, 임계값 유지를 옹호하는 쪽조차 "p<0.05" 또는 "p≥0.05"라고만 적지 말고 실제 값을 적으라고 요구한다 (PMID 32157489).
논쟁의 양 진영이 이 지점에서 만난다. 문턱을 남길지 없앨지는 미해결이지만, "0.049와 0.051 사이에 절벽이 있다"는 읽기는 어느 쪽도 지지하지 않는다.
여기는 특히 조심해서 읽어야 하는 절이다. 이 절의 문헌들은 서로 싸우고 있고, 한쪽만 떼면 정반대의 글이 된다.
시작은 유명한 논문이다. 어떤 연구 주장이 참일 확률은 검정력과 편향, 같은 질문을 다룬 다른 연구의 수, 그리고 무엇보다 그 분야에서 검증되는 관계들 중 참인 것의 비율에 달려 있다는 틀이다. 이 틀에서 연구 결과가 참일 가능성은 연구가 작을수록, 효과 크기가 작을수록, 검정되는 관계가 많고 사전 선별이 적을수록, 설계·정의·결과·분석 방식의 유연성이 클수록, 이해관계가 클수록, 그리고 한 분야에서 더 많은 팀이 통계적 유의성을 좇을수록 낮아진다. 저자의 시뮬레이션은 대부분의 설계와 상황에서 연구 주장이 참보다 거짓일 가능성이 높다는 결과를 냈다 (PMID 16060722).
그런데 여기서 멈추면 안 된다. 이 논문은 시작이지 결론이 아니다.
같은 저자는 이후 "어떻게 하면 더 많은 출판 연구를 참되게 만들 것인가"로 주제를 옮겼다 (PMID 25334033). 그리고 다른 연구자들이 출판 문헌의 위발견율을 추정하려 시도했을 때는, 그 계산을 표집·계산·결론 세 층위 모두에서 결함이라고 비판했다. 논거가 이 글의 주제와 맞닿아 있다. 논문 초록에 실린 p값은 심하게 왜곡된 선택 표본이고, 선택적 보고 편향 외의 다른 편향들 — 특히 관찰연구의 교란 — 이 생물의학 문헌의 높은 위양성률의 주된 동인인 경우가 많은데 그런 계산은 그것들을 무시한다는 것이다 (PMID 24068251).
그리고 반대 진영이 있다. 의학 허무주의를 정면으로 반박한 논문은, "대부분의 출판 연구 결과가 거짓"이라는 명제와 그 뒤에 이어진 허무주의 논의가 사실(fact)의 본성에 대한 지지 불가능한 설명 위에 서 있다고 주장한다. 오류가능주의와 지식의 사회적 조직, 그리고 의학 추론에서의 베이즈 확률에 제대로 주의를 기울이면, 애초에 왜 정량 연구의 결과가 반박 불가능하게 참일 것이라고 기대하느냐는 질문이 먼저 나온다는 것이다. 저자들은 이오아니디스 등이 지적한 의학 연구 체제의 결함에 동의하고 시정을 촉구하면서도, 의학 허무주의가 현재 연구 상태의 자연스러운 귀결은 아니라고 결론짓는다 (PMID 33218468).
그러니 이 절의 교훈은 "논문을 믿지 마라"가 아니다. 하나의 p값은 하나의 표를 던진 것이라는 쪽이다.
문헌 묶음 단위로 증거 가치를 판정하는 도구도 이 발상 위에 있다. p-곡선은 유의한 p값들의 분포를 분석해, 어떤 가설에 관한 출판 문헌이 증거 가치를 갖는지 — p-해킹과 파일 서랍 효과만으로 설명되지 않는지 — 를 본다. 영아의 수량 변별 연구를 이 도구로 종합한 연구는 작은 수량과 큰 수량, 단일감각과 교차감각 모두에서 증거 가치가 있다는 결과를 얻었다. 다만 같은 분석이 큰 수량 변별 자료는 작은 수량 쪽보다 덜 견고하고 검정력이 낮다는 것도 보여, 저자들은 적절한 검정력을 갖춘 복제 연구가 필요하다고 결론짓는다 (PMID 31448505). p-곡선이 관찰 자료에는 쓸 수 없다는 반론에 대해서는, 혼란된(confounded) 발견과 위양성 발견은 서로 다른 것이며 — 전자는 인과가 아니어도 실재하므로 복제되고 따라서 오른쪽으로 치우친 p-곡선을 낳는 반면 후자는 평평한 곡선을 낳는다 — 자료가 관찰적이라는 사실 자체는 결정적이지 않다는 반박이 나왔다 (PMID 30856227).
이 글이 답하지 못하는 질문이다. 없애자는 쪽의 논거(PMID 28698825, PMID 41748420)와 남기자는 쪽의 논거(PMID 32157489)를 앞에서 나란히 놓았다. 어느 쪽도 아직 이기지 않았다.
지금 제안된 대안은 대략 네 갈래다.
① 용어와 단위를 바꾸기. 유의성·신뢰를 양립성으로, p값을 S값으로 (PMID 37637018, PMID 32998683, PMID 35787846).
② 효과 크기와 구간을 앞세우기. 점추정치에 그럴듯한 값들의 범위를 붙이기 (PMID 29337724, PMID 31560143, PMID 15316274, PMID 28341168).
③ 부재를 직접 검정하기. 동등성 검정, 신용구간, 우도비, 베이즈 인자 (PMID 41151754, PMID 30873486, PMID 38739437, PMID 34297766).
④ 의사결정 규칙 자체를 다시 설계하기. 신약 개발의 개념증명 시험에서 진행/중단을 정하는 문제를 다룬 논문이 좋은 예다. 저자들은 대조군 대비 유의성 검정만으로 기준을 세우는 것은 이 의사결정 맥락에 부적절하다고 보고, 대조군 대비 우월성과 효과 크기의 관련성을 함께 요구하는 이중 기준을 제안한다 (PMID 30222466).
연구 해석의 함정을 정리한 개관은 여기에 실무 도구를 덧붙인다 — 취약성 지수로 결론의 견고성을 이해하고, E값으로 측정되지 않은 교란의 정도를 가늠하라는 것이다 (PMID 34270363).
그런데 이 대안들 중 어느 것도 귀무가설이 참임을 증명하지는 못한다 (PMID 30873486). 그리고 취약성 지수가 그랬듯, 새 도구도 오해되고 오용될 수 있다 (PMID 42605132, PMID 38777001). 도구를 바꿔서 해결되는 문제가 아니라는 진단 — 핵심 문제가 통계적이기보다 인지적이라는 진단 (PMID 32998683) — 이 아마 가장 정직한 상태일 것이다.
논문에서 p값을 만났을 때 물어볼 것은 다섯 가지다.
하나만 남긴다면 — p값은 데이터가 "아무 일도 없었다"는 가정과 얼마나 어울리는지를 재는 하나의 눈금이다. 그 눈금은 효과의 크기를 재지 않고, 중요성을 재지 않고, 부재를 재지 않는다.
이 글을 다 읽고 나서 남는 것은 결론이 아니라 질문이어야 한다.
논문이 "유의한 차이가 있었다"고 말할 때, 우리가 정작 알고 싶은 것은 이것이다. 그래서 얼마나 큰가. 그리고 이 데이터와 양립할 수 있는 값들은 어디서 어디까지인가.
p값은 이 질문에 답하지 않는다. 답할 수 있는 도구는 따로 있고, 앞에서 인용한 논문 중 효과 크기를 다룬 것들은 하나같이 그것을 함께 보라고 적었다 — 점추정치에 붙는 그럴듯한 값들의 범위 전체 (PMID 29337724, PMID 31560143, PMID 28341168), 그리고 그 범위를 "확률 95%로 참값이 여기 있다"가 아니라 데이터와 양립 가능한 값들의 폭으로 읽는 관점 (PMID 37637018, PMID 32998683).
그 도구의 이름이 신뢰구간이고, 이 시리즈의 다음 편이 그것을 다룬다. 거기서 우리는 이 글에서 남겨 둔 문제 하나를 다시 만나게 된다 — 같은 도구가 "유의성" 못지않게 널리 오해되고 있다는 사실 (PMID 37637018, PMID 36869191).