Paperis 아티클
0.05는 계산에서 나온 값이 아니라 합의된 관습이다. 고영향 저널에서 초록에 유의한 결과를 보고한 무작위시험 399편에서, 유의성이 사라지는 데 필요한 환자 수의 중앙값은 8명이었고 넷 중 하나는 3명 이하였다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
참가자 100명짜리 임상시험이 있다고 하자. 두 치료를 비교했고 결과는 p = 0.006이었다. 흔히 기준으로 삼는 0.05보다 한참 작다. 논문에는 "유의한 차이가 있었다"고 적히고, 이 숫자를 본 사람은 결론이 꽤 단단하다고 느낀다.
그런데 이 시험에서 환자 4명의 결과만 달랐다면 — 아무 일 없던 4명에게 사건이 일어났다면 — p는 0.05를 넘어간다. 그 4가 이 글의 첫 번째 용어, 취약성 지수다.
이 시험은 실제가 아니라 한 논문이 계산을 눈에 보이게 하려고 만든 가상의 예다. 그리고 그 논문은, 뒤에서 보겠지만 이 숫자를 쓰는 방식을 비판하려고 이 예를 만들었다 (PMID 38777001). 이 글은 처음부터 논쟁 안에 서 있다.
p값이 답하는 질문이 하나뿐이고 그것이 "결과가 우연일 확률"이 아니라는 것은 이 시리즈에서 p값을 다룬 앞 글이 세웠다. 여기서는 그다음 질문이다. 왜 하필 0.05인가. 그 선을 넘었다는 결과는 실제로 몇 명 위에 서 있나.
이 글에서 새로 배울 말은 다섯 개다 — 취약성 지수, 검정력, 이분화, 재현, 사전등록.
⚠️ 아래 나오는 질환·시술 이름은 어느 분야의 시험을 몇 편 세어 봤나의 이름표다. 치료의 좋고 나쁨에 대한 판단이 아니다.
0.05는 자연의 상수가 아니다. 수식을 풀어 나온 값도 아니다. p값의 역사를 짧게 정리한 개관의 서술이 인상적이다. 실무자들은 자기들에게 잘 맞는 간단한 방법을 아주 빨리 찾아냈고, 통계학자들은 그 열기를 굳이 누를 필요를 못 느꼈다 — 합의된 것처럼 보였기 때문이다. 저자는 0.05를 "임의적인데도 신성한" 문턱이라 부르고, p<0.05 관행의 함정을 다섯으로 정리한다. 흑백 판정으로 가는 이분법, 없는 효과를 있다고 할 가능성, 효과 크기 정보의 부재, 임상적 관련성의 부재, 맥락을 떠난 사용. 결론은 p값을 버리자는 게 아니라 0.05라는 문턱과 "통계적 유의성"이라는 용어를 버리자는 것이다 (PMID 41748420).
여기서 두 번째 용어가 나온다. 이분화는 연속적인 숫자를 어느 선에서 잘라 두 칸으로 만드는 일이다. 키를 재서 "170cm 이상"과 "미만"으로 나누는 것과 같다. p값에서는 자르는 선이 0.05이고, 두 칸의 이름이 "유의함"과 "유의하지 않음"이다. 자르고 나면 0.049와 0.051은 다른 칸에, 0.049와 0.001은 같은 칸에 들어간다.
문턱을 없애자는 쪽이 내놓은 숫자 하나가 특히 아프다. 세 번째 용어가 여기 필요하다. 검정력은 실제로 효과가 있을 때 그것을 "유의하다"고 잡아낼 확률이다. 시험을 설계할 때 흔히 80%를 목표로 잡는다 — 다섯 번 하면 네 번은 잡아낸다는 뜻이다. 그런데 그 양호한 80%에서조차 두 연구가 "충돌"할 확률 — 참 효과가 있는데 하나는 유의하고 하나는 아닐 확률 — 이 3분의 1이다. 이 논문의 결론은 고정된 문턱을 없애고 p값을 "차이가 없다"는 가정(귀무가설)에 반하는 증거의 세기를 나타내는 연속적인 눈금으로 읽자는 것이며, 이것이 고(故) 로널드 피셔의 권고와 일치한다고 적는다 (PMID 28698825).
그런데 반대편도 있다. 문턱을 없애자고 주장한 바로 그 논문이 반대 논거들을 나란히 검토한다. 결정 규칙을 오히려 더 엄격하게 해야 한다는 것, 문턱이 없어지면 표본 크기가 줄어들 수 있다는 것, 아예 p값 자체를 버리는 편이 낫다는 것 — 세 가지다. 그러고도 저자들이 내린 결론은 어느 방법이 옳다는 것이 아니라 어떤 추론 방법을 쓰든 이분법적 문턱 사고가 사람의 판단에 자리를 내주어야 한다는 것이다 (PMID 28698825). 0.05를 버리자고 적은 개관조차 대안 목록에 "더 엄격한 문턱"을 올려 둔다 (PMID 41748420).
문턱 유지를 정면으로 옹호하는 개관도 있다. 임상 연구는 의사결정을 이끌기 위해 이분법적 답을 필요로 한다는 것이 논거다 — 특히 진단영상과 중재시술에서 그렇다. 문턱을 0.005로 낮추자는 제안에는, 그러면 연구 비용이 올라가고 지원금 없는 자발적 연구가 줄 수 있다고 지적한다. 이 개관의 대안은 문턱이 아니라 2차 근거·데이터 공유·비용효과 분석이다 (PMID 32157489).
그러니 실제로 나온 제안은 갈린다. 문턱을 아예 없애자는 쪽이 있고(PMID 28698825, PMID 41748420), 결정이 걸린 자리에서는 문턱을 지우기보다 다른 것을 덧붙이자는 쪽이 있다. 뒤쪽의 예가 신약 개발의 개념증명 시험이다. 개발을 계속할지 중단할지 정해야 하는 자리인데, 이 문제를 다룬 논문은 베이즈 틀로 기준을 다시 짜면서 유의성 검정만으로 기준을 세우는 건 이 맥락에 부적절하다고 보고, 우월성과 효과 크기의 관련성을 함께 요구하는 이중 기준을 제안한다 (PMID 30222466).
그러니 이 글은 "0.05를 버려라"라고 말하지 않는다. 0.05는 합의된 관습이고 그 관습을 유지할지는 지금도 논쟁 중이라는 사실을 말한다. 폐지론 쪽이 가리키는 방향은 유의/비유의라는 두 칸 대신 효과의 크기와 그 그럴듯한 범위를 함께 읽으라는 것이고 (PMID 41748420, PMID 28698825), 유지론 쪽이 요구하는 것은 "p<0.05"가 아니라 실제 값을 적으라는 것이다 (PMID 32157489).
원리는 여기까지다. 그런데 원리는 감각을 안 준다 — p=0.04와 p=0.06이 얼마나 다른지 숫자만 봐서는 모른다. 그래서 만들어진 것이 취약성 지수다. 정의는 앞의 100명짜리 예에서 봤다. 한 군에서 몇 명의 결과가 "사건 없음"에서 "사건 있음"으로 바뀌면 그 결과의 유의성이 사라지는가. 그 최소 인원이다. 숫자가 작을수록 결론이 몇 사람 위에 얹혀 있다는 뜻이다.
한 가지를 정확히 해 두자. 이 지수가 세는 것은 유의성이 사라지는 인원이지 결론이 반대로 뒤집히는 인원이 아니다. p가 0.05를 넘어가면 "유의함"이라는 이름표가 떨어질 뿐 효과의 방향이 반대가 되는 것은 아니다.
제약도 하나 있다. 이 값은 두 군을 반씩 나눈 시험에서, 있었다·없었다로 세는 결과에만 계산할 수 있다 (PMID 31822121). 급성 관상동맥증후군 진료지침이 인용한 무작위 시험 407편 중 이 값을 낼 수 있었던 건 132편(32.4%)이었다 — 문헌의 3분의 1쯤에만 붙는 자다 (PMID 36882068).
이 수에 "취약성 지수"라는 이름을 붙인 논문의 결과가 이 글에서 가장 큰 숫자다. 고영향 의학저널에서 초록에 유의한 결과를 하나 이상 보고한 무작위 대조시험 399편을 검토했더니 취약성 지수의 중앙값은 8(범위 0~109)이었고 4분의 1은 3 이하였다. 즉 넷 중 하나는 환자 세 명의 결과만 달랐어도 "유의함"이 사라졌을 연구다.
같은 논문이 하나를 더 적었다. 전체의 53%에서 취약성 지수가 추적 소실 인원보다 작았다 — 연구 도중 연락이 끊겨 결과를 모르는 사람이 그 숫자보다 많았다는 뜻이다 (PMID 24508144). 다만 이 둘을 나란히 놓는 비교 자체가 지금은 부적절하다고 지적받고 있다. 이 글 뒷부분이 그 이야기다.
이 계산은 여러 분야로 퍼졌다. 아래는 각 연구가 모은 시험들에서 보고한 값이다. 분모를 함께 읽어야 한다 — 6편을 본 연구와 1,007편을 본 연구를 같은 무게로 놓을 수 없다. 그리고 이 값은 애초에 유의한 결과가 나온 시험에만 붙는다. 괄호 안은 가운데 절반이 걸친 범위다.
| 대상 | 시험 수 | 취약성 지수 중앙값 (가운데 절반의 범위) | 출처 |
|---|---|---|---|
| 고영향 저널 5종(2014~2021, 유의한 결과 보고분) | 643편 | 12 (3–28) | PMID 35820586 |
| 허혈성 뇌졸중† | 25편 | 7 (4–15) | PMID 30765294 |
| 조산아 | 66편 | 3 (1–5) | PMID 35615631 |
| 외과 전반(여러 리뷰 종합) | 1,007편 | 3 (1–7) | PMID 36719446 |
| 난원공개존 폐쇄 | 6편 | 0 (재발 뇌졸중을 결과로 볼 때, 0–5.3) | PMID 30890394 |
† 허혈성 뇌졸중 행은 저자들이 자기 값을 견고한 편으로 해석한 경우다. 중앙값 7이 다른 임상 분야의 2.5보다 높다고 적고, 결론을 "이 분야의 많은 시험이 다른 분야에 비해 괜찮은 수준의 견고성을 가진다"로 맺었다 (PMID 30765294).
표에서 뺀 행도 하나 있다. 어깨 관절치환 13편을 본 연구는 중앙값 6을 "다른 정형외과 세부전공보다 높은 값"이라 적었지만, 그 값은 시험이 아니라 결과 하나하나를 단위로 계산됐고 그 결과의 89.7%가 애초에 비유의했다. 단위가 달라 뺐다 (PMID 33271323).
표의 숫자는 각 연구의 보고값이고, 그 값을 어떻게 읽을지는 논문마다 다르다. 난원공개존 폐쇄 행은 반대로, 저자들이 이 값을 근거로 "최근의 긍정적 결과들은 취약한 성격 때문에 신중히 해석해야 하며 개별화된 의사결정이 중요하다"고 결론지은 경우다 (PMID 30890394).
표 첫 행의 연구는 중앙값 12가 10년 전 같은 저널의 8에서 유의하게 개선된 값이라 적는다(p<0.001). 그런데 곧바로 덧붙인다 — 가운데 절반의 아래쪽 끝은 3에서 그대로여서, 여전히 시험의 4분의 1은 유의성이 사건 3건 이하에 걸려 있다. 같은 논문이 함께 한 우산 리뷰(15개 진료과의 체계적 문헌고찰 57편, 진료과당 시험 10~692편)에서는 모든 분과의 중앙값이 2~4 사이였다 (PMID 35820586).
미리 말해 둘 사실이 하나 있다. 취약성 지수는 p값과 강하게 얽혀 있다. 조산아 시험 66편에서 지수와 p값의 상관계수는 −0.857이었다 (PMID 35615631). 이 사실이 이 지표의 운명을 정한다.
같은 계산을 반대 방향으로도 할 수 있다. 비유의한 결과를 유의하게 만드는 데 몇 명이 필요한가. 계산도 뜻도 같고 방향만 반대라 이름도 뒤집어 역-취약성 지수라고 부른다.
성형외과 무작위 시험 중 차이 없음을 보고한 40편·65개 1차 결과를 본 연구에서 표본 중앙값은 76명, 사건 수 중앙값은 10건, 역-취약성 지수 중앙값은 4였다. 절반은 참가자 네 명의 사건 상태만 달랐어도 "유의함"이 됐을 결과라는 뜻이다. 같은 연구가 덧붙인 것이 더 중요하다 — 40편 중 21편은 검정력 분석을 아예 하지 않았다. 저자들의 결론은 이 "차이 없음"들이 적은 수의 사건 위에 얹혀 있다는 것, 그리고 이 지표가 p값을 보완한다는 것이다 (PMID 39850534).
벨마비에 스테로이드와 항바이러스제를 함께 쓴 시험 11편의 회복 관련 결과 57개를 본 연구는 양쪽을 나란히 놓는다. 유의했던 7개의 평균 취약성 지수는 2.714, 비유의했던 50개의 평균 역-취약성 지수는 5.960이었다. 저자들의 결론은 이 병용요법의 근거가 엇갈리는 효과와 높은 취약성을 보이며 특히 유의했던 쪽이 그렇다는 것, 그래서 더 견고한 연구가 필요하다는 것이다 (PMID 40741786).
여기서 짚어야 할 것은 방향이다. 취약성 지수가 낮다는 것은 "그 치료가 듣지 않는다"가 아니라 "이 자료만으로는 어느 쪽도 단단히 말할 수 없다"이다.
여기서 멈추면 이 글도 같은 오류를 저지르는 것이다. 취약성 지수를 비판하는 문헌이 나란히 있고, 일부는 위에서 인용한 계산 방식 자체를 겨눈다. 가장 큰 규모의 비판은 시뮬레이션에서 나왔다. 흔한 시험 조건 범위로 무작위 시험 30만 건을 모의 생성해 분석한 연구다. 결과는 두 가지다.
첫째, 취약성 지수의 변동 중 79.8%를 p값 하나가 설명했다(반대 방향은 71.9%). 저자들의 결론은 단호하다 — 취약성 지표는 표본 크기·사건 수·p값을 수학적으로 되비친 것이지, 견고성의 독립적인 척도가 아니다.
둘째, 유의성을 실제로 잃게 만드는 데 필요한 추적 소실 인원이 지수보다 큰 경우가 84.9%였고 반대 방향에서는 95.5%였다. 그러므로 취약성 지수와 추적 소실 인원을 직접 비교하는 것은 통계적으로 부적절하며 앞으로 피해야 한다는 것이다 (PMID 42605132).
같은 지적이 문헌 감사에서도 나왔다. 정형외과에서 이 지수를 쓴 연구 39편 중 37편(95%)이 지수를 추적 소실 인원과 직접 비교했고, 그중 22편(59%)에 부정확하거나 오도하는 진술이 있었다. 이 글을 연 100명짜리 가상 시험이 여기서 나왔다 — p=0.006, 지수 4인 그 시험에서 유의성이 실제로 사라지려면 추적 소실 7명이 필요했다. 지수의 거의 두 배다.
이 논문의 결론이 중요하다. "추적 소실 인원이 취약성 지수를 넘으면 그 시험은 유의성을 잃을 수 있다"는 주장은 흔히 부정확하며, 정형외과에서 이런 주장이 만연해 있다. 이전의 취약성 리뷰들이 주장한 만큼 시험들이 취약하지 않을 수 있다. 다만 저자들은 곧바로 덧붙인다 — 어떤 개별 시험의 값어치는 그 시험이 수행된 맥락과 잠재적 편향, 결과를 함께 보는 총체적 접근으로만 판단할 수 있다 (PMID 38777001).
척수자극술 무작위 시험 30편의 통증 결과를 본 연구에서 중앙값은 5.45였고, 저자들의 결론은 대다수가 견고한 시험이라는 것이다 (PMID 41376548).
심장이 피를 짜내는 힘이 유지되었거나 조금만 떨어진 심부전 환자를 대상으로 한 SGLT2 억제제 시험 두 편(EMPEROR-Preserved, DELIVER)을 본 연구가 이 지표를 어떻게 쓰면 되는지 잘 보여 준다. 저자들이 배경에 먼저 적어 둔 것은 이 약이 모든 심부전 유형에서 심혈관 사망과 심부전 입원을 줄인다는 것, 다만 이 두 유형에서는 이득의 크기와 견고성이 크지 않다는 것이다.
숫자는 이렇다. 심부전 입원과 심혈관 사망을 합친 결과에서 취약성 지수는 37과 41, 심부전 입원 단독은 37과 46으로 견고했다. 그런데 같은 시험에서 사망 쪽 값은 10 이하였다. 같은 시험 안에서도 결과에 따라 견고성이 이렇게 갈린다. 저자들의 결론은 이 약이 심부전 입원을 일관되게 줄이지만 이 두 집단에서는 사망 이득의 견고성이 여전히 불확실하다는 것이다 (PMID 41314931).
한 걸음 더 나아가, p값·취약성·견고성을 세 축으로 나란히 놓자는 제안도 나왔다. 15개 진료과에서 모은 두 군·있음/없음 결과 시험 129편을 72만 건의 모의 시험과 대조했더니, 유의했던 77편 중 30편(39.0%)이 세 기준을 모두 통과했고 61.0%(47편)는 취약했다. 다만 이 모의 시험은 출판 편향이나 선택적 보고를 계산에 넣지 않은 무작위 생성이고, 저자들도 이 틀이 증거의 등급을 나눌 뿐 참인지·인과인지·재현될지를 증명하지는 않는다고 못박는다 (PMID 41480455).
눈여겨볼 것은 이 제안이 0.05를 없애지 않았다는 점이다. p ≤ 0.05를 세 기준 중 하나로 남기고 옆에 두 개를 더 세웠다.
비판을 다 듣고 나면 이 도구의 자리가 오히려 분명해진다. 취약성 지수는 견고성의 새로운 정보가 아니다 — 그 값의 대부분은 p값·표본 크기·사건 수의 함수이고 (PMID 42605132), 추적 소실 인원과 1:1로 비교하면 틀린다 (PMID 38777001).
이 지수가 하는 일은 다른 것이다. 같은 정보를 사람이 감각할 수 있는 단위로 번역한다. "p=0.04"에는 감각이 없지만 "환자 세 명"에는 감각이 있다. 이 지표를 계산한 연구들이 "p값과 함께 보고하라"고 적는 이유가 그것이고 (PMID 24508144, PMID 35820586), 이 글이 이 지수를 끌어온 이유도 같다 — 판정하려는 게 아니라 p<0.05라는 문장이 얼마나 얇은 것 위에 설 수 있는지를 눈에 보이게 하려는 것이다.
앞에서 본 이분화의 결과다. 자르고 나면 두 값이 다른 칸에 들어가지만, 그 사이에 절벽이 있는 것은 아니다. 문턱을 없애자는 쪽의 논거가 여기서 나온다. 검정력이 이상적이지 않으면 유의한 효과 크기가 위쪽으로 부풀려지고, 그 부풀려진 결과만 해석하고 비유의한 결과를 무시하면 잘못된 결론에 이른다. 그래서 이 논문은 큰 p값도 "차이가 없다"는 가정에 반하는 어느 정도의 증거이며, 그 가정을 지지하는 근거로 뒤집어 읽어 "효과가 없다"고 결론지을 수는 없다고 적는다 (PMID 28698825).
여기서 네 번째 용어가 나온다. 재현은 같은 연구를 다시 해 보는 일이다. 앞의 숫자를 다시 놓아 보라 — 검정력 80%에서도 두 연구가 충돌할 확률이 3분의 1이다. 그러니 다시 한 연구가 비유의하다는 이유만으로 재현에 실패했다고 해석할 수 없다 (PMID 28698825).
여기는 특히 조심해서 읽어야 하는 절이다. 이 절의 문헌들은 서로 싸우고 있고, 한쪽만 떼면 정반대의 글이 된다. 시작은 유명한 논문이다. 어떤 연구 주장이 참일 확률은 검정력과 편향, 같은 질문을 다룬 다른 연구의 수, 무엇보다 그 분야에서 검증되는 관계들 중 참인 것의 비율에 달려 있다는 틀이다. 연구가 작을수록, 효과 크기가 작을수록, 검정되는 관계가 많고 사전 선별이 적을수록, 설계·정의·결과·분석 방식의 유연성이 클수록, 이해관계가 클수록 그 확률은 낮아진다. 그리고 이 에세이는 시뮬레이션으로 대부분의 설계와 상황에서 연구 주장이 참이기보다 거짓일 가능성이 크다는 결론에 이른다 (PMID 16060722). 뒤에 나올 반박들이 겨누는 것이 바로 이 문장이다.
저 목록의 "유연성"을 줄이려고 나온 관행이 다섯 번째 용어, 사전등록이다. 자료를 보기 전에 무엇을 어떻게 재고 분석할지를 공개된 곳에 미리 적어 두는 것 — 적어 두고 나면 결과를 본 뒤에 분석을 고르기가 어려워진다.
그런데 여기서 멈추면 안 된다. 저 논문은 시작이지 결론이 아니다. 같은 저자는 이후 "어떻게 하면 더 많은 출판 연구를 참되게 만들 것인가"로 주제를 옮겼다 (PMID 25334033). 그리고 출판된 논문 중 거짓 발견이 몇 퍼센트인지 계산해 보려는 시도에는 정면 반박이 나왔다 — 표집·계산·결론 세 층위 모두가 결함이라는 것이다. 논거가 이 글의 주제와 맞닿아 있다. 논문 초록에 실린 p값은 심하게 왜곡된 선택 표본이고, 선택적 보고 말고도 없는 효과를 있다고 하게 만드는 원인이 여럿 있는데 — 특히 관찰연구에서 재지 않은 다른 원인이 결과를 흔드는 일이 그렇다 — 그런 계산은 그것들을 무시한다는 것이다 (PMID 24068251).
그리고 반대 진영이 있다. 의학 허무주의를 정면으로 반박한 논문은 "대부분의 출판 연구 결과가 거짓"이라는 명제와 그 뒤의 허무주의 논의가 사실의 본성에 대한 지지 불가능한 설명 위에 서 있다고 주장한다. 어떤 지식도 틀릴 수 있다는 것, 그리고 지식이 여러 사람의 검증을 거치며 자리를 잡아 간다는 것을 제대로 셈에 넣으면, 애초에 왜 한 편의 정량 연구가 반박 불가능하게 참일 것이라 기대하느냐는 질문이 먼저 나온다는 것이다. 저자들은 앞의 논문이 지적한 연구 체제의 결함에 동의하고 시정을 촉구하면서도, 허무주의가 현재 연구 상태의 자연스러운 귀결은 아니라고 결론짓는다 (PMID 33218468).
그러니 이 절의 교훈은 "논문을 믿지 마라"가 아니라 하나의 p값은 하나의 표를 던진 것이라는 쪽이다.
① 문턱을 없앨 것인가. 이 글이 답하지 못하는 질문이다. 없애자는 쪽(PMID 28698825, PMID 41748420)과 남기자는 쪽(PMID 32157489)의 논거를 앞에서 나란히 놓았고, 그 사이에 축을 더하거나(PMID 41480455) 결정 규칙을 다시 짜는(PMID 30222466) 제안이 있다. 어느 쪽도 아직 이기지 않았다.
② 새 도구도 오해된다. 취약성 지수가 그 실례다. 사람이 감각할 수 있는 단위로 번역하려고 만든 지표가 "이 비교를 하지 말라"는 방법론 논문 두 편을 낳았다 (PMID 42605132, PMID 38777001). 도구를 바꾸면 해결되는 문제가 아닐 수 있다는 뜻이고, 지금 손에 있는 것은 판정이 아니라 보조 눈금뿐이다.
논문에서 "유의한 차이가 있었다"를 만났을 때 물어볼 것은 세 가지다.
하나만 남긴다면 — 0.05는 자연이 정한 선이 아니라 사람들이 합의한 선이고, 그 선을 넘었다는 사실은 그 결과가 몇 건의 사건 위에 서 있는지와 함께 읽어야 뜻이 통한다. 취약성 지수는 그 "몇 건"을 세는 한 방법일 뿐 판정은 아니다.