연구자 자유도와 p-해킹 — 조작 없이도 원하는 결과가 나오는 법
이 개념이 답하는 질문
연구 부정이라고 하면 대개 같은 그림이 떠오른다. 없는 데이터를 지어내거나, 숫자를 고치거나, 남의 글을 베끼는 것. 그런데 "어떤 관행에 관여해 봤느냐"고 연구자에게 물은 설문들을 모아 분류하고 순위를 매긴 최근 연구는 정반대 순서의 목록을 내놓는다. 가장 흔하게 보고된 항목은 분석을 고르는 것, 인용을 고르는 것, 공변량을 고르는 것이었고 조작·날조·표절은 가장 드문 축이었다. 저자들은 정보를 더하거나 바꾸는 행위보다 빼는 행위가 훨씬 자주 보고된다는 점도 짚었다 (PMID 41963575).
빼는 행위. 이것이 이 글의 주제다. 저 목록의 어느 항목도 그 자체로는 규칙 위반이 아니다. 이상치를 제거하는 것도, 공변량을 통제하는 것도, 표본을 조금 더 모으는 것도 정당한 판단이고 교과서가 권장하기까지 한다. 다만 이 판단들이 결과를 곁눈질하며 내려지면 다른 일이 벌어진다.
2011년 논문 한 편이 이 문제에 이름을 붙였다. 저자들은 심리학자들이 명목상 위양성률 5% 이하를 지지하면서도 자료 수집·분석·보고의 유연성이 실제 위양성률을 극적으로 끌어올린다는 것을 시뮬레이션과 실험 두 건으로 보였다. 논문의 표현대로라면 많은 경우 연구자는 없는 효과를 있다고 잘못 판정할 확률이 없다는 것을 옳게 판정할 확률보다 높다 (PMID 22006061). 이 유연성의 원천에 붙은 이름이 연구자 자유도(researcher degrees of freedom)다.
얼마나 흔한가. 심리학자 2,000여 명에게 진실 보고 유인을 걸어 물은 조사는 관여율이 놀라울 만큼 높으며 일부 관행은 사실상 연구계의 표준 규범일 수 있다고 결론지었다 (PMID 22508865). 네덜란드 전 분야 6,813명 조사에서는 51.3%가 최소 한 가지 문제적 관행에 자주 관여한다고 답한 반면, 날조는 4.3%, 변조는 4.2%였다 (PMID 35171921). 자릿수가 다르다. 문제의 무게중심은 사기꾼이 아니라 재량에 있다.
자유도는 어디에 있나
한 개관 논문은 가설 수립부터 설계·실행·분석·보고까지 연구자가 쥔 자유도를 34개로 정리했다 (PMID 27933012). 몇 개만 열어 보자.
이상치. 반응시간 연구에서는 여러 처리법이 나란히 표준으로 통용되는데, 시뮬레이션은 무엇을 고르느냐에 따라 p값이 부풀고 신뢰구간과 효과크기가 왜곡됨을 보였다. 베이즈 추정과 꼬리 두꺼운 분포를 쓰면 이상치 처리가 아예 필요 없어지지만, 논문은 그 대가로 또 다른 유연성이 열린다고 덧붙인다 (PMID 37691812).
제외 기준. 공포조건화 연구에서는 '학습하지 않은 사람'과 '반응하지 않은 사람'을 빼는 것이 관행인데 정작 이들의 정의에 합의가 없다. 저자들은 제외 기준의 이질성을 문헌검색으로 확인한 뒤, 기존 데이터를 재분석해 정의를 바꾸면 결론이 어떻게 달라지는지 보였다 (PMID 31841112).
공변량. 구조 뇌영상 2년치에서 한 모델의 공변량 수는 0개부터 14개까지였고 68개 모델에 37가지 조합이 쓰였다. 공개 데이터로 검증해 보니 어떤 조합은 결과를 거의 바꾸지 않았고 어떤 조합은 양상 자체를 뒤집었다 (PMID 31568872).
전처리. ERP의 N400 데이터 하나에 문헌에 실제로 존재하는 14개 파이프라인을 적용하자, 필터 차단주파수·잡파 제거법·기저선 길이·기준전극·측정 시점과 위치·진폭 측정 방식이 모두 결과에 영향을 줬다. 영향이 없던 것은 저역통과 필터 하나뿐이었다 (PMID 38961523).
연구자가 아무것도 고르지 않은 자리에도 자유도가 있다. 같은 비모수 검정을 SPSS·SAS·Stata·R에서 돌린 연구는 2×2 카이제곱에서 패키지 간 p값 차이가 .005에서 .162까지 벌어질 수 있다고 보고했다 (PMID 35953660). 그리고 마지막에 보고 단계가 있다. 결과를 본 뒤 만든 가설을 처음부터 가지고 있던 것처럼 쓰는 관행에는 1998년에 이미 HARKing이라는 이름이 붙었다 (PMID 15647155).
왜 합리적인 선택들이 합치면 위양성이 되나
작동 원리는 다중검정이다. 자유도가 여럿이고 각각이 몇 가지 값을 가지면 수행 가능한 분석의 수는 곱으로 불어난다. 그중 가장 잘 나온 하나만 보고하면서 유의수준은 .05를 그대로 쓰면 실제 위양성률은 .05가 아니다. 결정적인 것은 그 분석들을 실제로 다 돌려 볼 필요조차 없다는 점이다. 데이터를 보고 "이 경우엔 이렇게 하는 게 맞겠다"고 판단하는 것만으로도, 다른 데이터가 왔다면 다른 판단을 했으리라는 의미에서 그 분석은 이미 여럿 중 하나다.
음성학의 자유도를 다룬 프리프린트(동료심사 전)는 1종 오류 시뮬레이션으로 이 팽창을 직접 보였다 (DOI: 10.31234/osf.io/fp4jr). 지층의 주기성을 다루는 순환층서학을 겨냥한 프리프린트(동료심사 전)는 이 분야의 통계적 주기 탐지 성공률이 100%에 가깝다는 사실 자체를 확증 편향의 징후로 지목했다 — 데이터를 본 뒤 내리는 선택 하나하나가 곧 가지 않은 길의 존재를 함축한다는 것이다 (DOI: 10.1002/essoar.10500564.1). p값을 유의하게 만드는 전략을 12가지로 추려 시뮬레이션한 연구는 전략마다 위양성률에 미치는 영향이 달라 대책도 전략별이어야 한다고 결론지었다 (PMID 36778954).
밖에서 재는 법 ① 같은 데이터를 여러 팀에게
가장 직접적인 증거는 같은 데이터와 같은 가설을 여러 팀에 주고 관찰하는 것이다. 연구자 161명을 73개 팀으로 묶어 "이민이 늘면 사회정책 지지가 줄어드는가"를 검증하게 한 연구에서 팀들은 수치도 결론도 크게 갈렸다. 곤란한 대목은 그다음이다. 전문성도 사전 신념도 기대도 이 분산을 거의 예측하지 못했고, 식별 가능한 모든 결정을 코딩해 넣은 뒤에도 분산의 95% 이상이 설명되지 않은 채 남았다. 저자들은 이를 단일 연구를 볼 때는 보이지 않는 "숨은 불확실성의 우주"라고 불렀다 (PMID 36306328). 등록 반복 연구 데이터로 "사전등록이 없어 유의성에 따라 선택적으로 보고될 수 있었다면"을 재구성한 연구는, 294개 연구의 멀티버스에 보통 수천 개의 결과가 있었음에도 가설 방향으로 유의한 효과가 나온 것은 약 30%의 연구뿐이었다고 보고했다 (PMID 37166859).
밖에서 재는 법 ② 멀티버스와 명세곡선
한 논문의 결과가 특정 선택 조합 위에만 서 있는지 보려면 정당화 가능한 조합을 모두 돌려 보면 된다. 명세곡선 분석(specification curve analysis)은 이를 세 단계로 정식화한다 — 타당하고 중복되지 않는 명세를 모두 식별하고, 결과를 그래프로 펼쳐 어떤 결정이 결정적이었는지 독자가 보게 하고, 전체에 걸친 결합 추론을 수행한다 (PMID 32719546).
붉은 고기와 전체 사망률에 적용한 연구는 문헌에서 70가지 분석 방법을 뽑아 1,208개 명세를 돌렸다. 435개(36.0%)가 위험비 1 이상, 773개(64.0%)가 1 미만이었고, 유의한 것은 48개(3.97%)였는데 그중 40개는 붉은 고기가 사망률을 낮춘다고, 8개는 높인다고 가리켰다 (PMID 38354868). 불안과 공포학습을 피부전기활동으로 잰 문헌에 1,240개 분석을 적용했을 때는 이론과 부합하는 유의 효과가 1.45%에서만 나왔다 (PMID 39142133). 메타분석 자체도 대상이 된다. 옥시토신 투여 연구 185편의 효과크기 530개로 256개 메타분석을 돌리자 요약 효과크기가 d = -0.16에서 1.45까지 흩어졌다 — 다만 같은 논문은 그 90% 이상이 영효과를 가정한 부트스트랩 범위를 넘어섰다는 점도 보고했다 (PMID 40848964).
만능은 아니다. 멀티버스를 짜는 일 자체가 무거워 어떤 선택지를 왜 정당한 대안으로 인정했는지 기록이 빠지기 쉽고, 이를 표준화하려는 등록 도구가 나와 있다 (PMID 41164340). 해석에도 결이 필요하다. 스마트폰 사용 로그로 16,128개 명세를 돌린 작업논문(동료심사 전)은 사용 시간의 절대값이 최대 세 배 가까이 달라졌지만 참가자들 사이의 순위는 안정적이었다고 보고했다 (DOI: 10.2139/ssrn.7008242). 흔들리는 양과 흔들리지 않는 양을 구분해야 한다.
밖에서 재는 법 ③ p-curve
개별 논문이 아니라 문헌 전체를 검사하는 도구도 있다. p-curve는 유의한 p값들의 분포 모양을 본다. 참인 효과는 오른쪽으로 기운 분포를 만든다 — .04대보다 .01대가 많다. 따라서 오른쪽으로 기운 p-curve만이 증거가치가 있다고 볼 수 있고, 그렇지 않으면 선택적 보고를 유일한 설명으로 배제할 수 없다 (PMID 23855496). 활성 물질 분자가 단 하나도 들어 있지 않을 가능성이 큰 초고희석 동종요법 제제, 그 위약대조 시험들에 걸어 보았을 때 p-curve는 증거가치를 정확히 기각했다 (PMID 30697492). 운동피질 자극으로 체화된 언어 이해를 검증한 43편에서는 실제 효과를 탐구한다고 단언할 수 없으며 추정 검정력이 30% 미만이라는 결과가 나왔다 (PMID 36037977).
그런데 이 도구 자체가 논쟁 중이다. 텍스트마이닝으로 긁어모은 이질적인 p값 집합에는 적용할 수 없고, 여러 종속변수 중 유의한 것만 보고하는 형태의 p-해킹은 아예 놓친다는 비판이 있다 — 이 경우 .05 바로 아래의 '혹'이 생기지 않으므로 혹이 없다는 것이 p-해킹이 없다는 뜻은 아니다 (PMID 26925335). 파워포즈와 HPA 반응성 논쟁에 적용한 재분석은 어떤 p값을 골라 넣느냐에 따라 결론이 재현되지 않는다며 사용 중단을 권고했다 (PMID 38990830). 반대편에는 관찰연구에서도 재현 가능한 발견을 구분해 낸다는 반론이 있다 (PMID 30856227).
문헌 전체를 훑은 결과들도 엇갈린다. 텍스트마이닝으로 과학 전반을 조사한 연구는 p-해킹이 널리 퍼져 있지만 그 효과는 실제 효과크기에 비해 약해서 메타분석의 합의를 크게 바꾸지는 않는 듯하다고 결론지었다 (PMID 25768323). 영상의학 저널 100여 종의 초록 96만여 편에서는 p값이 .05 바로 아래 몰리는 현상이 아예 발견되지 않았고 (PMID 36412994), 역학 저널 4종의 초록 21,332편에서 .05 직하 비중이 2000년 이후 줄어든 것은 사실이지만 저자들은 이를 p-해킹 감소가 아니라 검정력 증가로 설명하는 편이 자료에 더 맞는다고 보았다 (PMID 40838582).
정리하면, 자유도가 존재한다는 것과 그것이 실제 문헌을 얼마나 오염시켰는지는 다른 질문이고, 두 번째 질문은 아직 답이 갈린다.
앞에서 막는 법 — 사전등록과 등록보고서
사전등록은 연구 질문과 분석 계획을 결과를 알기 전에 공개 등록소에 못 박는 것이다. 기존 관찰로 가설을 만드는 일과 새 관찰로 가설을 검증하는 일은 개념적으로는 구분되지만 실무에서는 잘 지켜지지 않고, 사후판단 편향 탓에 당사자도 그 차이를 잘 느끼지 못한다 (PMID 29531091). 기능은 둘이다 — 결과를 알기 전에 결정을 내리게 해 편향을 줄이고, 남들이 그 위험을 평가하도록 투명성을 높인다 (PMID 36707644). 등록보고서는 서론·방법·분석계획을 결과가 나오기 전에 동료심사에 부치고 원칙적 게재 승인을 받는 형식이다 (PMID 39052343).
그럼 실제로 무엇이 바뀌었나. 정직하게 말하면 결과는 엇갈린다.
사전등록 배지·상을 받은 심리학 연구 193편과 짝지은 비사전등록 193편을 비교한 연구는, 사전등록 쪽이 양성 결과 비율이 낮지도 효과크기가 작지도 통계 오류가 적지도 않다는 것을 발견했다 — 저자들의 사전 기대와 어긋나는 결과였다. 다만 검정력 분석을 더 자주 했고 표본이 더 컸다 (PMID 37950113). 사전등록 300건과 대응 논문을 대조한 연구가 이유의 일부를 보여 준다. 사전등록에는 방법적 세부가 자주 빠져 그것만으로 연구를 수행할 수 없는 경우가 많았고, 계획 이탈을 밝히지 않는 일이 잦았으며, 불일치는 주로 자료수집 절차·통계 모형·제외 기준에 몰려 있었다 (PMID 39388105).
양식이 얼마나 촘촘하냐는 실제로 차이를 만든다. 구조화된 정량연구 템플릿으로 쓴 사전등록 103건과 일반 OSF 양식 52건을 비교한 등록보고서(2단계, 동료심사 완료)는 전자의 구속력이 유의하게 높았고 동료심사를 거친 사전등록이 더 높았다고 보고했다. 그럼에도 대응 논문 19편 중 73.68%에 미신고 이탈이 있었다 (DOI: 10.1177/25152459261432216). 임상 쪽 감사는 더 나쁘다. 등록보고서로 식별된 무작위대조시험 93편 중 79편(84.9%)이 첫 환자 등록 이후에 프로토콜을 공개했고, 44%에서 주요 결과변수가 바뀌었는데 그 변경을 언급한 것은 그중 33%뿐이었다 (PMID 37245701). 형식의 이름을 달았다고 형식의 내용이 지켜지는 것은 아니다. 한 심리학 저널 문헌 전체에 z-curve를 적용한 프리프린트(동료심사 전)는 위양성 위험을 15%(95% CI 6~32%)로 추정하면서, 그 감소가 주로 표본과 검정력 증가에서 왔고 사전등록의 효과는 작았다고 보고했다 (DOI: 10.31234/osf.io/6ybeu_v2).
비판도 있다. 유용한 도구가 좋은 과학의 지표로 굳으면 그 지표를 얻는 것 자체가 목표가 되어 도구가 왜곡된다는 캠벨의 법칙을 사전등록 배지에 적용한 논평은, 배지를 노린 논문들이 이미 규칙과 취지를 어기고 있다고 지적하며 "결과를 안 뒤에 사전등록하기"라는 새 관행을 경고했다 (PMID 38783515). 반대편에서는 사전등록 비판 대부분이 개념 혼동이거나 실증 근거가 없다는 반론이 나와 있다(동료심사 전 프리프린트) (DOI: 10.31234/osf.io/dqap7).
정직한 미해결
자유도는 없앨 수 없다. 탐색적 분석 자체는 나쁘지 않다. 문제는 탐색을 확증인 것처럼 제시하는 데 있고, 무엇이 적절한지는 의도와 투명성에 달려 있다 (PMID 34780242). 가정 위반에 강한 추정법으로 갈아타도 어떤 방법을 언제 쓸지가 다시 자유도가 되므로, 민감도 분석까지 사전등록하자는 제안이 나온다 (PMID 41048396).
반복 검증 쪽에도 같은 자유도가 있다. 반복 실험자의 유연성이 엄격한 기준을 지키는 것처럼 보이면서도 "재현 실패"를 만들어 낼 수 있으며, 이 문제는 사전등록으로 충분히 해결되지 않는다는 지적이 있다 (PMID 31767750).
사람이 아니라 구조. 연구자 3,050명 조사에서 출판 압력(β = 0.12)과 명성·자존 동기는 문제적 관행 관여와 양의 연관을, 과학 규범에 대한 헌신과 이론을 반증하려는 동기는 음의 연관을 보였다 (PMID 42469920). 계약 형태와 경력 단계가 예측 변수이고 기관·국가 간 분산은 미미하다는 다수준 분석도 있다 (PMID 39397013).
논문에서 확인할 다섯 가지
- 분석 계획이 데이터 이전에 등록됐는가, 그리고 등록본과 논문이 실제로 일치하는가. 등록 여부보다 일치 여부가 정보를 준다 (PMID 39388105, DOI: 10.1177/25152459261432216).
- 제외 기준·이상치 처리·공변량 선택이 명시돼 있는가. 자유도가 가장 크게 벌어지는 세 자리다 (PMID 31841112, PMID 37691812, PMID 31568872).
- 결과가 명세 선택에 얼마나 민감한가. 민감도 분석이나 멀티버스가 붙어 있고, 흔들리는 양과 안 흔들리는 양을 구분해 놓았으면 좋은 신호다 (PMID 32719546, DOI: 10.2139/ssrn.7008242).
- 보고된 결과가 잰 것의 전부인가, 고른 것인가. 가장 흔한 문제적 관행은 더하기가 아니라 빼기다 (PMID 41963575).
- 가설이 데이터 이전의 것인가. 사후 가설이 사전 가설로 둔갑하면 나머지 절차가 다 무의미해진다 (PMID 15647155).
이 문제의 불편한 점은 나쁜 사람을 골라내는 문제가 아니라는 데 있다. 앞의 어느 항목도 그 자체로는 부정이 아니고, 대부분은 성실한 연구자가 데이터를 보며 내린 최선의 판단이다. 73개 팀 연구에서 전문성도 사전 신념도 결과의 분산을 예측하지 못했다는 사실은, 이것이 동기의 문제이기 이전에 자유도의 문제라는 뜻이기도 하다. 그래서 처방도 사람을 거르는 쪽이 아니라 선택을 언제 하느냐를 바꾸는 쪽 — 결과를 보기 전으로 옮기거나, 전부 다 돌려 펼쳐 보이거나 — 에 놓여 있다. 어느 쪽도 아직 완전하지 않다는 것까지가 지금의 정직한 상태다.
근거 논문
- "Questionable Research Practices: A Principled Classification and Ranking Based on Survey Data" (2026) — PMID 41963575 — 설문 정의를 체계적으로 모아 분류·순위화. 가장 흔한 항목은 분석·인용·공변량 선택, 가장 드문 축이 조작·날조·표절. 정보의 '빼기'가 '더하기·바꾸기'보다 흔함.
- "False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant" (2011) — PMID 22006061 — 연구자 자유도 개념의 출발점. 시뮬레이션과 실제 실험 2건, 저자용 6요건·심사자용 4지침 제안.
- "Measuring the prevalence of questionable research practices with incentives for truth telling" (2012) — PMID 22508865 — 심리학자 2,000명 이상, 진실 보고 유인 결합. 일부 관행이 사실상 표준 규범일 가능성.
- "Prevalence of questionable research practices, research misconduct and their potential explanatory factors" (2022) — PMID 35171921 — 네덜란드 연구자 6,813명. 51.3%가 최소 한 가지 관행에 자주 관여, 날조 4.3%·변조 4.2%, 출판 압력 OR 1.22.
- "Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking" (2016) — PMID 27933012 — 전 과정의 자유도 34개 목록. 교육·사전등록 품질 평가용 체크리스트.
- "The hazards of dealing with response time outliers" (2023) — PMID 37691812 — 이상치 처리법 선택이 p값을 부풀리고 신뢰구간·효과크기를 왜곡. 대안(베이즈·두꺼운 꼬리)도 또 다른 유연성을 연다.
- "Navigating the garden of forking paths for data exclusions in fear conditioning research" (2019) — PMID 31841112 — 비학습자·무반응자 제외 기준의 이질성과 재분석 사례. 합의 기준 제안.
- "The quandary of covarying" (2020) — PMID 31568872 — 구조 뇌영상 2년치에서 공변량 0~14개, 68개 모델에 37가지 조합. 공개 데이터 검증에서 조합에 따라 결과 양상이 뒤집힘.
- "Researcher degrees of freedom in statistical software contribute to unreliable results" (2023) — PMID 35953660 — SPSS·SAS·Stata·R 비교. 2×2 카이제곱에서 패키지 간 p값 차 .005~.162.
- "Garden of forking paths in ERP research" (2024) — PMID 38961523 — 문헌 기반 14개 파이프라인을 같은 N400 데이터에 적용. 저역통과 필터만 결과에 영향을 주지 않음.
