사라지는 효과 — 교과서에 실렸던 발견들은 왜 다시 재면 작아지는가
왜 이 논쟁인가
2015년 재현성 프로젝트에서 가장 많이 인용된 숫자는 "100편 중 36편만 유의했다"였다. 같은 논문에는 덜 인용되지만 더 무거운 문장이 하나 더 있다. 재현 효과크기가 원 효과크기의 절반이었다 (PMID 26315443). 유의성은 문턱을 넘었느냐의 문제지만, 절반은 크기의 문제다.
시리즈의 첫 편이 그 사건을, 세 번째 편이 분석 재량 문제를 다뤘으므로 이 편은 다음을 묻는다. 다시 쟀더니 나오긴 나오는데 훨씬 작다면, 그건 무슨 뜻인가.
자아고갈, 성장 마인드셋, 암묵편향 검사. 교과서와 공항 서점 베스트셀러에 함께 실렸던 발견들이 재검증을 거치며 나란히 작아졌다. 가장 쉬운 해석은 "원저자가 틀렸다"다. 이 글은 그 해석을 쓰지 않는다. 축소를 만드는 것은 대체로 사람이 아니라 기계장치이고, 그 기계는 정직한 연구자에게도 똑같이 작동한다.
통념, 그리고 그 반대편의 통념
두 통념이 대칭으로 마주 본다. 하나는 재현 실패가 원 발견의 거짓을 뜻한다는 것. 다른 하나는 조건이 달라서 생긴 일일 뿐이며 숨은 조절변수를 찾으면 된다는 것. 둘 다 편리하고, 둘 다 세 번째 답을 지운다 — 원 효과크기가 애초에 참값이 아니었을 가능성이다. 그것은 문턱을 넘었기 때문에 우리 눈에 보이게 된 값이고, 문턱을 넘어야 보이는 세계에서 처음 보이는 값은 체계적으로 크다.
기계장치 — 검정력, 승자의 저주, 문턱
① 검정력이 낮다. 200개 연구 영역의 효과크기 12,065개를 훑은 조사는 중위 검정력을 약 36%로 잡았고, 80%를 넘는 연구는 8%뿐이었다 (PMID 30321017). 신경과학은 21% (PMID 23571845, PMID 28706080), 코크런 임상시험 23,551건으로 재구성한 중위 달성 검정력은 13%다 (PMID 34425632).
② 낮은 검정력은 실패만 낳지 않는다. 과장을 낳는다. 검정력이 낮으면 참인 효과를 놓치는 일이 잦아지는 건 당연하다. 덜 당연한 건, 그 와중에 운 좋게 유의해진 연구의 추정치는 참값보다 클 수밖에 없다는 것이다. 작은 표본에서 문턱을 넘으려면 우연이 같은 방향으로 크게 도와야 하기 때문이다.
유전학이 이 현상에 승자의 저주라는 이름을 붙였다. 초기 연구가 보고한 효과는 후속 연구보다 체계적으로 과장돼 있고, 그 과장 탓에 후속 연구가 저검정력으로 설계돼 실패한다 (PMID 19140131, PMID 18703928). 얼마나 정확한 기계인지도 확인됐다. 유전체 연관 연구 중 표본을 좌위별로 정확히 보고한 39건·707좌위에서, 승자의 저주를 보정해 예측한 재현 수는 458개, 실제 재현은 457개였다 (PMID 28715421). 임상시험 언어로는 과장비다. 5% 수준에서 겨우 유의한 추정치는 참값을 평균 1.7배 과대추정한다 (PMID 34425632).
③ 문턱은 유의성만이 아니다. 예측변수 네 개와 그 이원 상호작용으로 회귀 모형을 시작해 비유의 항을 지워 나가면, 모든 귀무가설이 참이어도 최소 하나가 유의할 확률이 40%다 (PMID 21297852). 연구자는 복셀뿐 아니라 자극·과제 설정·종속변수까지 효과가 가장 잘 보이는 쪽으로 고르고 (PMID 26162135), 보건경제 문헌에서는 영향력이 높은 학술지일수록 더 큰 추정치를 실었다 (PMID 23182564).
④ 출판편향은 그 위에 얹힌다. 메타분석 68,000여 건을 훑은 조사에서 선택편향 보정 후 중위 효과크기는 심리학 d 0.37→0.26, 경제학 0.20→0.07, 의학 0.24→0.13으로 내려갔다 (PMID 38327122). 게다가 유의성을 모으는 게 게임의 규칙이라면, 작은 표본 여러 개를 굴리는 편이 큰 표본 하나보다 효율적인 전략이라는 시뮬레이션도 있다 (PMID 26168111). 조기 종료된 임상시험의 참 상대위험감소가 관측값의 3분의 2였다는 결과도 같은 계열이다 (PMID 36064448).
이 톱니 중 어느 것도 부정직을 요구하지 않는다.
성적표 ① 자아고갈 — 거의 0
2010년 메타분석은 83편을 묶어 자아고갈 효과가 유의하다고 보고했고, 저자들 스스로 결과가 강도 모형에 "예비적 지지"를 준다고 적었다 (PMID 20565167). 이 모델은 곧 교양서로 넘어갔다. 그다음이 문제였다.
23개 실험실의 사전등록 재현(N=2,141)에서 d = 0.04, 95% CI [−0.07, 0.15]로 0을 포함했다 (PMID 27474142). 다른 과제 조합의 12랩 재현(N=1,775)은 d = 0.10, 배제 기준을 적용하면 0.16이었다 (PMID 34113424). 36랩 다중현장 검증(N=3,531)의 확증 분석은 d = 0.06 비유의였고, 베이즈 분석은 데이터가 대립가설보다 귀무가설에서 4배 더 그럴듯하다고 판정했다 (PMID 34520296).
하위 가설은 더 나빴다. 혈당 모형의 세 따름명제는 메타분석에서 하나도 지지되지 않았고 (PMID 27492453), p-곡선은 증거가치가 약하다고 판정했으며 (PMID 27485134), 직접 재현도 실패했다 (PMID 24389240). 의지력 신념이 고갈을 조절한다는 가설(원 표본 60명)도 187명 재현에서 살아남지 못했다 (PMID 37384732).
반론도 실어야 공정하다. 한 재-메타분석은 앞선 메타분석의 편향 보정 기법 적용이 부적절했다며 효과를 다시 쟀다 (PMID 28391367). 다만 세 프로토콜·840명 연구는 베이즈 분석에서 귀무가설을 강하게 지지했고 (PMID 29314092), 이 분야 연구자 277명 익명 설문에서는 37.7%가 문제적 연구 관행을 스스로 사용했다고 답했다 (PMID 29940020).
인접 문헌도 같은 경로를 밟았다. 인지적 소모가 신체 수행을 떨어뜨린다는 73편·2,581명 메타분석의 g = −0.38은 (PMID 31873926), 편향 보정 후 대부분의 방법에서 무시할 수준이 됐다 (PMID 37682411).
성적표 ② 성장 마인드셋 — 작고 조건부
미국의 전국 대표 표본 실험은 한 시간도 안 되는 온라인 개입이 저성취 학생의 성적을 올리고 상급 수학 과목 등록을 늘렸다고 보고했다. 다만 또래 규범이 개입 메시지와 맞는 학교에서만 성적이 바뀌었고 (PMID 31391586), 그 향상 폭은 GPA 0.10점이었다 (PMID 31494041).
2023년 메타분석은 53개 독립 표본을 묶어, 효과가 기대되는 하위표본과 높은 실행 충실도라는 조건에서 학업 성취 d = 0.14 (95% CI [.06, .22]), 정신건강 d = 0.32를 보고했다. 학업 성취의 예측구간은 −0.08에서 0.35였다 (PMID 36227318).
교사가 직접 전달한 개입은 더 컸다. 6~7학년 1,996명 시험에서 성적이 위태로운 학생이 0.27 표준편차 올랐고 (PMID 35699476), 그 효과는 학생이 어떤 교사를 만났느냐에 달려 있었다 (PMID 34936529, PMID 39073263). 반면 보건계열 학생 대상 메타분석에서 통합 효과는 SMD 0.25, 95% CI [−0.18, 0.68]로 0을 포함했다 (PMID 38600797).
원 발견자 쪽 서술도 마인드셋 연구가 현장 실험과 재현 과학의 시대로 넘어갔음을 인정한다 (PMID 30707853). 문제는 문헌 전체의 습관 쪽이다. 두 주요 교육학 학술지의 최근 5년 메타분석에서 출판편향 보정은 대체로 생략됐다 (PMID 34081730). 상관 연구가 내놓는 큰 숫자와 개입 효과의 크기는 다른 축이다 (PMID 39504841).
성적표 ③ 암묵편향 검사 — 0이 아니라 "무엇을 재는가"
2009년 메타분석은 122개 보고·14,900명에서 IAT의 평균 예측 상관을 r = .274로 잡았고, 흑백 상호작용 준거 32개 표본에서는 IAT가 자기보고보다 나았다고 보고했다 (PMID 19586237). 같은 해 다른 팀은 자주 인용되던 두 연구를 재분석해, IAT 점수를 넣어도 예측오차는 아주 조금만 줄고 개인 수준 행동은 예측되지 않는다고 적었다 (PMID 19449998).
2013년 메타분석에서 IAT는 뇌활동을 빼면 어떤 차별 준거 범주에서도 좋은 예측자가 아니었다 (PMID 23773046). 2016년 재분석은 준거 쪽을 뒤집었다 — 그 문헌에서 '차별'로 불린 결과 변수 상당수가 실제로는 뇌활동이나 투표 선호였고, 진짜 차별만 남기자 전체 효과는 0에 가까웠다 (PMID 27109866).
그다음이 흥미롭다. 2019년의 최대 메타분석은 217개 보고·36,071명을 묶었다(이전 메타분석은 3,471명과 5,433명이었다). 암묵 측정은 β = .14의 고유 기여를 보였는데, 이질성이 압도적이었다 — 방법론적 조건이 좋은 연구 13편의 평균 상관은 r = .37, 나쁜 연구 6편에서는 r = .02였다 (PMID 30550298). 20년을 총평한 리뷰는 예측력이 약하고 자기보고 위의 증분타당도는 무시할 만하다고 결론지었다 (PMID 31787912).
원 발견자 쪽 반론도 있다. 두 메타분석의 차이는 대부분 포함 정책의 차이였고, 어느 쪽 수치를 쓰든 사회적으로 유의미한 차별 영향을 설명하기에는 충분히 크다는 것이다 (PMID 25402677). 실제로 머리카락 질감이라는 표현형에 맞춘 IAT는 인종태도 IAT와 자기보고 위에서 법적 판단 지지를 증분 예측했다 (PMID 34487286). 반대 극단에는 다중방법 구조방정식에서 IAT가 암묵 구성개념을 잰다는 증거를 찾지 못했다는 주장이 있다 (PMID 33709849).
측정 신뢰도도 남는 문제다. 6~11세 519명 연구의 재검사 신뢰도는 .34~.48이었다 (PMID 29251966). 의료진·의대생 29개 연구 메타분석은 통합 IAT 점수를 0.28과 0.35로 잡으며 그 크기가 작다고 적는다 (PMID 34495481).
성적표 ④ — 사라진 것, 조건으로 살아난 것
- 교수 프라이밍: 사라졌다. '교수' 범주로 점화된 참가자가 상식 퀴즈에서 13% 더 잘했다던 결과는, 23개 실험실 등록 재현(N=4,493)에서 조건 간 차이 0.14%가 됐다 (PMID 29463182).
- 언어 은폐: 조건으로 살아남았다. 강도 얼굴을 말로 묘사하면 지목 정확도가 25% 떨어진다던 결과는, 사전등록 재현에서 묘사가 사건 직후일 때 4%, 20분 지연될 때 16%였다 (PMID 26186758).
- 표정 피드백: 부분 생존. 19개국 3,878명 다중랩에서 흉내내기와 자발적 표정 과제는 행복감을 증폭·유발했지만, 펜을 물게 하는 고전적 과제에서는 증거가 덜 결정적이었다 (PMID 36266452).
- 어린 시절 빈곤 × 사망 현저성: 통계적으로는 재현, 실질적으로는 증발. 원 연구의 14.2배 표본(1,010명 대 71명)에서 위험 감수 효과는 재현됐으나 η²가 0.17에서 0.004로 떨어졌다 (PMID 39666532).
- 그 밖에. 대리 부조화는 g = 0.41에서 보정 후 0.22가 됐고 (PMID 39126282), 사건부호화이론의 고전 현상 여섯 개는 다중랩에서 재현은 됐지만 효과크기가 상당히 작았다 (PMID 35978172).
축소가 곧 부재는 아니다
효과가 작아지는 것이 전부 편향은 아니다. 앞서 인용한 조사에서 심리학 메타분석의 이질성 중위값은 I² 74%인 반면 잔여 보고편향은 작았다 (PMID 30321017). 재현 실패의 상당 부분은 부정직이 아니라 변동 자체에서 온다. 이질성에도 종류가 있다. 70개 다중랩 재현과 5개 다중분석가 연구 등을 묶은 분석은 모집단 이질성은 작은 편이고 설계 이질성과 분석 이질성이 크다고 정리한다 (PMID 39078672). 실제로 유아 30명의 동공 데이터를 7개 팀에 나눠 준 연구에서 두 팀은 유의한 결과를 찾지 못했고 나머지 다섯 팀은 서로 다른 패턴을 보고했다 (PMID 37944367). 프로토콜 충실도를 흔든 시뮬레이션만으로도 다중랩 재현에서 관찰되는 통계적 패턴이 그대로 만들어진다 (PMID 35049324). 표준 검정력 공식은 연구 간 변동을 아예 계산에 넣지 않고 (PMID 26186112), 상호작용이나 측정오차가 걸리면 계산은 더 크게 어긋난다 (PMID 32208875).
그리고 축소는 보편 법칙이 아니다. 생태학 메타분석 466건에서 시간에 따른 진짜 방향성 변화는 약 5%뿐이었고, 겉보기 하락 대부분은 평균회귀로 설명됐다 (PMID 35302660). 출판편향의 지문으로 읽혀 온 '표본이 작을수록 효과가 크다'는 상관도 메타분석 150건과 다중재현 57건에서는 두드러지지 않았고 논문의 핵심 효과에서만 훨씬 컸다 (PMID 38359021).
정직한 미해결
참값을 모른다. 교정 방법마다 답이 다르다. 수축추정량은 불편추정량보다 나은 성능을 보였고 (PMID 34425632, PMID 38111969), 위계 베이즈 재보정의 조정 폭은 최대 0.97에 이르며 표본이 작을수록 컸다 (PMID 38179200). 게다가 재현 여부를 판정하는 검정 자체의 검정력이 낮다 (PMID 30070547).
축소와 부재를 가르는 원칙이 없다. 과학적 방법은 음성을 증명하지 못하며 통계만으로 심리 현상의 비존재를 선언할 수 없다는 반론이 있다 (PMID 28626435). 정당한 논증이지만 반증 불가능성으로 미끄러질 위험도 갖는다. 양쪽 다 적어 둔다.
개선되고 있는지도 애매하다. 12개 학술지 57,909편에서 중위 표본 크기는 105명에서 190명으로 늘었다. 그러나 논문당 유의한 p값의 비율은 69%로 그대로였고 다중검정 보정 사용은 오히려 줄었다 (PMID 37163505).
어떤 설계는 애초에 큰 효과를 낸다. 63개 연구·52,979명 분석에서 뇌 영역 대부분의 개인 간 효과는 |d| < 0.2이고 강한 효과조차 80% 검정력에 n > 500이 필요하지만, 다변량 분석과 개인 내 과제 설계는 n < 50에서도 잡힌다 (PMID 42281980, PMID 35296861). 어떤 축소는 현상이 아니라 설계의 선택을 반영한다.
의의 — "작아졌다"를 읽는 법
한 줄로 줄이면 이렇다. 축소는 스캔들이 아니라 예보다.
그래서 남길 것은 판정이 아니라 다섯 개의 질문이다. 처음 보고된 표본은 몇 명인가. 그 발견이 사전에 정해진 가설이었나, 아니면 여러 후보 중 문턱을 넘은 하나였나. 재현은 사전등록되고 다중랩이었나. 축소가 0으로 갔나, 조건으로 갔나 — 교수 프라이밍은 앞쪽, 언어 은폐는 뒤쪽이다. 저자가 교정된 추정치를 함께 보고했나.
개혁의 성과도 있다. 한 논평은 다중랩 재현 프로젝트가 목적을 달성했으니 다른 종류의 재현으로 넘어갈 때라고 적고 (PMID 31064594), 다른 논평은 세 종류의 결말을 나란히 제시한다 — 진짜 발견으로 판명된 것, 크게 줄어든 것, 논쟁 중인 것 (PMID 33682522). 이 세 갈래를 구분하는 일이 재현 논의의 실질이다.
마지막 톱니는 사람이다. 카너먼과 트버스키의 고전 실험을 학부생 대신 과학자에게 다시 돌린 연구는 본질적으로 같은 결과를 얻었다 — 우리는 데이터의 질과 무관하게 일관된 이야기를 만들려 하고, 없는 패턴을 찾으려 한다 (PMID 30197928). 그러니 "작아졌다"는 소식은 배신이 아니다. 그건 기본값이고, 우리는 이제 막 그 기본값을 계산에 넣는 법을 배우는 중이다.
근거 논문
- "Estimating the reproducibility of psychological science" (2015) — PMID 26315443 — 100편 재현. 재현 효과크기는 원 효과크기의 절반, 36%만 유의.
- "What meta-analyses reveal about the replicability of psychological research" (2018) — PMID 30321017 — 200개 메타분석·12,065 효과크기. 중위 검정력 36%, 이질성 중위 I² 74%, 잔여 보고편향은 작음.
- "Power failure: why small sample size undermines the reliability of neuroscience" (2013) — PMID 23571845 — 저검정력이 효과크기 과대추정과 낮은 재현성을 낳는다는 고전적 정리.
- "Power-up: A Reanalysis of 'Power Failure' in Neuroscience Using Mixture Modeling" (2017) — PMID 28706080 — 중위 검정력 21%는 단일 요약값으로 과대 일반화. 하위 분야 편차가 큼.
- "The statistical properties of RCTs and a proposal for shrinkage" (2021) — PMID 34425632 — 코크런 23,551쌍. 중위 달성 검정력 13%, 겨우 유의한 추정치의 과장비 1.7배.
- "Quantifying and correcting for the winner's curse in genetic association studies" (2009) — PMID 19140131 — 승자의 저주의 정식화. 과장은 검정력이 오를수록 줄어듦.
- "Curses--winner's and otherwise--in genetic epidemiology" (2008) — PMID 18703928 — 초기 보고 효과가 후속 연구보다 과장되는 현상과 과적합.
- "Statistical correction of the Winner's Curse explains replication variability" (2017) — PMID 28715421 — 좌위별 표본을 정확히 보고한 39건·707좌위에서 예측 458 대 실제 457.
- "Cryptic multiple hypotheses testing in linear models" (2011) — PMID 21297852 — 예측변수 4개+상호작용에서 시작한 모형 단순화는 귀무가설이 모두 참이어도 40% 확률로 유의 결과를 낳음.
- "Voodoo Correlations Are Everywhere-Not Only in Neuroscience" (2011) — PMID 26162135 — 복셀뿐 아니라 자극·과제·경계 조건·변수 선택 전반이 효과를 부풀림.
- "Publication selection in health policy research: the winner's curse hypothesis" (2013) — PMID 23182564 — 영향력 높은 학술지가 더 큰 탄력성 추정치를 실음.
