적대적 협업 — 반대 결론을 낸 두 사람이 함께 데이터를 다시 보는 법
이 방법이 답하는 질문
같은 현상을 두고 두 연구팀이 정반대 결론을 냈다고 하자. 그다음은 대개 정해져 있다. 한쪽이 반박문을 싣고, 다른 쪽이 재반박을 싣고, 각자 자기 설계로 자기 결과를 한 번 더 낸다. 몇 년이 지나도 두 진영은 서로를 만나지 못한다. 생태학·진화생물학에 이 방법을 소개한 논문은 그 상태를 "상대가 틀렸음을 증명하는 일이 객관적 평가를 밀어내는 점수 따기 모드"라고 불렀다 (PMID 41318247). 작업기억 연구에서도 경쟁하는 실험실이 함께 연구하는 일은 거의 없어 논쟁이 스스로를 영속시킨다는 진단이 나왔다 (PMID 37526243).
지난 십수 년간 과학이 스스로를 고치려 도입한 장치들 — 사전등록, 절차와 데이터 공개, 검정력 분석 — 은 대체로 신뢰성을 겨냥한다. 같은 절차를 다시 밟으면 같은 결과가 나오는가. 그런데 위 상황에서 무너진 것은 신뢰성이 아니라 타당성이다. 그 결과가 정말 그 주장을 뒷받침하는가. 행동과학의 한 개관은 타당성을 겨냥한 개혁이 거의 무시돼 왔다고 지적하며, 그 빈자리를 메울 방법으로 적대적 협업을 든다 (PMID 39146049).
적대적 협업(adversarial collaboration)의 정의는 단순하다. 반대되는 견해를 가진 연구자들이 함께 연구를 설계하고, 함께 분석하고, 함께 발표한다. 종종 중립적인 중재자를 둔다 (PMID 41489906).
어떻게 작동하나 — 결과를 보기 전에 합의한다
이 방법의 심장은 한 문장으로 줄어든다. 결과를 본 뒤에 해석을 다투는 대신, 결과를 보기 전에 "무엇이 나오면 누가 틀린 것인가"를 합의한다.
2001년 논문 한 편이 이 방식에 이름을 붙였다. 쟁점은 결합 오류(conjunction effect)였다. 헤르트비히는 확률 대신 빈도로 물으면 결합 오류가 사라진다고 주장했고, 사람들이 "은행원이면서 페미니스트"의 "그리고"를 합집합으로 읽어서 생긴 현상이라고 봤다. 그는 그 모호함을 없앨 두 표현을 제안했다. 카너먼은 한 표현에 대한 예측에는 동의하지 않았고, 다른 표현에 대해서는 동의했다. 멜러스가 중재자를 맡았다. 결과는 갈렸다 — 빈도 형식만으로는 결합 오류가 사라지지 않았지만, 채움 문항을 걷어내자 헤르트비히가 제안한 표현에서는 사라졌다. 두 사람은 결과에 서로 다른 해석을 붙였다. 그럼에도 논문은 이 방식이 반박·재반박보다 나은 이유를 논하고, 다른 연구자들이 쓸 프로토콜을 함께 제안했다 (DOI: 10.1111/1467-9280.00350).
왜 이렇게 하면 달라지는가. 예측을 데이터 이전에 못 박아 두면 "그건 원래 내 이론도 예측하던 바"라며 물러설 자리가 사라지기 때문이다. 이론이 무엇을 금지하는지가 먼저 확정된다.
실제 절차 — 다섯 개의 장치
① 쟁점을 문장으로 쪼갠다. 정신과 강제 치료가 정당화될 수 있는지를 다룬 한 이론적 적대적 협업은, 상반된 입장의 두 저자가 안내된 논변 교환을 거쳐 합의 가설, 이견 가설, "큰 틀에서는 합의하되 세부에서 갈리는" 가설을 각각 만들어 냈다. 그 과정에서 드러난 핵심은 두 진영이 애초에 다른 출발점에서 — 한쪽은 일반 논변에서, 다른 쪽은 개별 임상 사례에서 — 말하고 있었다는 사실이었다 (PMID 41297382). 때로는 용어가 먼저여서, 시각 주의분산 연구자들은 합의된 용어집을 만드는 일 자체를 적대적 협업으로 수행했다 (PMID 38177944).
② 결정적 검증을 함께 설계한다. 각 팀이 어떤 결과가 나오면 자기 모델이 다치는지를 미리 명시한다. 작업기억의 이중과제 비용을 다룬 협업에서는 세 대립 이론의 연구자들이 함께 네 개의 실험을 설계하고 각자의 차별적 예측을 제출했다 (PMID 30407025).
③ 사전등록하고, 결과와 무관하게 낸다. 수평 안구운동이 기억 인출을 돕는지를 두고 지지자와 회의론자가 붙은 협업은, 데이터 수집 전에 설계에 합의하고 각자의 기대를 적어 두었으며 결과가 어떻게 나오든 학술지에 투고하기로 약속했다. 협약문은 공개됐다 (PMID 25621378).
④ 실행은 중립 쪽에 맡긴다. 의식 이론 대결 실험의 프로토콜은 두 이론 제안자들이 상반된 예측을 함께 사전등록하되, 데이터는 이론적으로 중립인 여섯 개 실험실이 세 가지 측정법으로 수집하게 했고, 실험실 사이와 데이터셋 내부의 반복을 처음부터 설계에 심었다 (PMID 36763595). 규모가 작을 때는 팀 안에 "전문 회의주의자"를 심거나 복잡한 분석에 레드팀을 두는 것으로 대신하기도 한다 (PMID 42390454).
⑤ 함께 해석하고, 남은 이견을 적는다. 승패 판정이 아니라, 무엇이 합의됐고 무엇이 여전히 갈리는지를 같은 논문 안에 적는다.
이 다섯을 여러 해에 걸쳐 반복하면 확장형 적대적 협업이 된다. 작업기억을 두고 세 나라의 세 실험실이 사전등록된 예측·방법·분석 계획으로 공동 연구를 수행하며 각 연구를 두 실험실에서 동시에 반복했고 (PMID 32511059), 표정 되먹임 가설을 검증한 다국적 협업은 19개국 3,878명까지 규모를 키웠다 (PMID 36266452).
절차를 따라가 보기 — 소득과 행복
이 방법이 실제로 어떻게 굴러가는지 보려면, 두 저자가 이미 상반된 답을 출판해 놓은 사례가 좋다. 소득이 높아지면 사람은 더 행복해지는가. 한쪽은 전날에 대한 이분형 질문으로 물어 일정 지점 이후 평평해지는 패턴을 보고했고, 다른 쪽은 경험표집과 연속 척도로 물어 소득의 로그에 따라 꾸준히 오르는 패턴을 보고했다. (이 논쟁의 내용 자체는 같은 시리즈의 앞 편이 다뤘다. 여기서는 절차만 본다.)
두 사람이 한 일은 "누가 옳은가"를 가리는 것이 아니었다. 목표는 두 연구를 모두 설명하는 하나의 일관된 해석을 찾는 것이었다. 한쪽의 원자료를 함께 재분석해 평평해지는 패턴이 어떤 사람들에게서 나타나는지를 특정했다. 그리고 각자가 왜 상대의 패턴을 놓쳤는지를 함께 적었다 — 한쪽의 측정은 천장효과 탓에 행복의 정도를 구분하지 못했고, 종속변수에 붙인 이름이 실제로 잰 것과 어긋나 있었으며, 소득에 따라 행복 분포의 모양이 달라진다는 사실을 양쪽 다 예상하지 못했다. 논문은 이 실수들이 사회과학의 표준 관행에서 비롯된 것이며 더 자주 의심받아야 한다고 적었다 (PMID 36857342).
산출물이 "누가 옳았나"가 아니라 "왜 둘 다 그렇게 보였나"였다는 점이 핵심이다.
결과를 어떻게 읽나
승자는 잘 나오지 않는다. 13개 적대적 협업 프로젝트에 참여한 29명을 설문·면담한 조사에서, 가장 흔한 결과는 명확한 승자가 아니라 대립하는 관점의 통합을 통한 문제 공간의 더 깊은 이해였다 (PMID 41476612).
양쪽이 동시에 다칠 수 있다. 의식의 통합정보이론(IIT)과 전역 신경작업공간이론(GNWT)을 맞붙인 대결 실험은 참가자 256명에게 fMRI·MEG·두개내 뇌파를 동원했다. 결과는 두 이론의 일부 예측과 부합하면서도 동시에 양쪽의 핵심 주장을 크게 흔들었다 (PMID 40307561).
"조건부로 참"이 답일 때가 많다. 정확성을 환기하는 개입이 당파를 넘어 작동하는지를 다툰 협업은 21개 연구·27,828명을 멀티버스 메타분석으로 훑었다. 70개 모델 전부에서 공화당·보수 응답자에게도 공유 분별력이 개선됐지만, 당파에 따른 조절 효과는 명세 방식에 따라 절반의 모델에서만 나타났다 (PMID 38506937). 정치 이념과 신념 경직성을 다룬 협업(총 6,181명)의 제목은 이 성질을 그대로 요약한다 — "답은 질문에 달려 있다" (DOI: 10.1111/pops.70071). 같은 숫자에 낙관과 비관이 함께 붙기도 한다. 암묵적 인종태도 측정치가 차별 행동을 예측하는지를 다툰 협업은 백인 미국인 2,114명을 분석해 간접 측정이 자기보고를 넘어 설명하는 고유 분산은 약 2.5%, 자기보고 측정은 약 45%라고 보고하면서, 이 결과가 낙관적 해석과 비관적 해석 양쪽 모두에 열려 있다고 명시했다 (PMID 41770134).
신념이 갱신되었는지를 본다. 반증이라는 좁은 틀 대신 베이즈적 신념 갱신·모델 비교·증거 축적으로 재구성하자는 제안 (PMID 37738981), 여러 실험의 데이터를 통합해 각 이론이 받은 증거 지지를 하나의 정량 지표로 매기려는 시도 (PMID 42114729)가 그 방향이다. 다만 갱신은 잘 일어나지 않는다. AI가 21세기에 인류에게 실존적 위협이 되는지를 두고 주제 전문가와 예측 전문가를 붙인 협업에서 두 집단 모두 장기 위험 추정치를 바꾸지 않았고, 대신 2030년까지 판가름 날 조기경보 질문(crux)을 사전등록했다 (PMID 40180607). 반대로 소수자 현저성 논쟁에서는 언어모델로 경쟁 명제를 정리하고 설계 초안을 만든 뒤 사람이 다듬어 사전등록 실험 두 건을 수행했고, 결과를 본 뒤 양 진영의 확신이 수렴했다 (PMID 42190002).
어디까지 갔나
가장 눈에 띄는 무대는 의식 신경과학이다. 앞서 본 대결 실험 말고도 통합정보이론·신경표상주의·능동추론 세 이론을 나란히 놓은 검증 계획 (PMID 42114729)과 그 안의 개별 프로토콜 (PMID 41343515)이 진행 중이다. 그러나 전유물은 아니다. 정신의학은 강제 치료의 정당화 (PMID 41297382)와 조현병 스펙트럼 장애의 근긴장 분류 (PMID 37059654)에 썼고, 발달성 난독증 연구는 학제 협력이 어렵다면 최소한 이거라도 하자고 요청했다 (PMID 32155923). 과신이 하나의 특성인지 (PMID 41401360), 인지반영 검사가 수리 능력 이상을 재는지 (PMID 39602272), 수직선 추정 과제가 무엇을 반영하는지 (PMID 41428541) 같은 측정 논쟁도 단골이다. 사회심리에서는 친숙함이 호감을 키우는지 깎는지를 다투던 두 진영이 통합 모델을 냈고 (PMID 25910379), 일반화의 기제를 다룬 협업은 대립한다고 믿었던 두 설명이 둘 다 유효할 가능성이 높다는 결론에 도달했다 (PMID 36282996). 정치적으로 뜨거운 주제도 예외가 아니어서 학계 젠더 편향 (PMID 37098793), 연구의 정치적 색채와 재현성 (PMID 32812848), 이념 갈등과 편견 (DOI: 10.1177/1948550620904275), 부정하게 번 돈에 대한 기피 (DOI: 10.1177/19485506231167231), 경매 실험의 가격 피드백 (DOI: 10.1093/ajae/aar066)이 이 방식으로 다뤄졌다. 학문 바깥으로도 번져 유전체 연구 윤리 (PMID 35047864), 인문학의 "적대적 협동"을 결합한 생명윤리 모델 (PMID 39216903), 정보기관 평가 개혁 (PMID 21823782), 그리고 생의학 전반 (PMID 41489906)에까지 제안이 이어졌다.
이웃 방법들과 무엇이 다른가
사전등록·공개데이터·검정력 분석은 신뢰성을 높인다. 적대적 협업은 타당성을 겨냥한다. 이 구분이 이 방법의 존재 이유다 (PMID 39146049). 물론 적대적 협업도 사전등록을 쓴다. 다만 사전등록의 내용을 반대편과 합의해서 쓴다는 점이 다르다.
다연구실 반복(multi-lab replication)은 같은 절차를 여러 곳에서 다시 밟되, 그 절차를 누가 설계했는지는 묻지 않는다. 적대적 협업은 설계 단계에서 반대편을 끌어들인다. 둘은 겹칠 수 있다 — 양식 대서양 연어의 바이러스가 야생 연어에 위협인지를 두고 저자 진영이 갈리자 "적대자를 포함한 등록 다연구실 반복"이 다음 단계로 제안됐고 (PMID 37217976), 재현성 개선 접근을 정리한 논문도 둘을 나란히 놓는다 (PMID 33682522).
다중 분석가(many analysts)와 멀티버스 분석은 같은 데이터를 여러 팀이 분석하면 결론이 갈린다는 것을 보여 주는 진단이다 (PMID 36865366). 생태학에서도 확인됐고 (PMID 40048535), 언어모델로 만든 자동 분석가들이 인간 다중 분석가 연구의 분산을 그대로 재현한다는 보고까지 나왔다 (DOI: 10.1073/pnas.2606495123). 적대적 협업은 그 분산을 놓고 왜 갈렸는지를 당사자끼리 좁히는 처방 쪽이다. 실제로 축구 심판의 레드카드 판정에 피부색 편향이 있는지를 다룬 유명한 다중 분석가 연구의 이견 위에 적대적 협업이 얹혔다 — 다만 이 사전분석계획은 동료심사 전 판본이다 (DOI: 10.31222/osf.io/h9t5c). 거꾸로 협업 안에서 멀티버스를 도구로 쓰기도 한다 (PMID 38506937, PMID 41770134). 메타분석 역시 방법 선택에 따라 결론이 갈리는 탓에, 가능하면 대립 진영 저자들의 적대적 협업으로 수행하자는 제안이 있다 (PMID 27240561).
강점·한계·흔한 오해
오해 1 — "누가 이겼는지 가려 주고, 그 과정은 험악할 것이다." 가장 흔한 산출물은 승패가 아니라 문제 공간의 지도이고, 참여자 조사에서 대인 갈등은 대체로 경미했다. 대신 보통의 공동연구보다 앞단의 품이 훨씬 많이 들었다 (PMID 41476612).
오해 2 — "하고 나면 마음이 바뀐다." 확장형 협업의 당사자들은 이 방법이 보통 선임 연구자로 하여금 자기 견해를 버리게 만들지는 않는다고 적었다. 다만 각자의 견해가 공통의 증거 더미를 설명해야 하므로 서로 더 닮은 판본으로 수렴한다 (PMID 32511059).
한계 1 — 설계의 세부가 곧 결론이다. 의식 이론 대결 실험의 초기 발표본을 겨냥한 공개 리뷰(동료심사 전 프리프린트)는 관심영역 정의가 두 이론이 문헌에서 서술돼 온 방식과 어긋났고, 그 정의가 데이터 수집이 거의 끝난 시점에야 공개 저장소에 올라왔다고 지적했다 (DOI: 10.31234/osf.io/93ufe). 사전등록이 있어도 "무엇을 언제 등록했는가"가 다시 쟁점이 된다.
한계 2 — 전제가 어긋나 있으면 못 푼다. 문제의 근원이 설계가 아니라 분야의 기초 가정 자체에 있다면 이 방법으로도 풀리지 않는다는 비판이 의식 과학을 겨냥해 제기됐다(동료심사 전 프리프린트) (DOI: 10.31234/osf.io/6x29u).
한계 3 — 비싸고 드물고, 좋다는 증거도 아직 약하다. 의식 연구의 협업들은 한 재단이 별도로 설계·운영한 기금 프로그램 위에서 굴러갔다(동료심사 전 프리프린트) (DOI: 10.31234/osf.io/rdq52). 게다가 29명 조사의 저자들은 표본이 적대적 협업을 끝까지 마친 학자들뿐이라 일반화가 제한된다고 스스로 밝힌다 (PMID 41476612) — 중도에 깨진 협업이 얼마나 되는지는 알 수 없다. 언어모델을 끌어들인 협업 논문도 전통적 방식과 견줘 우열을 실험적으로 검증한 것은 아니라고 명시했다 (PMID 42190002). 정작 필요한 자리에서 빠지기도 한다. 심리 개입의 해악을 측정하지 않는 관행을 비판한 논문은 그 원인 목록에 확증 편향과 나란히 적대적 협업의 비일관적 사용을 올린다 (PMID 41353918).
강점 쪽도 분명하다. 양쪽이 미리 인정한 검증이므로 결과가 대립하는 해석을 가진 연구자들 모두에게 타당한 것으로 받아들여지고 (PMID 32511059), 게재 이후의 논쟁도 더 사려 깊어진다 (PMID 41476612). 그리고 종종 어느 쪽도 처음엔 갖고 있지 않던 통합 틀이 나온다 — 친숙함과 호감을 관계 단계별로 나눈 모델 (PMID 25910379), 수직선 추정의 새 모델 (PMID 41428541), 일반화 기제에 대한 "둘 다 유효할 수 있다"는 결론 (PMID 36282996)이 그렇다. 감정과학처럼 이론이 모호하다고 진단된 분야에서는 이론 정밀화의 네 경로 중 하나로 꼽히기도 한다 (PMID 41905967).
논문에서 이 말을 만났을 때 던질 다섯 질문
- 예측을 데이터 이전에, 반대편과 합의해서 등록했나? 무엇을 언제 등록했는지까지 본다 (PMID 25621378, DOI: 10.31234/osf.io/93ufe).
- 각 팀이 어떤 결과를 자기 이론에 대한 결정적 검증으로 인정했나? 이 표시가 없으면 사후 해석이 다시 열린다 (PMID 38506937).
- 실행이 중립적이었나? 누가 데이터를 모았고, 반복이 설계에 심겨 있었나 (PMID 36763595).
- 남은 이견이 논문에 적혀 있나? 매끈한 합의보다 명시된 불일치가 더 믿을 만하다 (PMID 41770134, PMID 41297382).
- 결론이 승자인가, 지도인가? 후자라면 실패가 아니라 이 방법의 정상적 산출물이다 (PMID 41476612).
적대적 협업은 논쟁을 끝내는 기계가 아니다. 논쟁을 검증 가능한 형태로 바꾸는 절차에 가깝다. 무엇이 걸려 있는지를 데이터 이전에 못 박고, 실행을 중립에 맡기고, 결과를 함께 읽고, 남은 이견을 숨기지 않고 적는다. 이 절차를 거쳐도 사람의 마음은 잘 바뀌지 않는다. 그러나 마음이 바뀌지 않더라도, 두 이론은 이제 같은 증거 더미를 설명해야 한다. 논쟁이 제자리에서 한 걸음 움직이는 방식은 대개 그런 모습이다.
근거 논문
- "Adversarial Collaboration as a Strategy for Credible Biomedical Science" (2026) — PMID 41489906 — 반대 견해의 연구자들이 함께 설계·분석·발표하며 종종 중립 중재자를 두는 방식으로 정의. 생의학 확산 제안.
- "Adversarial collaboration: An undervalued approach in behavioral science" (2026) — PMID 39146049 — 사전등록 등 공개과학은 신뢰성을, 적대적 협업은 타당성을 겨냥한다는 구분.
- "Do Frequency Representations Eliminate Conjunction Effects? An Exercise in Adversarial Collaboration" (2001) — DOI: 10.1111/1467-9280.00350 — 결합 오류 논쟁을 중재자와 함께 검증한 원조 사례 및 프로토콜 제안.
- "From rivals to partners: adversarial collaboration in ecology and evolution" (2026) — PMID 41318247 — 논쟁이 "점수 따기 모드"로 굳는 문제와 생태·진화 분야 도입 제안.
- "Strategies, debates, and adversarial collaboration in working memory: The 51st Bartlett Lecture" (2023) — PMID 37526243 — 경쟁 실험실 간 협업 부재가 논쟁을 자기영속시킨다는 진단.
- "Can coercion in psychiatry be justified? A theoretical adversarial collaboration approach" (2026) — PMID 41297382 — 데이터 없이 논변만 구조화한 이론적 적대적 협업. 합의/이견/세부이견 가설 산출과 서로 다른 출발점의 발견.
- "Terms of debate: Consensus definitions to guide the scientific discourse on visual distraction" (2024) — PMID 38177944 — 용어 합의 자체를 적대적 협업으로 수행한 사례.
- "Dual-task costs in working memory: An adversarial collaboration" (2019) — PMID 30407025 — 세 대립 이론의 연구자가 함께 네 실험을 설계하고 차별적 예측을 제출.
- "The effect of horizontal eye movements on free recall: a preregistered adversarial collaboration" (2015) — PMID 25621378 — 사전등록 + 결과와 무관한 투고 약속 + 공개 협약문.
- "An adversarial collaboration protocol for testing contrasting predictions of global neuronal workspace and integrated information theory" (2023) — PMID 36763595 — 이론 중립 실험실 6곳, 세 가지 측정법, 반복을 설계에 내장.
