심리학의 재현 위기 — 우리가 믿었던 발견들은 왜 흔들렸나

심리학 교과서와 TED 무대를 채운 발견들이 있었습니다. 세 가지만 꼽겠습니다. 자아고갈(ego depletion)은 의지력이 근육처럼 쓸수록 바닥난다는 이론입니다. 파워포징(power posing)은 2분간 당당한 자세를 취하면 호르몬과 자신감이 바뀐다는 주장이고, 사회적 점화(social priming)는 눈에 띄지 않는 단어나 그림 하나가 이어지는 사람의 행동을 바꾼다는 주장입니다. 모두 직관적이고 한 줄로 요약되는 이야기였습니다. 많은 사람이 이것들을 '과학이 증명한 사실'로 받아들였습니다.

그런데 지난 10여 년 사이 그 믿음의 상당 부분이 흔들렸습니다. 다른 연구실이 같은 실험을 다시 해 보면 같은 결과가 나오지 않는 경우가 많았기 때문입니다. 같은 실험을 다시 했을 때 같은 결과가 나오는 성질을 재현성이라 하고, 재현되지 않는 발견이 쌓여 분야 전체의 신뢰가 흔들린 상황을 재현 위기(replication crisis)라고 부릅니다. 이 글은 무엇이 재현되지 않았는지, 왜 그랬는지, 그 뒤 심리학이 연구 방식을 어떻게 고쳤는지를 따라갑니다. 재현되지 않았다는 말이 곧 효과가 없다는 말은 아니라는 점도 곳곳에서 짚겠습니다.

위기의 발발 — 다시 해 보니 사라진 발견들

방아쇠는 2015년이었습니다. 전 세계 수십 개 연구실이 힘을 합친 대규모 프로젝트(Open Science Collaboration)가 심리학 주요 학술지에 실린 연구 100편을 다시 수행하고 결과를 발표했습니다. 원래 연구의 97%는 통계적으로 유의한 결과를 보고했습니다. 통계적으로 유의하다는 것은 우연만으로는 이만큼의 차이가 나오기 어렵다는 통계 기준을 통과했다는 뜻입니다(「「통계적으로 유의했다」는 무엇을 말하나 — 동전 던지기로 읽는 p값」). 그러나 재현에서 유의한 결과가 나온 것은 36%뿐이었습니다. 재현된 효과의 크기, 곧 차이가 얼마나 큰지를 잰 값도 원래의 절반 수준이었습니다 (PMID 26315443). 심리학 학술지 3곳의 연구 100편을 다시 한 결과로, 분야 전반의 신뢰를 흔든 숫자였습니다.

이 결과에는 곧바로 반론이 나왔습니다. 한 비판은 원 논문의 통계적 오류를 지적하며 심리학의 재현성은 사실 높다고 주장했고 (DOI: 10.1126/science.aad7243), 원 저자들의 재반박은 이 글이 다루지 않습니다. 다만 위기의 출발점부터 논쟁이었다는 점은 기억해 둘 만합니다.

더 근본적인 문제도 있었습니다. 재현이 과학의 주춧돌이라고 말하면서도, 원래 실험을 가능한 한 그대로 되풀이한 연구, 곧 직접 재현을 논문으로 싣는 일은 드물었습니다. 영향력 상위 100개 심리학 학술지가 2010~2021년에 낸 논문 84,834편 가운데 직접 재현 논문은 0.2%, 169편뿐이었습니다. 88개 학술지 중 54곳은 그 11년 동안 한 편도 싣지 않았습니다 (PMID 39418470). 다만 이 숫자는 학술지 밖의 다른 경로로 공개되는 재현 결과까지 센 것은 아니라고 저자들이 선을 긋습니다.

여러 연구실이 같은 절차로 동시에 같은 효과를 다시 검증하는 것을 다기관 재현 프로젝트라고 합니다. 사회심리학의 다기관 재현 프로젝트 36건을 한 리뷰가 검토했더니 명확히 성공한 것은 4건(11%)뿐이었고, 5건은 결과가 엇갈렸으며, 나머지 27건(75%)은 실패였습니다 (PMID 36442681). 다만 같은 검토는 실패의 원인이 원래 가설의 오류만은 아니라고 봅니다. 재현 연구 쪽 문제도 있었는데, 특히 참가자의 낮은 관여가 만연했습니다. 소수에 불과한 실제 대인 상호작용 절차는 성적이 훨씬 좋았습니다.

자아고갈 — 의지력은 정말 고갈되는가

가장 상징적인 사례는 자아고갈이었습니다. 자기통제는 한정된 정신 자원에 의존하므로 한 번 자제력을 쓰면 다음 과제에서 자제력이 떨어진다는 이론으로, 수백 편의 연구가 이를 뒷받침하는 듯했습니다.

그러나 2016년, 23개 연구실이 연구 전에 계획을 미리 공개해 둔(사전등록) 같은 절차로 자아고갈을 검증하자 효과 크기(d)는 거의 0이었습니다. d는 두 집단 평균의 차이를 데이터의 흩어진 정도로 나눈 값이고, 0이면 차이가 없다는 뜻입니다. 이 검증의 결과는 d=0.04였고, 효과가 있을 만한 범위인 신뢰구간이 0을 포함했습니다 (PMID 27474142). 36개 연구실, 3,531명이 참여한 또 다른 대규모 검증도 사전에 정한 분석에서는 유의하지 않았습니다(d=0.06). 다만 같은 연구의 탐색 분석에서는 배제 기준을 적용하지 않은 전체 표본에서 d=0.08로 유의했습니다 (PMID 34520296).

결과가 한 방향만은 아닙니다. 12개 연구실의 다기관 연구는 작지만 유의한 효과(d=0.10)를 보고했습니다 (PMID 34113424). 한 온라인 실험(단일 연구)에서는 고갈을 유도하는 데 성공하지 못해, 시간이 갈수록 더 고갈된다는 예측을 확인하지 못했습니다 (PMID 40452478). 자아고갈을 폐기하기보다 '일시적 인지 피로'로 다시 해석하자는 프리프린트 제안도 나왔습니다 (DOI: 10.31234/osf.io/sy2mw). 효과의 크기가 재현 프로젝트보다 약 10년 전부터 이미 꾸준히 작아져 왔다는 프리프린트 분석도 있습니다. 저자는 이 감소가 적어도 부분적으로는 더 엄밀하고 덜 편향된 연구가 출판되는 추세와 나란하다고 봅니다 (DOI: 10.31234/osf.io/esjhp). 자아고갈 연구자 1,721명을 초대한 익명 설문에서 응답한 277명 가운데 37.7%가 의심스러운 연구관행을 썼다고 답했고, 60% 넘게는 사전 검정력 분석을 했다고 답했습니다 (PMID 29940020).

효과가 왜 다시 재면 작아지는지, 이 숫자들을 어떻게 읽어야 하는지는 「사라지는 효과 — 교과서에 실렸던 발견들은 왜 다시 재면 작아지는가」에서 자세히 다룹니다.

파워포징과 사회적 점화 — 무대에서 퍼진 이야기들

파워포징은 당당한 자세 2분이 테스토스테론을 올리고, 스트레스 호르몬인 코르티솔을 낮추며, 위험을 감수하려는 성향을 높인다는 주장입니다. 2010년 한 연구에서 출발해 세계적 화제가 됐습니다 (DOI: 10.1177/0956797610383437). 이후 재현 시도(프리프린트, 단일 연구)는 테스토스테론 효과와 '힘이 솟는 느낌' 효과를 재현하지 못했습니다. 다만 같은 연구는 코르티솔 감소와 위험 감수에 대해서는 원래 결과를 지지했습니다 (DOI: 10.21203/rs.3.rs-3970076/v1). 이 한 연구에서는 일부만 재현됐습니다. 다른 재현 시도는 이 글이 다루지 않았으므로 파워포징 전체의 판정은 아닙니다.

사회적 점화의 한 갈래인 돈 점화, 곧 돈을 떠올리게 하는 미묘한 단서가 사람의 정치적 견해를 바꾼다는 주장도 큰 표본의 재검증(단일 연구)에서 점화 효과의 증거가 나오지 않았습니다(d=0.03). 이 효과를 다룬 다기관 프로젝트에서도 36개 연구실 중 단 한 곳만 원래 효과를 발견했습니다 (PMID 26214168). 사회적 점화나 체화된 인지(몸의 상태가 생각과 감정에 영향을 준다는 연구 흐름)처럼 '자아는 상황이 채우는 빈 그릇'이라는 전제 위에 세운 연구는 재현될 가능성이 특히 낮다는 예비적 증거를 제시한 논문도 있습니다 (PMID 41493875).

왜 흔들렸나 — 구조적 원인

개별 연구자의 부정직 때문만은 아니었습니다. 위기의 배경으로 가장 자주 지목되는 것은 어떤 연구가 보상받는지를 정하는 인센티브 구조입니다. 다만 낮은 검정력, 효과의 이질성, 기저율 같은 설명도 함께 제시됩니다.

낮은 검정력. 검정력은 진짜 효과가 있을 때 그것을 실제로 잡아낼 확률이고, 연구에 참여한 사람 수(표본)가 작으면 낮아집니다(「0.05는 어디서 왔나 — 유의성이 몇 명에 달려 있는지 세는 법」). 여러 연구 결과를 한데 모아 다시 계산하는 분석을 메타분석이라고 합니다. 200개 연구 영역의 12,065개 효과 크기를 묶은 메타분석에서 심리학 연구의 검정력 중앙값은 약 36%에 불과했고, 충분한 검정력(80%)을 갖춘 연구는 약 8%뿐이었습니다 (PMID 30321017). 같은 분석은 잔여 보고편향 자체는 작았다며, 재현 실패의 주범을 편향보다 낮은 검정력과 큰 이질성(같은 효과를 잰 연구들 사이의 결과 흩어짐)에서 찾습니다. 1975~2017년 심리학 논문 35,515편을 분석한 연구도 검정력이 권장선에 못 미치고 출판편향과 p-해킹도 상당하다고 보고했습니다(큰 효과는 예외이고, 이 추정은 검증할 수 없는 여러 가정에 의존합니다). 다만 그 저자들의 결론은, 그럼에도 유의하다고 보고된 결과 대부분은 통계적 인공물이 아니라 실질적 발견일 수 있다는 다소 낙관적인 쪽이었습니다 (PMID 37847689).

출판편향. 학술지는 '유의한' 결과를 선호합니다. 효과 없음(null) 결과는 출판되지 못하는 경우가 많아(정도는 분야와 연구 유형마다 다릅니다) 유의한 결과가 상대적으로 많이 남습니다. 이 편향이 쌓이면 문헌 전체가 부풀어 보일 수 있습니다(「같은 시험, 다른 결론 — 출판편향과 "무엇을 합쳤는가"」). 한 합의 보고는 이 오랜 문제를 풀려면 음성·null 결과를 출판할 길을 만들어야 한다고 강조했습니다 (PMID 40991668).

p-해킹과 연구자 자유도. p값은 실제로는 차이가 없는데 우연히 이만큼 차이가 나올 확률을 재는 숫자로, 작을수록 유의하다고 판단합니다(「p=0.03은 무엇의 확률인가 — p값이 답하는 하나의 질문」). 연구자 자유도는 분석 방법, 변수 처리, 표본 수집을 언제 멈출지처럼 연구자가 정할 수 있는 임의의 선택들입니다. 선택지가 많으면 하나의 데이터에서 수많은 결과가 나오고, 이 가운데 유의하게 나온 것만 골라 보고하는 것이 p-해킹입니다. 작동 방식은 「연구자 자유도와 p-해킹 — 조작 없이도 원하는 결과가 나오는 법」에서 따로 다룹니다. 한 연구는 여러 연구실이 사전등록 절차로 같은 실험을 되풀이한 등록형 재현 보고의 데이터를 가져와, 사전등록이 없었다면 어떤 편향이 생겼을지를 가정해 보았습니다. 같은 데이터에서도 분석 선택에 따라 효과 크기가 크게 출렁였고, 분석 경로가 수없이 많았는데도 가설 방향의 유의한 효과가 나온 연구는 약 30%뿐이었습니다 (PMID 37166859). 연속적인 값을 둘로 가르는 기준선을 여러 번 바꿔 가며 고를 수 있으면, 효과가 없는데도 있는 것처럼 보이는 결과를 만들 수 있다는 시뮬레이션 결과가 있습니다 (PMID 41233729). p-해킹 전략은 한둘이 아니라 카탈로그로 정리될 만큼 다양합니다 (PMID 36778954).

의심스러운 연구관행(QRP, questionable research practices)의 만연. QRP는 노골적인 데이터 조작은 아니지만 책임 있는 연구에서 벗어난 회색지대 관행입니다. p-해킹, 마음에 들지 않는 결과를 보고하지 않는 선택적 보고, 결과를 본 뒤에 가설을 세운 것처럼 쓰는 HARKing(Hypothesizing After the Results are Known)이 여기에 속합니다. 2,000명 넘는 심리학자를 조사한 고전적 연구는 일부 QRP가 '지배적 연구 규범'일 수 있다고 봤습니다 (PMID 22508865). 분야를 가리지 않고 덴마크 등 5개국 연구자 약 4,700명을 조사한 최근 연구에서는 응답자 10명 중 9명이 적어도 한 가지 QRP를 썼다고 인정했습니다. 다만 같은 조사는, 한 번이라도 썼다는 응답에 비해 실제로 쓰는 빈도는 훨씬 낮아 특정 관행의 '체계적 사용'을 시사하지는 않는다고 선을 그었습니다 (PMID 39133711). 한 시각에서는 이런 관행이 단순히 '의심스러운' 수준이 아니라 미국심리학회 윤리강령 위반에 해당한다고까지 주장합니다 (PMID 39964511).

개혁 — 과학이 자신을 고치다

위기는 절망으로 끝나지 않았습니다. 심리학은 지난 10년 동안 스스로를 고치는 도구를 부지런히 만들어 왔습니다.

사전등록(preregistration)은 데이터를 보기 전에 가설과 분석 계획을 미리 공개해 못 박아 두는 것입니다. '예측'과 '사후 끼워맞추기'를 분리해 연구자 자유도를 제약합니다(동료심사 전 프리프린트 챕터) (DOI: 10.31234/osf.io/ud67s). 다만 만능은 아닙니다. 구조화된 사전등록 양식이 자유도를 더 잘 줄이긴 했지만 완전히 없애지는 못했습니다 (PMID 33296358). 사전등록 연구가 비등록 연구보다 양성 결과를 덜 보고하지도 않았고, 저자들은 사전등록이 p-해킹과 HARKing을 막는다는 확실한 증거는 찾지 못했다고 적었습니다. 다만 사전등록 연구는 검정력 분석을 더 자주 했고 표본이 더 컸으며, 저자들은 검정력과 영향력 면에서는 이득이 있다고 봅니다 (PMID 37950113).

등록형 보고(Registered Reports)는 결과가 나오기 전, 연구 설계 단계에서 심사하고 게재를 확정하는 출판 형식입니다. 결과가 유의하든 아니든 게재가 확정되므로 출판 단계에서 결과에 따른 선별을 줄입니다. 한 에세이(동료심사 전 프리프린트)는 등록형 보고가 효과 없음 결과를 더 높은 비율로 싣는다며 54% 대 21%를 제시하지만, 분모는 글에 명시되지 않습니다 (DOI: 10.2139/ssrn.6436338).

다중연구실 협업은 한 연구실의 우연을 여러 연구실이 함께 검증하는 방식입니다. 네 연구실이 엄밀성 강화 관행을 적용해 새로 발견한 사회행동 효과의 86%가 재현됐다고 보고한 연구가 있었으나, 이 논문은 이후 철회됐습니다 (PMID 37945809). 이 글은 그 결과를 개혁의 증거로 삼지 않습니다.

투명성과 공개. 통계 보고를 표준화하자는 지침과 체크리스트도 제안되고 있습니다 (PMID 41238797). 다만 데이터 공개만으로 충분하지는 않다는 보고도 있습니다. 한 학술지(Psychological Science)의 공개 데이터 배지 논문 25편을 같은 데이터로 다시 분석한 프리프린트 관찰연구에서, 처음에는 64%에서 큰 수치 불일치가 있었고 저자와 협의한 뒤에도 40%는 완전히 재현되지 않았습니다. 주된 원인은 분석 절차가 불분명하게 적힌 것이었고, 저자들은 원래 결론은 영향받지 않은 것으로 보인다고 적었습니다 (DOI: 10.31222/osf.io/h35wt). 같은 자료를 다시 분석하는 일이라 앞서 말한 재현성(실험을 다시 해 보는 일)과는 다르지만, 공개만으로 분석 재현이 보장되지는 않는다는 뜻입니다.

정직한 현주소

그래서 위기는 끝났을까요. 아직 단정하기 이릅니다. 직접 재현 논문이 여전히 드물다는 사실이 위기가 끝났다고 선언하기엔 이르다는 근거입니다 (PMID 39418470). 게다가 과학의 자정에는 한계도 보입니다. 2008년 논문 98편을 분석한 연구에서, 재현에 실패한 원 연구의 인용수는 재현에 성공한 연구에 비해 5~9%밖에 줄지 않았고 이 차이는 통계적으로 0과 구분되지 않았습니다. 원 연구를 인용한 논문 가운데 재현 시도를 인용한 것은 3% 미만이었습니다 (PMID 35713980).

두 가지를 더 정직하게 덧붙이겠습니다.

첫째, 이것은 심리학만의 문제가 아닙니다. 생태·진화학 연구자 설문(프리프린트)에서 응답자의 64%가 유의하지 않아서 결과를 보고하지 않은 적이 있고, 42%가 유의한지 본 뒤에 데이터를 더 모았으며(p-해킹의 한 형태), 51%가 예상 밖의 결과를 처음부터 가설이었던 것처럼 보고했습니다. 이는 심리학과 비슷한 비율입니다 (DOI: 10.31219/osf.io/ajyqg). 범죄학에서는 응답자 다수가 (DOI: 10.31235/osf.io/bwm7s), 커뮤니케이션학에서는 무시할 수 없는 비율이 (DOI: 10.31234/osf.io/7uyn5) QRP를 썼다고 답했고, 교육학에서도 많은 연구자가 쓴다고 보고됐습니다 (DOI: 10.35542/osf.io/f7srb). 모두 자기보고 설문 프리프린트입니다. 출판편향을 여러 분야에 걸쳐 비교한 분석에서는 경제학이 가장 심했고, 환경과학과 심리학이 바로 뒤를 이었습니다 (PMID 38327122). 위기를 둘러싼 논의가 심리학과 생의학에서 거의 동시에 시작됐다는 분석도 있습니다. 두 분야의 논의는 동료심사의 한계, 방법과 데이터의 투명성, 학계의 왜곡된 인센티브라는 같은 핵심을 공유했습니다 (DOI: 10.1177/10892680211046508).

둘째, 위기는 결함의 신호인 동시에 자정의 신호입니다. 한 관점 논문은 재현 위기가 결국 긍정적인 구조적·절차적·공동체적 변화를 이끌었다며 이를 '신뢰성 혁명'이라 부릅니다 (PMID 39242883). 반론도 진지하게 살아 있습니다. 한 선별적 리뷰(프리프린트)는 p-해킹, HARKing, 출판편향이 흔히 생각하는 만큼 위기의 주범이 아닐 수 있다고 보고합니다 (DOI: 10.31222/osf.io/6xzaw_v5). 한 시뮬레이션 연구는 재현율을 좌우하는 가장 큰 변수가 QRP가 아니라, 애초에 참인 효과가 얼마나 드문가라는 기저율이라고 주장합니다 (DOI: 10.7554/elife.58237). 참인 효과가 드문 분야에서는 순전히 통계적인 이유로 재현율이 낮아진다는 것입니다. 또 어떤 이들은 재현 위기를 방법의 문제만이 아니라, 관찰자가 관찰 대상의 일부가 된다는 인식론적 문제로 다시 봐야 한다고 주장합니다 (PMID 39775616).

재현되지 않는 주장이 드러나는 것은 시스템이 작동하는 부분이지만, 드러난 뒤 실제로 고쳐지는 속도는 느립니다. 자아고갈에서는 사전등록한 대규모 다기관 검증이 효과를 거의 0으로 추정했고, 파워포징과 돈 점화는 재검증에서 원래 결과의 일부 또는 대부분이 재현되지 않았습니다. 심리학이 잃은 것은 일부 유명한 주장에 대한 확신이었고, 얻은 것은 스스로를 점검하는 도구들입니다. 그 도구가 충분히 작동하는지는 아직 열려 있습니다.

이 글은 과학 정보 제공을 위한 것이며, 인용한 근거에는 동료심사 전 프리프린트가 일부 포함됩니다. 후속 연구로 세부 내용이 갱신될 수 있습니다.

---

근거 논문

위기의 발발 · 대규모 재현 프로젝트

• 심리학 재현성 추정(100편 중 36% 재현, 97% 원 유의) (PMID 26315443)
• 위 결과에 대한 비판 코멘트("재현성은 사실 높다") (DOI: 10.1126/science.aad7243)
• 상위 학술지의 직접 재현 논문 비율(0.2%, 169/84,834) (PMID 39418470)
• 사회심리 다기관 재현 프로젝트 검토(75% 실패) (PMID 36442681)

무너진 대표 효과 — 자아고갈

• 자아고갈 등록형 재현 보고(d=0.04, 0 포함) (PMID 27474142)
• 자아고갈 36개 연구실 검증(비유의, 베이즈 null 지지) (PMID 34520296)
• "시간이 갈수록 고갈" 예측 미검증 (PMID 40452478)
• 12개 연구실 다기관 재현(작지만 유의 d=0.10) (PMID 34113424)
• 자아고갈을 일시적 인지 피로로 재해석 (DOI: 10.31234/osf.io/sy2mw)
• 자아고갈 효과는 이미 10년 전부터 감소 (DOI: 10.31234/osf.io/esjhp)
• 자아고갈 연구의 QRP 자기보고(37.7% 인정) (PMID 29940020)

무너진 대표 효과 — 파워포징 · 사회적 점화

• 파워포징 원 연구(2010) (DOI: 10.1177/0956797610383437)
• 파워포징 부분 재현 실패(테스토스테론·자신감 실패, 코르티솔·위험감수 지지) (DOI: 10.21203/rs.3.rs-3970076/v1)
• 돈 점화 재현 실패(d=0.03, 36개 중 1개) (PMID 26214168)
• '빈 자아' 전제 연구의 낮은 재현성 (PMID 41493875)

구조적 원인

• 메타분석으로 본 검정력(중앙값 36%, 적정 8%) (PMID 30321017)
• 심리학 검정력·출판편향 추세(1975-2017) (PMID 37847689)
• 출판편향(null 결과 게재 부재) (PMID 40991668)
• 멀티버스·연구자 자유도(유의 결과 ~30%) (PMID 37166859)
• 임의 이분화가 가짜 양성 유발 (PMID 41233729)
• p-해킹 전략 카탈로그·시뮬레이션 (PMID 36778954)
• QRP 유인 진실보고 조사(지배적 규범 가능성) (PMID 22508865)
• 다국가 QRP 조사(10명 중 9명 인정) (PMID 39133711)
• QRP는 APA 윤리강령 위반 (PMID 39964511)

개혁

• 사전등록 정의·장단점·QRP 대응 (DOI: 10.31234/osf.io/ud67s)
• 구조화된 사전등록의 자유도 제약 (PMID 33296358)
• 사전등록 vs 비등록 비교(만능 아님) (PMID 37950113)
• 등록형 보고 null 게재율(54% vs 21%) (DOI: 10.2139/ssrn.6436338)
• 엄밀성 강화 시 86% 재현 가능 (PMID 37945809) — 이후 철회됨(Nat Hum Behav 2024;8:2067)
• 통계 보고 개선(TSRP 체크리스트) (PMID 41238797)
• 공개 데이터 배지 ≠ 재현성 (DOI: 10.31222/osf.io/h35wt)

정직한 현주소 · 자정 · 분야 횡단

• 약한 자정(인용 5-9% 감소) (PMID 35713980)
• 위기가 부른 '신뢰성 혁명' (PMID 39242883)
• QRP의 영향은 과장됐을 수 있다 (DOI: 10.31222/osf.io/6xzaw_v5)
• 재현율의 진짜 변수는 기저율 (DOI: 10.7554/elife.58237)
• 위기는 인식론적 문제(2차 사이버네틱스) (PMID 39775616)
• 생태·진화학의 QRP(64/42/51%) (DOI: 10.31219/osf.io/ajyqg)
• 범죄학의 QRP (DOI: 10.31235/osf.io/bwm7s)
• 커뮤니케이션학의 QRP (DOI: 10.31234/osf.io/7uyn5)
• 교육학의 QRP (DOI: 10.35542/osf.io/f7srb)
• 분야 횡단 출판편향(경제학 최악) (PMID 38327122)
• 심리학·생의학 동시 발생 (DOI: 10.1177/10892680211046508)