Paperis 아티클
도구를 쥔 언어모델은 짧은 과제는 곧잘 하는데 단계가 길어지면 급격히 꺾인다. 이걸 설명하는 가장 흔한 방식이 "걸음마다의 성공률을 곱하면 된다"는 산술인데, 그건 계산이지 측정이 아니다. 잰 자리마다 다른 그림이 나왔다 — 다단계 추론에서는 문턱을 넘는 순간의 붕괴가, 도구를 쥔 에이전트에서는 걸음을 늘려도 오르지 않는 정체가, 여러 에이전트가 대화하는 실험에서는 교란을 넣어야 일어난 붕괴가 나왔다. 그래서 "어디서 깨졌는가"를 찾는 진단 연구가 쏟아졌고, 지금 다투는 지점은 그 자리를 미리 알 수 있는가다. 인용 23건 중 21건이 심사를 거치지 않은 공개본이다.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
터미널 앞에 앉혀 놓고 오래 걸리는 일을 시키는 시험이 있다. 실험 재현, 소프트웨어 수정, 대화형 게임, 과학 계산 같은 46개 과제를 잘게 쪼개 부분 점수를 매기도록 설계했다. 최상급 모델 15개를 붙여 보니 과제 하나에 평균 990만 토큰, 약 231회의 실행 회차, 85.3분이 들었다. 점수는 이렇다. 가장 잘한 모델이 부분 점수 0.95 문턱에서 15.2%, 완전 통과 문턱에서 10.9%. 모델 전체 평균은 각각 4.3%와 1.7%였다 (arXiv:2607.08964, 프리프린트).
같은 모델들이 짧은 문제는 곧잘 푼다. 그래서 이 글이 검사하려는 문장은 이것이다.
"한 걸음을 잘 밟으면 긴 작업도 결국 된다."
먼저 용어 둘. 에이전트(agent)는 말을 만들어 내는 데서 멈추지 않고 웹을 읽고 파일을 열고 명령을 실행하는 도구까지 쥔 언어모델이다. 이 글이 다루는 일감은 짧은 질문이 아니다. 한 번의 답으로 끝나지 않고 앞 걸음의 결과가 뒷걸음의 조건이 되는 일을 수십, 수백 걸음 이어 가야 끝나는 일감, 이것을 장기 시야 과제라고 한다. 위의 시험이 딱 그것이다 — 231회의 회차가 남남이 아니라 앞의 것이 뒤의 것을 정한다.
읽기 전에 하나. 이 글이 인용하는 23건 가운데 21건이 심사를 거치지 않은 공개본이다. 심사 지면에 실린 것은 두 건뿐이다. 그리고 안심할 일이 아닌 것이, 하중이 가장 큰 대목 넷 가운데 셋은 심사를 거치지 않은 원고에 걸려 있다. 나머지는 arXiv·SSRN·리서치스퀘어에 올라온 원고이고, 그 안에는 아직 실험을 하지 않고 설계만 적어 둔 논문 한 건과 주장을 던지고 학계에 답을 요청하는 논문 한 건도 섞여 있다. 하중이 걸리는 자리마다 등급을 괄호에 같이 적었다. 이 분야는 반년이면 낡는다 — 여기 나오는 수치는 전부 그 논문이 그 시점에 관측한 값이다.
한 걸음이 성공할 확률이 95%라고 하자. 스무 걸음을 이어 밟아야 끝나는 일이라면 성공률은 0.95를 스무 번 곱한 값, 약 36%다. 한 걸음의 정확도를 99%까지 올려도 백 걸음에서는 37%다.
이 계산이 긴 작업의 어려움을 설명하는 가장 흔한 방식이다. 그런데 여기서 선을 그어야 한다. 이것은 산술이지 측정이 아니다. 곱셈이 성립하려면 걸음들이 서로 독립이어야 한다 — 세 번째 걸음이 실패할 확률이 두 번째 걸음이 어땠는지와 무관해야 한다는 뜻이다. 그런 전제를 깔면 이런 수가 나온다는 것일 뿐이다. 그리고 이 글이 모은 연구 가운데, 실제 에이전트에서 이 곡선을 재서 확인한 것은 없다. 그러니 이제 물어야 할 것은 하나다. 실제로 재 보면 이 모양이 나오는가.
먼저 나온 답은 "모양이 다르다"였다.
여섯 갈래의 다단계 추론 문제 — 산술 사슬, 기호 대수, 그래프 순회, 논리 연역, 제약 충족, 합성 추론 — 를 난이도별로 기계로 찍어 내고, 최상급 모델 일곱을 1만 2천 개 문제에 붙인 연구가 있다. 정확도는 난이도에 따라 완만하게 깎이지 않았다. S자 곡선을 그리며 떨어졌고, 어떤 복잡도 문턱을 넘는 순간 성능이 무너졌다. 그 문턱의 위치는 문제 갈래마다 달랐고, 여러 조각을 조합해야 하는 문제에서 가장 가팔랐다 (DOI: 10.21203/rs.3.rs-8251575/v1, 프리프린트). 한정을 둘 달아 둔다. 이 연구가 다룬 것은 도구를 쥔 에이전트가 아니라 순수한 다단계 추론이고, 붙인 모델 일곱은 GPT-4o와 클로드 3.5 소넷 세대다 — 뒤에서 다룰 "진단이 세대를 못 넘는다"는 문제가 이 근거에도 걸린다. 그래도 곱셈 곡선과 절벽은 눈으로 봐도 다른 그림이다.
에이전트 쪽에서도 낙차가 측정됐다. 실제 캐글 노트북에서 뽑아낸 68개 데이터 분석 과제, 여섯 분야에 걸친 2,225개 턴, 의존 구간이 평균 11.3턴에 이르는 설계다. 최상급 모델 다섯을 붙였더니 가장 잘한 모델의 평균 정확도가 48.45%였고, 앞쪽 턴에서 뒤쪽 턴으로 가는 동안 47점 가까이 떨어졌다. 실패의 52~69%가 장기 시야에서 비롯된 오류였다 (arXiv:2605.30434, 프리프린트).
방금 그 연구가 같은 자리에서 한 문장을 더 적었다. 에이전트에게 걸음을 더 주는 것이 성능을 반드시 올리지는 않았다. 저자들은 병목이 상호작용 예산이 아니라 올바른 분석 상태의 유지라고 본다 (arXiv:2605.30434, 프리프린트).
같은 관찰이 다른 데서도 나왔다. 검색을 반복하는 에이전트 여섯을 사람이 매긴 문서 적합성 판정으로 걸음마다 뜯어본 연구다. 검색을 얼마나 많이 했는가와 답이 얼마나 좋은가는 약하게만 맞물려 있었다. 답의 정확도는 검색 횟수나 삼킨 맥락의 양보다 그때까지 건져 올린 증거의 질과 더 잘 맞았다. 그리고 쓸모 있는 증거는 탐색 앞쪽에 나타나는 일이 많았는데도 에이전트는 검색을 계속했고, 수확 없는 걸음의 긴 꼬리가 남았다 (arXiv:2608.01913, 프리프린트). 같은 연구는 실패를 두 종류로 갈랐다 — 필요한 증거를 끝내 못 찾은 경우와, 찾아 놓고도 제대로 쓰지 못한 경우다. 뒤엣것이 있다는 사실 자체가 "더 찾으면 된다"의 반례다.
규모를 훨씬 키운 시험도 같은 방향이다. 숨은 규칙을 스스로 알아내야 하는 탐색 과제를 세 환경에 세운 연구인데, 가장 무거운 설정에서 한 번의 실행이 20만 토큰과 400회 넘는 도구 호출에 이른다. 표준 설정에서도 3만 5천 토큰과 60회를 넘는다. 여기서 에이전트들은 일관되게 부진했고 사람 참가자가 더 높은 점수를 받았다. 그리고 저자들의 문장 하나가 이 절의 요지다 — 단순한 확장은 이 과제에서 통하지 않았다. 이들은 모아 둔 기록에서 여덟 가지 오류 유형을 뽑아 두 갈래 원인으로 묶었는데, 하나는 맥락 안에 갇혀 버리는 현상이고 다른 하나는 기능적 기본기의 결여다 (arXiv:2509.21766, 프리프린트).
여기까지가 깨지는 자리인데, 깨진 것이 무엇인지는 정확히 적어야 한다. 깨진 것은 곱셈 그림이 아니라 "더 오래 더 많이 돌리면 된다"는 쪽이다. 곱셈 모형은 일을 끝내는 데 필요한 걸음 수에 대한 이야기이고, 방금 세 연구가 다룬 것은 에이전트에게 허용된 걸음 수다. 곱셈이 맞다 해도 예산을 늘린다고 성공률이 오르지는 않는다. 그러니 이 연구들은 걸음의 독립성을 직접 재지 않았고, 독립 가정이 실제로 어떤지를 정면으로 잰 연구를 이 글은 찾지 못했다. 있는 것은 정황이다 — 마지막 연구가 오류 유형을 묶은 이름이 맥락 안에 갇혀 버리는 현상인데, 앞 걸음이 뒷걸음을 물들이는 통로의 이름이다. 그 통로를 다음 절에서 본다.
에이전트는 걸음마다 자기가 한 일과 돌려받은 것을 한자리에 쌓는다 — 앞의 시험이라면 231회의 회차가 통째로 쌓인다. 그런데 그 자리에는 한도가 있다. 모델이 한 번에 눈앞에 놓고 볼 수 있는 글의 분량에는 정해진 한도가 있다. 이 한도를 맥락 창이라고 하고, 여기서 밀려난 것은 모델에게 없는 것이 된다. 앞 걸음을 뒷걸음에 얹는 가장 물리적인 통로가 이 기록이다.
그래서 긴 과제에서는 창이 곧 찬다. 한 연구는 이 상황을 이렇게 적는다 — 과제 요구사항, 환경에서 알아낸 사실, 이전 시도, 진단, 아직 안 끝난 하위 목표가 창 안에 파묻히거나 창 밖으로 밀려나 필요한 순간에 결정에 영향을 못 미친다. 이들은 이것을 행동 상태의 소실이라 이름 붙였다 — 자기 메모리 방법을 파는 논문의 문제 진술이다 (arXiv:2607.08716, 프리프린트).
여기서 조심할 대목이 있다. "맥락이 길어지면 성능이 떨어진다"는 말은 널리 통용되지만, 이 글이 모은 연구에서 그 주제를 정면으로 단 논문은 아직 실험을 하지 않은 논문이다. 코드베이스 규모가 맥락을 키우고 그것이 도구 호출 정확도를 떨어뜨린다는 가설을 세우고, 그걸 검증할 실험의 설계를 제안하는 데서 끝난다. 저자들 스스로 그 결합 가설을 직접 시험한 발표 연구가 아직 없다고 적는다. 다만 그 서론이 선행 연구 세 갈래를 정리해 두었는데, 검색 실패와 무관하게 맥락 길이만으로도 정확도가 떨어진다는 것, 실제로 성능이 떨어지기 시작하는 지점이 공표된 한도보다 한참 아래라는 것, 그리고 누적된 맥락이 길수록 과제 해결률이 낮더라는 것이다 (DOI: 10.2139/ssrn.7344299, 프리프린트·설계 제안). 이건 그 논문의 측정이 아니라 그 논문의 문헌 읽기다. 이 구분을 흐리면 없는 실험을 있는 것처럼 인용하게 된다.
이 방향의 측정이 없는 것은 아니다. 다만 있는 것은 대부분 자기 해법이 통했다는 형태다. 맥락을 압축하자는 연구는 끝없이 자라는 맥락이 무관한 정보로 인한 추론 열화를 낳는다고 진술하고, 기존 압축 방법들과 견줘 성공률이 올랐으며 작은 모델에서는 최대 46%까지 올랐다고 보고한다 (arXiv:2510.00615, 프리프린트). 기록을 계속 덧붙이는 대신 명시적인 실행 상태로 갈아 끼우자는 연구는 덧붙이기만 하는 기록이 지연 악화와 맥락 오염 실패를 낳는다고 적고 정확도가 올랐다고 보고한다 (arXiv:2608.26263, 프리프린트). 기억을 되짚어 주는 모듈을 붙인 연구는 두 벤치마크에서 8.3%포인트와 6.8%포인트를 올렸다 (arXiv:2607.08716, 프리프린트). 웹 에이전트가 걸음마다 수만 토큰짜리 화면 구조를 삼키는 관행을 두고 과제가 끝나기 한참 전에 추론이 침식된다고 지적한 원고도 있는데, 이쪽은 측정이 아니라 문제 제기다 (arXiv:2606.06708, 프리프린트·포지션 페이퍼).
이 이득들은 전부 자기 방법을 팔러 온 글의 결과다. 그리고 결정적으로, 고쳤더니 좋아졌다는 것이 맥락 길이가 원인이었다는 것을 분리해 주지는 않는다. 문제 진술은 방법을 파는 사람이 가장 크게 그린다.
세 대의 에이전트를 200턴에서 500턴까지 대화하게 두고 겉으로 관찰만 한 연구가 있다. 여기서 반대 방향의 결과가 나온다. 붙인 실패 이름들이 생생하다 — 갑자기 의미 있는 말을 멈추는 붕괴, 한 에이전트의 고장이 다른 에이전트를 끌고 들어가는 전파, 빈자리를 나머지가 말수로 메우는 보상적 팽창, 분량은 유지하면서 알맹이만 빠지는 공허한 다변이다. 그런데 결정적인 문장은 그다음이다. 붕괴는 자발적 열화가 아니라 촉발된 실패였다. 기준선 12회 실행 가운데 붕괴한 것은 0회였고, 특성에 변이를 준 분기 6회 중 5회가 붕괴했으며 그것도 정해진 턴에서 무너졌다 (DOI: 10.2139/ssrn.6420858, 프리프린트).
읽는 법이 중요하다. 이 결과는 "길면 저절로 썩는다"를 지지하지 않는다. 오히려 길이는 조건이고, 방아쇠는 따로 있다는 쪽이다. 다단계 추론의 절벽과도, 곱셈의 완만한 감쇠와도 다른 세 번째 그림이다. 그리고 이건 여러 에이전트가 대화하는 설정의 관측이라 단일 에이전트의 도구 작업에 그대로 옮길 수 없다.
같은 연구에 더 서늘한 관찰이 있다. 무너진 에이전트도 정체성 확인 질문은 높은 충실도로 계속 통과했다. 저자들은 이것을 정체성을 기억하는 능력과 실제 대화 행동 사이의 구조적 분리라고 부른다. 점검 장치가 켜져 있고 초록불이 들어와 있는데 시스템은 이미 죽어 있었다는 뜻이다.
실패로 끝난 실행 하나가 145걸음이라면, 어느 걸음이 범인인지 어떻게 아는가. 연구의 무게중심이 여기로 옮겨 갔다 — "몇 퍼센트 성공했나"에서 "어디서 깨졌나"로.
용어 둘이 더 필요하다. 에이전트가 처음부터 끝까지 밟은 걸음 — 무엇을 생각했고 어떤 도구를 불렀고 무엇을 돌려받았는지 — 를 순서대로 남긴 기록, 이것을 궤적이라고 한다. 그리고 실패로 끝난 궤적을 놓고 어느 걸음에서 결정적으로 어긋났는지를 짚어 내는 일, 이것을 실패 귀속이라고 한다.
걸린 데는 사후 디버깅만이 아니다. 강화학습으로 장기 시야 에이전트를 훈련시키려는 한 연구는 같은 문제를 안쪽에서 만난다고 적는다 — 종점에서 실패하면 옳았던 앞 걸음까지 함께 벌을 받고, 성공한 궤적이 워낙 드물어 학습 신호가 거의 사라진다는 것이다. 다만 이건 자기 방법을 파는 논문의 문제 진술이고, 그 논문의 결론은 반대편을 가리킨다. 결정적인 걸음을 짚어 내는 대신 중간 이정표를 기준으로 공로를 잘게 나눠 주는 것만으로 우회가 됐다는 것이다 — 한 과제에서 92.9%로, 기준선 53.5%의 두 배 가까이 (arXiv:2605.06078, 프리프린트). 어느 걸음이 범인인지 짚는 일과, 짚지 않고도 가르치는 일은 다른 문제다.
이 일이 얼마나 어려운지부터 보자. 다섯 분야에서 인위적으로 오류를 주입하지 않고 실제로 실패한 궤적 1,140건을 모으고, 각 궤적에 사람이 독립적으로 채점한 정답표 — 어느 걸음이 결정적으로 어긋난 가장 이른 걸음인가 — 를 붙인 벤치마크가 있다. 궤적의 중앙값 길이는 145걸음이다. 그리고 가장 강한 기존 방법이 정확한 근본 원인 걸음을 13.2% 맞혔다 (arXiv:2608.15242, 프리프린트). 같은 논문이 제안한 자기네 방법은 역할 51.1%, 걸음 24.1%까지 올렸는데, 이건 저자들이 자기 방법으로 자기 벤치마크를 푼 값이니 기준선 13.2%와 함께 읽어야 한다.
심사 지면에 실린 연구도 같은 자리를 짚는다. 다중 에이전트 시스템의 실패 귀속을 다룬 이 논문은 기존 방법이 긴 로그와 전문 지식의 부재로 어려움을 겪는다고 진단하고, 사람의 디버깅을 본떠 범위를 먼저 좁힌 뒤 걸음을 지목하는 두 단계로 쪼갠다. 걸음 단위 정확도에서 기존 방법 대비 최대 24.27% 개선을 보고했다 (DOI: 10.1609/aaai.v40i39.40594, 심사 지면). 다만 초록은 기존 방법의 절대 수준을 밝히지 않는다 — 몇 점에서 몇 점으로 간 것인지, 24.27이 퍼센트포인트인지 상대 개선인지도 적혀 있지 않다.
사람이 145걸음짜리 기록을 다 못 읽으니, 이 분야가 택한 방법은 그 판정을 다시 언어모델에게 맡기는 것이었다. 궤적을 읽히고 "어느 걸음이 범인인가"를 답하게 한다. 이 편의 가장 무거운 결과가 그 판정을 검사한 것이고, 다행히 심사 지면에 실렸다.
이 연구는 두 원인을 갈라 놓고 실험을 짰다. 하나는 한 걸음에 들어온 나쁜 입력이 만든 국소적 오염, 다른 하나는 여러 걸음에 걸쳐 조금씩 어긋난 분산된 표류다. 이 글 내내 대조해 온 두 그림 — 한 번의 사고냐, 누적이냐 — 이 그대로 기계 판정 문제가 된 셈이다. 두 개의 에이전트 과제, 네 단계의 궤적 공개 수준, 열 명의 판사 모델에 통제된 결함을 주입해 물었다.
결과는 판별이 안 된다는 것이었다. 대부분의 판사가 하나의 성향만 적용했다 — 결과를 만들어 낸 그 걸음을 지목하는 것이다. 그래서 두 원인의 정확도가 한 숫자의 두 판독이 되고, 둘을 가르는 여백이 0 근처에 머문다. 궤적을 가장 상세히 보여준 조건에서도 표준 프롬프트로는 어떤 판사도 여백 0.16을 넘지 못했다. 결함의 크기를 2500배에 걸쳐 훑어도 여백은 그대로였다. 그리고 현실적인 과제에서는 여섯 판사 중 넷이 뒤집혔다 — 분산된 원인일 때 오히려 더 자주 구체적인 한 걸음을 범인으로 지목한 것이다 (DOI: 10.3390/make8090275, 심사 지면).
이어 붙인 대조가 이 결과를 능력 부족으로 읽지 못하게 막는다. 궤적을 반박하는 데 값 하나만 비교하면 되는 조건에서는 같은 판사가 50회 중 50회 결함을 짚어 냈다. 산술이 필요한 조건에서는 50회 중 1회, 궤적에 아무 모순이 없는 조건에서는 50회 중 0회였다. 못 하는 게 아니라 안 보는 것에 가깝다. 모델이 아닌 결정론적 규칙 하나는 주 실험의 궤적들에서 두 원인을 갈라냈고, 프롬프트를 한 번 손보자 여백이 0.34까지 올라갔다.
공평하게 덧붙일 것이 있다. 판사 방식을 쓴 다른 연구는 사람 채점과 잘 맞는다고 보고했다. 네 개 영역에서 궤적 3,100건 넘게 모아 실패를 귀속시킨 진단 벤치마크가 사람 주석과 대조해 판사와 사람의 일치도 0.84를 얻었는데, 이는 사람 주석자들끼리의 일치도 0.61보다 높은 값이다. 다만 저자들 스스로 이 벤치마크를 초기 단계의 방법론적 한 걸음이라 부른다 (arXiv:2604.11978, 프리프린트). 두 결과가 정면으로 부딪히는 것은 아니다 — 앞의 연구는 원인의 종류를 가르는 능력을 물었고, 이 연구는 붙인 라벨이 사람과 맞는지를 물었다. 두 초록이 각자 밝힌 연구 질문을 나란히 놓은 것이지, 어느 쪽 저자가 이 대조를 적어 둔 것은 아니다. 다만 판사가 사람과 잘 맞는다는 보고가 판사가 무엇이든 판별한다는 뜻은 아니다.
저자들은 결론의 범위를 스스로 좁혀 둔다 — 평가된 모델과 프롬프트와 구성된 과제 안에서의 신뢰성 경고라는 것이다. 그 한정을 지키더라도 남는 것이 있다. 우리가 "이 단계에서 깨졌다"고 말할 때, 그 말의 상당 부분은 결과가 튀어나온 단계를 가리키는 반사일 수 있다는 것.
깊이 조사하는 과제에서 에이전트의 자신감을 신호로 써 본 연구가 있다. 스스로 얼마나 확신하는지 말하게 하거나, 다음 낱말을 얼마나 확신하며 뱉는지를 재는 것이다. 궤적이 끝난 시점에는 말로 표현된 자신감이 실패를 꽤 잘 갈라냈다 — 평균 AUROC 0.85다. 아무렇게나 찍으면 0.5, 완벽하면 1.0이 되는 눈금이다. 그런데 궤적이 절반쯤 진행된 시점에서는 검사한 어떤 신호도 평균 0.60을 넘지 못했다 (arXiv:2608.29685, 프리프린트).
지금 다투는 지점이 바로 여기다. 깨진 자리를 나중에 찾는 게 아니라 깨질 것을 미리 아는 것.
저자들은 이유까지 짚는다. 에이전트가 진행 중에 탐색 방향을 자주 갈아탄다는 것이다. 지금 막다른 길에 있다는 신호가 정직하게 나와도, 에이전트가 곧 다른 길로 튀면 그 신호와 최종 결과의 연결이 끊긴다. 이들의 권고는 그래서 뜻밖이다 — 궤적 중간에 개입하려 들지 말고 끝난 뒤의 자신감을 보고 다시 돌릴지 정하라. 이들의 실험에서는 그쪽이 더 나았다.
더 곤란한 결과도 있다. 여러 단계를 거쳐야 하는 보안 과제에 중간 점검점을 박아 두고, 능력을 발휘할 지점에 도달하기 전에 실패한 것과 후에 실패한 것을 갈라 본 연구다. 관찰한 상태를 나중에 다시 써야 하는 과제군에서, 실패의 상당수가 그 상태를 보기도 전에 일어나고 있었다. 92개 시드로 설계를 사전에 못 박은 실험에서, 프로토콜을 명확히 해 주는 안내 문구를 넣자 상태 관찰이 대조 문구 조건의 65.5%에서 95.4%로 올랐다. 여기까지는 깔끔한 진단이다.
그런데 같은 설계를 같은 모델 계열의 다음 세대로 반복하자 효과가 반대로 나왔고, 상태를 관찰했는지가 과제 완료를 더 이상 안정적으로 예측하지 못했다. 저자들의 결론은 이렇다 — 지배적인 실패 원인은 모델 세대를 건너뛰며 이동할 수 있다 (arXiv:2608.20563, 프리프린트).
이 문장의 무게를 놓치지 말자. 진단이 틀렸다는 게 아니라 진단이 반년을 못 갈 수 있다는 것이다.
에이전트가 주문을 넣는다. 그런데 응답이 오지 않고 시간이 초과된다. 이 신호는 아무것도 실행되지 않은 것인지, 실행은 됐는데 응답만 유실된 것인지 구별해 주지 않는다. 앞이라면 다시 보내는 게 맞고, 뒤라면 다시 보내는 순간 같은 일이 두 번 벌어진다. 멈추는 선택은 정확히 반대로 틀린다. 모든 실패가 모델 안에서 일어나는 것은 아니다.
이 상황을 정면으로 시험한 연구는 모든 실험 단위가 똑같이 생긴 시간 초과 뒤에 두 개의 숨은 상태를 짝지어 두도록 설계했다. 그러면 정보 없이 되는 복구의 정확한 성공 상한이 0.5가 된다 — 동전 던지기다. 소프트웨어 작업 81개 틀에 대해, 한 서비스 모델로 756쌍을 돌린 주 실험의 결과가 이렇다. 프롬프트로 조언만 준 조건 0.4979. 상태를 조회해 확인하게 해 준 조건 0.8066. 그리고 안정적인 멱등 계약을 깔아 둔 조건 1.0000 (DOI: 10.21203/rs.3.rs-10730245/v1, 프리프린트).
여기 용어가 하나 필요하다. 같은 요청을 두 번 보내도 결과가 한 번 보낸 것과 똑같아지는 성질, 이것을 멱등성이라고 한다. 주문이 멱등이면 두 번 눌러도 주문은 하나다.
첫 번째 숫자를 다시 보자. 0.4979는 동전 던지기 천장에 붙어 있는 값이다. 잘 타이른 조언은 사실상 아무것도 하지 못했다. 반면 상태를 물어볼 창구를 열어 주자 0.8066으로 뛰었고, 재시도를 설계상 안전하게 만들자 실패가 사라졌다. 저자들의 표현으로는, 인터페이스 수준의 복구 여유가 무정보 천장에서 신뢰할 만한 상태 복구로 옮겨 준다. 다만 같은 문장에 단서를 붙인다 — 정보를 준다고 해서 올바른 사용이 보장되지는 않는다. 그리고 범위도 저자들이 직접 좁혀 둔다. 실제 운영에서 이런 일이 얼마나 자주 벌어지는지, 내부에서 무슨 일이 일어나는지, 제공자마다 어떻게 다른지는 추정 대상 밖이고, 일부 실험 셀에서는 출력 형식 위반이 무시할 수 없는 수준이었다고 적었다.
그래도 방향은 분명하다. 이 실패는 모델이 멍청해서가 아니라 세계가 말해 주지 않아서 일어났다. 그리고 그 자리는 더 똑똑한 모델이 아니라 더 나은 창구로 메워졌다.
긴 사슬이 끊어지는 방식 중 가장 사람 같은 것이 있다.
유한요소해석 코드를 짜는 네 개의 과제를 놓고 일곱 가지 에이전트 조합으로 1,120회의 통제 실험을 돌린 연구다. 먼저 나온 결과 두 개가 부정형이다. 검토자를 더 붙이는 것도, 팀 구성을 바꾸는 것도 일관된 개선을 주지 못했고, 비판적으로 평가하라고 만들어 넣은 에이전트가 실제로는 그 일을 하지 않았다.
대신 저자들이 지목한 지배적 실패 기제가 이것이다 — "좋아 보인다", "실행 성공"처럼 일이 끝난 것처럼 들리는 조기 동의가 반복 개선을 미리 끝내 버린다. 오도하는 동의만 걷어 내고 필요한 안내는 남기자 성공률이 한 과제에서 10.7%에서 77.5%로, 다른 두 과제에서 0.7%에서 45.0%로 올랐다 (DOI: 10.2139/ssrn.6532560, 프리프린트). 저자들 자신의 개입이고, 쓴 모델도 지금 기준으로는 구세대이며, 과제군도 하나다. 수치의 크기가 아니라 기제만 가져가는 게 안전하다.
반대 극단도 측정됐다. 대출 심사 같은 규제 업무를 장기 시야로 짠 벤치마크에서 여섯 가지 기억 구조를 돌린 연구는 여섯 구조 전부가 모든 사례에서 판단을 내렸다고 보고한다. 모르겠다고 물러서는 선택지를 아무도 쓰지 않았다. 같은 논문에는 저자들이 자기 예측을 잃는 장면도 있다 — 요약 방식이 사실 회수에 실패할 것이라고 사전에 등록해 두었는데, 데이터는 반대로 나왔다 — 사실을 지키라는 지시를 붙인 평범한 요약이 여러 축에서 오히려 강한 기준선이었다 (arXiv:2604.19457, 프리프린트).
마지막으로 잴 것 자체를 보자. 방금 그 연구의 출발점이 이 문장이다 — 현재의 평가는 하나의 과제 성공 스칼라를 보고하는데, 그 하나가 서로 다른 실패 양식들을 뭉갠다 (arXiv:2604.19457, 프리프린트).
측정 장치 쪽을 정리한 조사도 같은 이야기를 한다. 벤치마크를 실제로 돌리는 장치들을 유형별로 훑은 이 설문은 그 장치가 과제가 무엇인지, 모델이 무엇을 해도 되는지, 증거를 어떻게 채점하는지를 정한다고 적는다. 그중 도구 사용을 재는 장치가 따로 떼어 재는 항목에 도구를 부르지 않기로 결정하는 일과 도구 실패에서 복구하는 일이 들어 있다 (DOI: 10.20944/preprints202609.0236.v1, 프리프린트·설문).
그 두 항목을 어떻게 재야 하는지 종합한 글이 있다. 기존 벤치마크가 정상 조건에서의 과제 성공만 재고 왜 실패했는지도 복구할 수 있는지도 거의 보여주지 않는다고 진단하고, 필요한 것으로 통제된 결함 주입과 세분화된 진단, 수동적 성공과 능동적 복구를 구분하는 평가 규약을 든다. 다만 같은 글은 이 일이 이미 시작됐다고도 적는다 — 궤적에 근거한 진단이 프롬프트만 고치는 수리보다 크게 낫다는 결과가 나왔고, 결함을 갈래별로 나눈 교란 분류표도, 과제 완료와 별개로 복구를 재는 지표도 제안돼 있다는 것이다. 남은 문제로는 벤치마크 자체의 타당성을 짚는다 — 널리 쓰이는 벤치마크에서 숨은 결함이 발견되면서 모델의 오류와 벤치마크의 인공물이 뒤섞인다는 것이다 (DOI: 10.2139/ssrn.7335138, 프리프린트·종합).
이 대목이 이 시리즈의 다른 편, 벤치마크 점수가 무엇을 재는가를 물었던 편과 만나는 자리다. 거기서 문제였던 것이 "맞혔다"의 의미였다면, 여기서는 "끝냈다"의 의미가 흔들린다.
정리하면 이렇다. 아래 일곱 중 여섯이 심사를 거치지 않은 공개본에 기대고 있고, 심사 지면에 실린 것은 ⑤ 하나뿐이다.
① 곱셈은 예측이지 관측이 아니다. 한 걸음 95%가 스무 걸음 36%가 된다는 계산은 걸음이 서로 독립일 때의 산술이다. 잰 그림은 완만한 감쇠가 아니라 문턱 뒤의 붕괴에 가까웠고, 그마저 도구를 쥔 에이전트가 아니라 다단계 추론에서 나온 결과다 (DOI: 10.21203/rs.3.rs-8251575/v1).
② 걸음을 늘리는 것은 해법이 아니다. 걸음을 더 줘도 성능이 반드시 오르지 않았고 (arXiv:2605.30434), 검색 노력과 답의 질은 약하게만 맞물렸다 (arXiv:2608.01913). 다만 이건 허용된 예산에 대한 결과이지 걸음의 독립성을 잰 것이 아니다.
③ 그렇다고 길이가 곧 붕괴는 아니다. 200~500턴 실험에서 기준선 12회 중 붕괴는 0회였다. 붕괴는 특성에 변이를 주는 교란을 넣었을 때 일어났고(변이 분기 6회 중 5회), 저자들은 이를 자발적 열화가 아닌 촉발된 실패로 읽는다 (DOI: 10.2139/ssrn.6420858).
④ 깨진 자리를 찾는 일부터 아직 못 한다. 중앙값 145걸음 궤적에서, 가장 강한 기존 방법의 정확한 근본 걸음 적중률이 13.2%였다 (arXiv:2608.15242).
⑤ 판사는 원인의 종류를 못 가른다. 국소적 오염과 분산된 표류를 가르는 여백이 0 근처였고, 판사는 결과를 낸 걸음을 지목하는 하나의 성향으로 수렴했다 (DOI: 10.3390/make8090275, 심사 지면).
⑥ 궤적 중간에는 예고가 없다. 절반 지점에서 어떤 신호도 0.60을 넘지 못했고 (arXiv:2608.29685), 진단 자체가 모델 세대를 넘어가며 뒤집힌 사례가 있다 (arXiv:2608.20563).
⑦ 어떤 실패는 인터페이스로 사라진다. 조언만으로는 동전 던지기 천장에 머물던 복구가 상태 조회로 0.8066, 설계상 안전한 멱등 계약으로 1.0000이 됐다 (DOI: 10.21203/rs.3.rs-10730245/v1).
확실히 말할 수 없는 것도 분명하다. 긴 작업의 실패율이 어떤 함수 모양을 그리는지를 넓게 잰 연구를 이 글은 찾지 못했다. 여기 인용된 낙차들은 저마다 다른 과제, 다른 모델, 다른 눈금에서 나온 것이라 한 곡선 위에 올릴 수 없다. 걸음들이 실제로 서로 독립인지, 실패가 얼마나 자주 누적형인지도 모른다 — 그걸 가려내려고 만든 판정 장치가 방금 본 것처럼 두 원인을 구별하지 못하기 때문이다.
남는 것은 조금 다른 문장이다. 사슬이 끊어진 자리를 나중에 찾는 일과, 사슬이 끊어질 자리를 미리 아는 일은 다르다. 지금 우리가 할 수 있는 것은 첫 번째의 일부다. 그리고 두 번째에 관해 지금까지 나온 답은, 아직은 아니라는 쪽이다.
23건 가운데 21건이 심사를 거치지 않은 공개본이다. 심사 지면에 실린 두 건은 그렇게 표시했다.