곱셈으로는 모른다 — 에이전트는 긴 작업의 어디에서 무너지는가

990만 토큰을 쓰고 15.2%

명령어를 글자로 쳐 넣어 컴퓨터를 부리는 창을 터미널이라고 합니다. 그 앞에 AI를 앉혀 놓고 오래 걸리는 일을 시키는 벤치마크가 있습니다. 「AI의 오류 — 시험장 밖에서 틀리는 수험생」의 말로, 벤치마크는 여러 AI 모델에게 같은 문제를 풀게 해 점수를 견주도록 만들어 둔 시험 문제 모음입니다. 이 벤치마크의 과제는 실험 재현, 소프트웨어 수정, 대화형 게임, 과학 계산 같은 46개이고, 과제마다 잘게 쪼갠 하위 과제에 부분 점수를 매깁니다.

여기에 그 시점의 최상급 모델 15개를 붙였습니다. 이 모델들은 언어모델, 곧 글을 받아 그 뒤에 이어질 글을 내놓는 모델입니다(「생성형 AI의 대답 — 한 조각씩 골라 이어 붙인 문장」). 언어모델은 글을 토큰이라는 단위로 잘라 다루고, 토큰은 낱말 하나일 때도 있고 낱말의 한 조각일 때도 있습니다. 과제 하나에 평균 990만 토큰이 들었습니다. 실행 회차는 약 231회, 걸린 시간은 85.3분이었습니다.

점수는 낮았습니다. 가장 잘한 모델도 부분 점수가 0.95 이상이면 통과로 치는 기준에서 15.2%, 만점이어야 통과로 치는 기준에서 10.9%였습니다. 모델 전체 평균은 각각 4.3%와 1.7%였습니다 (arXiv:2607.08964, 프리프린트).

이 논문의 출발점은 AI가 짧고 분명하게 정해진 과제는 혼자서 끝낼 수 있게 됐다는 것입니다. 그런데 실행에 몇 분에서 몇 시간까지 걸리는 이 과제들에서는 점수가 이 정도였습니다. 그래서 이 글이 검사하려는 문장은 이것입니다.

"한 걸음을 잘 밟으면 긴 작업도 결국 된다."

먼저 용어를 세웁니다. 에이전트(agent)는 말을 만들어 내는 데서 멈추지 않고 웹을 읽고 파일을 열고 명령을 실행하는 도구까지 쥔 언어모델입니다. 도구를 한 번 부르면 결과가 돌아오고, 에이전트는 그 결과를 보고 다음에 할 일을 정합니다. 이 글은 이렇게 한 번 정하고 한 번 움직여 결과를 받는 한 차례를 걸음(step)이라고 부릅니다.

장기 시야 과제(long-horizon task)는 한 번의 답으로 끝나지 않고, 앞 걸음의 결과가 뒷걸음의 조건이 되는 일을 수십, 수백 걸음 이어 가야 끝나는 일감입니다. 앞의 터미널 시험이 이런 일감입니다. 231회의 회차가 이어지는 동안 앞에서 얻은 결과가 뒤에서 할 일을 정합니다.

읽기 전에 등급부터 밝혀 둡니다. 프리프린트는 동료 연구자의 심사를 거치기 전에 먼저 공개한 논문 원고입니다. 이 글이 인용하는 23건 가운데 21건이 프리프린트이고, 심사를 거친 지면에 실린 것은 두 건뿐입니다. 이 글의 결론을 가장 크게 떠받치는 대목 넷 가운데 셋도 프리프린트에 걸려 있습니다. 프리프린트는 arXiv·SSRN·리서치스퀘어 같은 공개 저장소에 올라온 원고입니다. 그 안에는 아직 실험을 하지 않고 설계만 적어 둔 논문 한 건과, 주장을 내놓고 학계에 응답을 요청하는 논문 한 건도 섞여 있습니다. 결론을 떠받치는 자리마다 등급을 괄호에 같이 적었습니다. 이 분야는 빨리 바뀌므로, 여기 나오는 수치는 전부 그 논문이 그 시점에 관측한 값입니다.

곱셈은 예측이지 관측이 아니다

한 걸음이 성공할 확률이 95%라고 해 봅니다. 스무 걸음을 이어 밟아야 끝나는 일이라면 전체 성공률은 0.95를 스무 번 곱한 값, 약 36%입니다. 한 걸음의 정확도를 99%까지 올려도 백 걸음이면 37%입니다.

긴 작업이 어려운 까닭을 설명할 때 가장 흔히 쓰는 것이 이 계산입니다. 이 계산은 산술이지 측정이 아닙니다. 곱셈이 성립하려면 걸음들이 서로 독립이어야 합니다. 독립이란 세 번째 걸음이 실패할 확률이 두 번째 걸음이 어땠는지와 상관없다는 뜻입니다. 앞의 수들은 그 전제를 깔았을 때 나오는 값일 뿐입니다. 이 글이 모은 연구 가운데 실제 에이전트에서 이 곡선을 재서 확인한 것은 없습니다. 그래서 물을 것은 하나입니다. 실제로 재 보면 이 모양이 나오는가.

먼저 볼 측정은 곱셈과 다른 모양을 보여 줍니다.

다단계 추론에서 잰 결과부터 봅니다. 여기서 추론은 「AI는 정말 '생각'하는가 — 아직 학계가 다투는 중인 질문」에서처럼 주어진 사실에서 단계를 밟아 결론을 끌어내는 일입니다. 산술 사슬, 기호 대수, 그래프 순회, 논리 연역, 제약 충족, 합성 추론의 여섯 갈래 문제를 난이도를 정해 가며 기계로 찍어 내고, 최상급 모델 일곱을 1만 2천 개 문제에 붙인 연구가 있습니다. 정확도는 S자 곡선을 그리며 떨어졌고, 어떤 복잡도 문턱을 넘는 순간 성능이 무너졌습니다. S자 곡선은 처음에는 거의 버티다가 한 구간에서 가파르게 떨어지는 모양입니다. 그 문턱의 위치는 문제 갈래마다 달랐고, 여러 조각을 조합해야 하는 문제에서 가장 가팔랐습니다 (DOI: 10.21203/rs.3.rs-8251575/v1, 프리프린트).

이 결과에는 한정이 셋 붙습니다. 첫째는 이 연구가 도구를 쥔 에이전트가 아니라 도구 없는 다단계 추론을 쟀다는 것입니다. 둘째는 붙인 모델 일곱이 GPT-4o와 클로드 3.5 소넷 세대라는 것입니다. 뒤에서 볼 「실패의 주된 원인이 모델 세대를 건너 옮겨 갈 수 있다」는 문제가 이 근거에도 걸릴 수 있습니다. 셋째로 이 연구의 가로축은 걸음 수가 아니라 사슬 길이·갈래 수·기억 부담을 묶은 복잡도 지표라, 곱셈 곡선과 같은 축 위에서 견준 것이 아닙니다. 그래도 곱셈이 그리는 완만한 곡선과 문턱 뒤의 절벽은 다른 그림입니다.

도구를 쥔 에이전트에서도 낙차가 측정됐습니다. 데이터 분석 경연 사이트 캐글에 실제로 올라온 분석 기록(노트북)에서 68개 데이터 분석 과제를 뽑은 시험입니다. 과제들은 여섯 분야에 걸친 2,225개 턴으로 되어 있고, 턴은 에이전트와 한 번 주고받는 차례입니다. 한 턴이 기대는 앞 결과까지의 거리가 평균 11.3턴이 되도록 짰습니다. 그 시점의 최상급 모델 다섯을 붙였더니 가장 잘한 모델의 평균 정확도가 48.45%였고, 앞쪽 턴에서 뒤쪽 턴으로 가는 동안 47점 가까이 떨어졌습니다. 실패의 52~69%는 장기 시야 오류, 곧 긴 흐름을 이어 가지 못해 생긴 오류였습니다 (arXiv:2605.30434, 프리프린트). 일이 길어질수록 뒤에서 더 많이 틀린다는 뜻입니다.

걸음을 늘려도 좋아지지 않는다

같은 데이터 분석 시험의 저자들은 한 가지를 더 적었습니다. 에이전트에게 걸음을 더 주는 것이 성능을 반드시 올리지는 않았습니다. 저자들은 병목이 쓸 수 있는 걸음의 수, 곧 상호작용 예산보다 올바른 분석 상태를 유지하는 일에 있다고 봅니다 (arXiv:2605.30434, 프리프린트).

검색 에이전트에서도 같은 관찰이 나왔습니다. 검색을 되풀이하며 답을 찾는 에이전트 여섯을, 사람이 문서마다 매긴 적합성 판정에 대 보며 걸음마다 뜯어본 연구입니다. 검색을 얼마나 많이 했는가와 답이 얼마나 좋은가는 약하게만 맞물려 있었습니다. 답의 정확도는 검색 횟수나 모델 앞에 쌓인 글, 곧 맥락(context)의 양보다 그때까지 건져 올린 증거의 질과 더 잘 맞았습니다. 쓸모 있는 증거는 탐색 앞쪽에 나타나는 일이 많았습니다. 그런데도 에이전트는 검색을 계속했고, 건지는 것 없는 걸음이 긴 꼬리로 남았습니다 (arXiv:2608.01913, 프리프린트). 이 연구는 실패를 두 종류로 나눴습니다. 필요한 증거를 끝내 못 찾은 경우와, 찾아 놓고도 제대로 쓰지 못한 경우입니다. 뒤엣것이 있다는 사실만으로 「더 찾으면 된다」는 생각에는 반례가 생깁니다.

도구 호출이 수백 번에 이르는 탐색 과제도 있습니다. 숨은 규칙을 스스로 알아내야 하는 탐색 과제를 세 환경에 세웠는데, 가장 무거운 설정에서는 한 번의 실행에 평균 20만 토큰 넘게, 도구 호출 400회 넘게 듭니다. 표준 설정에서도 평균 3만 5천 토큰과 60회를 넘습니다. 여기서 에이전트들은 일관되게 부진했고 사람 참가자가 더 높은 점수를 받았습니다. 저자들은 단순한 확장이 이 과제에서 통하지 않았다고 적지만, 초록은 무엇을 키웠는지 밝히지 않아 걸음 예산에 관한 근거로 쓸 수는 없습니다. 저자들은 모아 둔 실행에서 여덟 가지 오류 유형을 뽑아 두 갈래 원인으로 묶었는데, 하나는 맥락 안에 갇혀 버리는 현상이고 다른 하나는 기능적 기본기의 결여입니다 (arXiv:2509.21766, 프리프린트).

걸음을 더 준 데이터 분석 시험과 검색 연구가 깨뜨린 것은 「더 오래, 더 많이 돌리면 된다」는 생각입니다. 곱셈 그림은 이것으로 깨지지 않습니다. 곱셈 모형은 일을 끝내는 데 필요한 걸음 수에 관한 이야기입니다. 이 두 연구가 다룬 것은 에이전트에게 허용된 걸음 수, 곧 예산입니다. 곱셈이 맞더라도 예산을 늘린다고 성공률이 오를 까닭은 없습니다. 그러니 이 연구들은 걸음끼리 독립인지를 직접 재지 않았고, 이 글은 독립 가정을 정면으로 잰 연구를 찾지 못했습니다. 탐색 과제 연구가 오류 원인에 붙인 이름 「맥락 안에 갇혀 버리는 현상」은 앞 걸음이 뒷걸음에 스며드는 통로를 떠올리게 합니다. 다만 초록은 이 이름을 정의하지 않으므로, 이것은 이름에서 읽어 낸 해석일 뿐입니다. 앞 걸음이 뒷걸음으로 넘어가는 통로 하나를 다음 절에서 봅니다.

기록이 길어지면 판단이 흐려진다

에이전트는 걸음마다 자기가 한 일과 돌려받은 것을 한자리에 쌓습니다. 앞의 터미널 시험이라면 231회의 회차가 통째로 쌓입니다. 그 자리에는 한도가 있습니다. 맥락 창(context window)은 모델이 한 번에 눈앞에 놓고 볼 수 있는 글의 분량 한도로, 여기서 밀려난 것은 모델에게 없는 것이 됩니다. 앞 걸음의 결과가 뒷걸음으로 넘어가는 가장 직접적인 통로가 이 쌓인 기록입니다.

그래서 긴 과제에서는 창이 금세 찹니다. 그러면 과제 요구사항, 환경에서 알아낸 사실, 이전 시도, 진단, 아직 안 끝난 하위 목표가 창 안에 파묻히거나 창 밖으로 밀려나, 필요한 순간에 결정에 영향을 주지 못할 수 있습니다. 저자들은 이것을 행동 상태의 소실이라고 부릅니다. 다만 이 서술은 자기 메모리 방법을 내놓는 논문이 문제를 소개하며 적은 것입니다 (arXiv:2607.08716, 프리프린트).

「맥락이 길어지면 성능이 떨어진다」는 말은 널리 통용됩니다. 그런데 이 글이 모은 연구 가운데 그 주제를 정면으로 내건 논문은 아직 실험을 하지 않은 논문입니다. 이 논문은 코드베이스, 곧 한 소프트웨어를 이루는 코드 전체가 클수록 맥락이 길어지고, 그것이 도구 호출의 정확도를 떨어뜨린다는 가설을 세웁니다. 그리고 그 가설을 검증할 실험의 설계를 제안하는 데서 끝납니다. 저자들 스스로 그 결합 가설을 직접 시험한 발표 연구가 아직 없다고 적습니다. 다만 그 서론은 선행 연구를 세 갈래로 정리해 둡니다. 검색 실패와 상관없이 맥락 길이만으로도 정확도가 떨어진다는 것, 실제로 성능이 떨어지기 시작하는 지점이 회사가 공표한 한도보다 한참 아래라는 것, 누적된 맥락이 길수록 과제 해결률이 낮더라는 것입니다 (DOI: 10.2139/ssrn.7344299, 프리프린트·설계 제안). 이 세 갈래는 그 논문이 잰 것이 아니라 그 논문이 읽고 정리한 선행 연구입니다. 둘을 섞으면 없는 실험을 있는 것처럼 인용하게 됩니다.

이 방향의 측정이 있기는 합니다. 다만 대부분 「우리 해법이 통했다」는 형태입니다. 맥락을 압축하자는 연구는 끝없이 자라는 맥락이 무관한 정보로 추론을 흐린다고 진술합니다. 그리고 기존 압축 방법들보다 성공률이 올랐고, 작은 모델에서는 최대 46%까지 올랐다고 보고합니다 (arXiv:2510.00615, 프리프린트). 기록을 계속 덧붙이는 대신 지금 어디까지 했는지를 정리한 실행 상태로 갈아 끼우자는 연구도 있습니다. 이 연구는 덧붙이기만 하는 기록이 응답 지연을 키우고 맥락을 오염시켜 실패를 낳는다고 적고, 정확도가 올랐다고 보고합니다 (arXiv:2608.26263, 프리프린트). 기억을 골라 되짚어 주는 모듈을 붙인 연구는 두 벤치마크에서 8.3%포인트와 6.8%포인트를 올렸습니다 (arXiv:2607.08716, 프리프린트). 웹 에이전트가 걸음마다 수만 토큰짜리 웹페이지 구조를 통째로 읽어 들이는 관행이 과제가 끝나기 한참 전에 추론을 갉아먹는다고 지적한 원고도 있습니다. 이쪽은 측정이 아니라 문제 제기입니다 (arXiv:2606.06708, 프리프린트·포지션 페이퍼).

이 이득들은 전부 자기 방법을 내놓는 논문의 결과입니다. 고쳤더니 좋아졌다는 결과는 맥락 길이가 원인이었다는 것을 따로 떼어 보여 주지 못합니다. 문제의 크기는 해법을 내놓는 쪽이 가장 크게 그리기 마련입니다.

그런데 길다고 저절로 무너지지는 않았다

다중 에이전트 시스템(multi-agent system)은 에이전트 여럿이 서로 말을 주고받으며 함께 일하는 짜임입니다. 에이전트 셋을 200턴에서 500턴까지 대화하게 두고, 모델 내부는 보지 않은 채 겉으로 드러난 행동만 관찰한 연구가 있습니다. 연구진이 붙인 실패 이름들은 이렇습니다. 갑자기 의미 있는 말을 멈추는 붕괴, 한 에이전트의 고장이 다른 에이전트를 끌고 들어가는 전파, 빈자리를 나머지가 말수로 메우는 보상적 팽창, 분량은 유지하면서 알맹이만 빠지는 공허한 다변입니다.

결과는 앞 절과 반대 방향입니다. 붕괴는 저절로 일어난 열화가 아니라, 교란을 넣어야 일어난 촉발된 실패였습니다. 교란 없이 돌린 기준선 실행 12회 가운데 붕괴한 것은 0회였습니다. 에이전트에게 준 특성을 바꿔 넣는 교란(특성 변이)을 건 분기 실행 6회 중에서는 5회가 붕괴했고, 그것도 정해진 턴에서 무너졌습니다 (DOI: 10.2139/ssrn.6420858, 프리프린트).

이 결과는 「길면 저절로 썩는다」를 지지하지 않습니다. 이 결과가 가리키는 쪽은 길이는 조건이고 방아쇠는 따로 있다는 것입니다. 다단계 추론에서 본 문턱 뒤의 절벽과도, 곱셈이 그리는 완만한 감쇠와도 다른 세 번째 그림입니다. 다만 여러 에이전트가 대화하는 설정에서 관측한 것이라, 에이전트 하나가 도구로 일하는 상황에 그대로 옮길 수는 없습니다.

같은 연구에는 더 서늘한 관찰도 있습니다. 무너진 에이전트도 정체성 확인 질문, 곧 자기에게 주어진 정체성을 기억하는지 묻는 점검은 높은 충실도로 계속 통과했습니다. 저자들은 이것을 정체성을 기억하는 능력과 실제 대화 행동 사이의 구조적 분리라고 부릅니다. 흔히 쓰는 이 점검으로는 붕괴를 잡아내지 못했다는 뜻입니다.

어디서 깨졌는가 — 실패 귀속

실패로 끝난 실행 하나가 145걸음이라면 어느 걸음이 범인인지 어떻게 알 수 있을까요. 이 글이 모은 연구 여럿이 「몇 퍼센트 성공했나」 다음의 물음, 곧 「어디서 깨졌나」를 묻습니다.

여기에는 용어 둘이 필요합니다. 궤적(trajectory)은 에이전트가 처음부터 끝까지 밟은 걸음을, 무엇을 생각했고 어떤 도구를 불렀고 무엇을 돌려받았는지까지 순서대로 남긴 기록입니다. 실패 귀속(failure attribution)은 실패로 끝난 궤적을 놓고 어느 걸음에서 결정적으로 어긋났는지를 짚어 내는 일입니다.

실패 귀속이 필요한 곳은 사후 디버깅만이 아닙니다. 강화학습으로 장기 시야 에이전트를 훈련할 때도 같은 문제가 나옵니다. 「AI 모델 — 규칙 대신 예시에서 배우는 계산」의 말로, 강화학습은 해 본 행동에 점수를 주고 점수가 커지는 쪽으로 행동을 고쳐 가게 하는 방식입니다. 끝에서 실패하면 옳았던 앞 걸음까지 함께 벌점을 받고, 성공한 궤적이 워낙 드물어 배울 신호가 거의 사라집니다. 다만 이 서술은 자기 방법을 내놓는 논문이 문제를 소개하며 적은 것이고, 그 논문이 내놓은 해법은 다른 방향입니다. 범인 걸음을 짚는 대신, 궤적을 중간 이정표에서 나누고 이정표까지 나아간 만큼 공로를 잘게 나눠 주는 장치들을 묶었습니다. 이 방법으로 긴 ALFWorld 과제의 성공률이 92.9%가 되어, 비교한 기존 방법의 53.5%의 두 배 가까이 됐습니다 (arXiv:2605.06078, 프리프린트). 어느 걸음이 범인인지 짚는 일과, 짚지 않고도 가르치는 일은 다른 문제입니다.

실패 귀속 자체는 아직 잘 되지 않습니다. 다섯 분야에서 오류를 일부러 넣지 않고 실제로 실패한 궤적 1,140건을 모은 벤치마크가 있습니다. 궤적마다 사람이 독립적으로 채점한 정답, 곧 결정적으로 어긋난 가장 이른 걸음(근본 원인 걸음)이 붙어 있습니다. 궤적 길이의 중앙값은 145걸음입니다. 여기서 가장 강한 기존 방법이 근본 원인 걸음을 정확히 맞힌 비율은 13.2%였습니다 (arXiv:2608.15242, 프리프린트). 같은 논문이 제안한 방법은 책임 있는 역할, 곧 여러 역할 가운데 어느 쪽이 잘못했는지를 51.1%, 걸음을 24.1% 맞혔습니다. 저자들이 자기 방법으로 자기 벤치마크를 푼 값이므로, 비교 기준으로 삼은 기존 방법(기준선)의 13.2%와 함께 읽어야 합니다.

심사를 거쳐 학회 지면에 실린 연구도 같은 어려움을 짚습니다. 이 논문은 다중 에이전트 시스템의 실패 귀속에서 언어모델을 쓰는 기존 방법이 긴 기록과 전문 지식 부족으로 어려움을 겪는다고 진단합니다. 그래서 사람이 디버깅하는 방식을 본떠, 먼저 실패 범위를 좁히고 그다음 걸음을 지목하는 두 단계로 나눴습니다. 걸음 단위 정확도는 기존 방법보다 최대 24.27% 나아졌습니다 (DOI: 10.1609/aaai.v40i39.40594, 심사 지면). 다만 초록은 기존 방법의 절대 수준을 밝히지 않습니다. 몇 점에서 몇 점으로 간 것인지, 24.27이 퍼센트포인트인지 상대 개선인지도 적혀 있지 않습니다.

모델 심판은 원인의 종류를 잘 가르지 못했다

사람이 145걸음짜리 기록을 다 읽기는 어렵습니다. 그래서 실패 귀속 판정을 다시 언어모델에게 맡기는 연구가 늘고 있습니다. 궤적을 읽히고 「어느 걸음이 범인인가」를 답하게 하는 것입니다. 「점수는 올랐다. 그런데 무엇이 올랐나」의 말로, 이렇게 채점을 맡은 언어모델을 모델 심판이라고 부릅니다. 이 글에서 가장 무거운 결과가 이 판정을 검사한 연구이고, 이 연구는 심사를 거쳐 학술지에 실렸습니다.

이 연구는 실패 원인을 둘로 갈라 실험을 짰습니다. 국소적 오염(localized corruption)은 한 걸음에 들어온 나쁜 입력이 만든 실패이고, 분산된 표류(distributed degradation)는 여러 걸음에 걸쳐 조금씩 어긋나 생긴 실패입니다. 이 글이 내내 견줘 온 두 그림, 곧 한 번의 사고냐 누적이냐가 그대로 기계 판정의 문제가 된 것입니다. 연구진은 에이전트 과제 두 개에서 궤적을 보여 주는 자세함을 네 단계로 바꾸고, 통제된 결함을 넣은 궤적을 심판 모델 열 개에게 보여 주며 물었습니다.

대부분의 심판은 원인과 상관없이 결과를 만들어 낸 그 걸음을 지목했습니다. 그래서 두 원인을 각각 맞힌 정확도가 사실상 한 숫자를 두 번 읽은 값이 되고, 둘의 차이(여백)가 0 근처에 머뭅니다. 프롬프트는 대답을 받으려고 모델 앞에 넣는 글입니다(「다음 낱말을 맞히는 훈련이 어떻게 대화가 되는가 — 언어모델을 읽기 위한 최소 토대」). 궤적을 가장 자세히 보여 준 조건에서도 표준 프롬프트로는 어떤 심판도 여백(margin) 0.16을 넘지 못했습니다. 결함의 크기를 2500배 범위에서 바꿔도 여백은 그대로였습니다. 현실적인 과제에서는 심판 여섯 중 넷이 거꾸로 갔습니다. 원인이 분산돼 있을 때 오히려 구체적인 한 걸음을 범인으로 더 자주 지목한 것입니다 (DOI: 10.3390/make8090275, 심사 지면).

같은 심판도 쉬운 조건에서는 결함을 짚어 냈습니다. 궤적이 틀렸음을 보이는 데 값 하나만 비교하면 되는 조건에서는 50회 중 50회 결함 걸음을 맞혔습니다. 산술이 필요한 조건에서는 50회 중 1회, 궤적에 아무 모순이 없는 조건에서는 50회 중 0회였습니다. 저자들은 이 한계가 능력 부족에서 오지 않는다고 적습니다. 모델이 아닌 결정론적 규칙, 곧 미리 정해 둔 계산 규칙 하나는 주 실험의 궤적들에서 두 원인을 갈라냈습니다. 프롬프트를 한 번 손보자 여백은 0.34까지 올라갔습니다.

모델 심판이 사람과 잘 맞는다는 보고도 있습니다. 네 영역에서 궤적 3,100건 넘게 모아 실패를 귀속시킨 진단 벤치마크에서, 심판과 사람 주석의 일치도는 0.84로 사람 주석자들끼리의 일치도 0.61보다 높았습니다. 주석은 사람이 궤적에 붙인 판정입니다. 다만 저자들 스스로 이 벤치마크를 초기 단계의 방법론적 한 걸음이라고 부릅니다 (arXiv:2604.11978, 프리프린트). 두 결과는 정면으로 부딪히지 않습니다. 앞의 연구는 원인의 종류를 가르는 능력을 물었고, 이 연구는 붙인 판정이 사람과 맞는지를 물었습니다. 이 대조는 두 초록이 각자 밝힌 연구 질문을 이 글이 나란히 놓은 것이고, 어느 쪽 저자가 적어 둔 것은 아닙니다. 심판이 사람과 잘 맞는다는 보고가 심판이 무엇이든 가려낸다는 뜻은 아닙니다.

두 원인을 시험한 앞 연구의 저자들은 결론의 범위를 스스로 좁혀 둡니다. 평가한 모델과 프롬프트, 구성한 과제 안에서의 신뢰성 경고라는 것입니다. 그 범위 안에서도 남는 것이 있습니다. 모델 심판이 「이 단계에서 깨졌다」고 답할 때, 그 답의 상당 부분은 결과가 튀어나온 단계를 가리키는 반사일 수 있습니다. 모델 심판을 어디까지 믿을지는 「채점자도 언어모델이다 — 그 판정을 어디까지 믿을 수 있는가」로 이어집니다.

미리 알 수 있는가

깊이 조사하는 과제에서 에이전트의 자신감을 실패 신호로 써 본 연구가 있습니다. 에이전트에게 스스로 얼마나 확신하는지 말하게 하거나, 다음 낱말을 얼마나 확신하며 내놓는지를 잽니다. AUROC는 어떤 신호가 실패한 실행과 성공한 실행을 얼마나 잘 갈라내는지 나타내는 눈금으로, 아무렇게나 찍으면 0.5, 완벽하면 1.0입니다. 궤적이 끝난 시점에는 말로 밝힌 자신감이 실패를 꽤 잘 갈라냈습니다. 평균 AUROC 0.85입니다. 그런데 궤적이 절반쯤 진행된 시점에서는 검사한 어떤 신호도 평균 0.60을 넘지 못했습니다 (arXiv:2608.29685, 프리프린트).

깨진 자리를 나중에 찾는 일 다음에 오는 물음이 이것입니다. 깨질 것을 미리 알 수 있는가.

저자들은 이유도 짚습니다. 에이전트가 진행 중에 탐색 방향을 자주 갈아탄다는 것입니다. 지금 막다른 길에 있다는 신호가 정직하게 나와도, 에이전트가 곧 다른 길로 옮겨 가면 그 신호와 최종 결과의 연결이 끊깁니다. 그래서 저자들의 권고는 뜻밖입니다. 궤적 중간에 개입하기보다 끝난 뒤의 자신감을 보고 다시 돌릴지를 정하자는 것이고, 이들의 실험에서는 그쪽이 더 나았습니다.

더 곤란한 결과도 있습니다. 여러 단계를 거쳐야 하는 보안 과제에 중간 점검 지점을 박아 두고, 시험하려는 능력을 쓸 지점에 닿기 전에 실패한 것과 닿은 뒤에 실패한 것을 갈라 본 연구입니다. 앞에서 관찰한 상태를 나중에 다시 써야 하는 과제에서, 실패의 상당수는 그 상태를 보기도 전에 일어났습니다. 연구진은 시드, 곧 무작위 출발 조건을 92개 두고 설계를 미리 못 박은 실험에서 절차를 분명히 해 주는 안내 문구를 넣어 봤습니다. 그러자 상태를 관찰한 비율이 안내 없는 대조 문구 조건의 65.5%에서 95.4%로 올랐습니다. 여기까지는 깔끔한 진단입니다.

그런데 같은 설계를 같은 모델 계열의 다음 세대로 되풀이하자 효과가 반대로 나왔습니다. 상태를 관찰했는지도 과제 완료를 더 이상 안정적으로 예측하지 못했습니다. 저자들의 결론은 이렇습니다. 실패의 주된 원인은 모델 세대를 건너뛰며 옮겨 갈 수 있습니다 (arXiv:2608.20563, 프리프린트).

제미나이 2.5 플래시에서 맞았던 진단이 같은 계열 다음 세대인 3.7 플래시에서는 맞지 않았다는 뜻입니다. 관찰한 상태를 다시 써야 하는 한 갈래 과제에서 나온 결과입니다.

어떤 실패는 모델 바깥에서 온다 — 응답 없는 시간 초과

에이전트가 도구로 주문을 넣었는데 응답이 오지 않고 시간이 초과됐다고 해 봅니다. 이 신호만으로는 아무것도 실행되지 않은 것인지, 실행은 됐는데 응답만 사라진 것인지 알 수 없습니다. 앞의 경우라면 다시 보내는 것이 맞고, 뒤의 경우라면 다시 보내는 순간 같은 일이 두 번 벌어집니다. 멈추는 선택은 정확히 반대로 틀립니다. 모든 실패가 모델 안에서 일어나는 것은 아닙니다.

멱등성(idempotency)은 같은 요청을 두 번 보내도 결과가 한 번 보낸 것과 똑같아지는 성질입니다. 주문이 멱등이면 두 번 눌러도 주문은 하나입니다.

이 상황을 정면으로 시험한 연구는 실험 단위마다 똑같이 생긴 시간 초과 뒤에 두 가지 숨은 상태, 곧 실행되지 않은 상태와 실행된 상태를 짝지어 두었습니다. 그러면 추가 정보 없이 복구할 때의 성공 상한이 정확히 0.5가 됩니다. 동전 던지기와 같습니다. 소프트웨어 작업 틀 81개로, 한 서비스의 모델 하나에 756쌍을 돌린 주 실험의 결과는 이렇습니다. 프롬프트로 조언만 준 조건은 0.4979, 상태를 조회해 확인하게 해 준 조건은 0.8066이었습니다. 서비스 쪽이 같은 요청을 한 번만 처리하도록 보장하는 안정적인 멱등 계약을 깔아 둔 조건은 1.0000이었습니다 (DOI: 10.21203/rs.3.rs-10730245/v1, 프리프린트).

첫 숫자 0.4979는 동전 던지기 천장에 붙어 있는 값입니다. 잘 타이른 조언은 사실상 아무것도 하지 못했습니다. 상태를 물어볼 창구를 열어 주자 0.8066으로 뛰었고, 재시도를 설계상 안전하게 만들자 실패가 사라졌습니다. 저자들은 인터페이스 쪽에서 복구 수단을 주면 정보 없는 천장에서 믿을 만한 상태 복구로 옮겨 갈 수 있다고 정리합니다. 같은 문장에 단서도 붙입니다. 정보를 준다고 해서 올바르게 쓴다는 보장은 없다는 것입니다.

범위도 저자들이 직접 좁혀 둡니다. 실제 운영에서 이런 일이 얼마나 자주 벌어지는지, 모델 내부에서 무슨 일이 일어나는지, 제공자마다 어떻게 다른지는 추정 대상 밖입니다. 일부 실험 조건에서는 출력 형식 위반도 무시할 수 없는 수준이었습니다. 그래도 방향은 분명합니다. 이 실험은 모델을 그대로 두고 인터페이스만 바꿨는데 실패가 줄었습니다. 이 실험에서 실패의 큰 몫은 무슨 일이 있었는지 바깥 세계가 알려 주지 않은 데서 왔습니다. 정보를 준 뒤에도 남은 실패는 그 정보를 쓰는 쪽의 몫입니다.

어떤 사슬은 실패해서가 아니라 "됐다"는 말에 멈췄다

긴 사슬이 끊어지는 방식 가운데 가장 사람 같은 것이 있습니다.

유한요소해석은 구조물을 잘게 나눠 힘과 변형을 계산하는 공학 계산법입니다. 이 계산을 하는 코드를 짜는 과제 네 개를 놓고, 에이전트 조합 일곱 가지로 1,120회의 통제 실험을 돌린 연구가 있습니다. 먼저 나온 두 결과는 「효과 없음」입니다. 검토하는 에이전트를 더 붙이는 것도, 팀 구성을 바꾸는 것도 일관된 개선을 주지 못했습니다. 비판적으로 평가하라고 만들어 넣은 에이전트는 실제로 그 일을 하지 않았습니다.

저자들이 지목한 주된 실패 기제는 「좋아 보인다」「실행 성공」처럼 일이 끝난 듯 들리는 조기 동의가 되풀이 개선을 미리 끝내 버리는 것입니다. 오해를 부르는 동의만 걷어 내고 필요한 안내는 남기자 성공률이 한 과제에서 10.7%에서 77.5%로, 다른 두 과제에서 0.7%에서 45.0%로 올랐습니다 (DOI: 10.2139/ssrn.6532560, 프리프린트). 다만 이것은 저자들 자신의 개입입니다. 실험에 쓴 모델은 한 가지로 원고가 나온 시점에 이미 앞선 세대였고, 과제도 한 갈래입니다. 수치의 크기보다 기제만 가져가는 편이 안전합니다.

모르겠다고 물러서는지도 따로 잰 벤치마크가 있습니다. 대출 심사와 보험금 청구 판정 같은 규제 업무를 장기 시야 과제로 짠 벤치마크에서, 기억 구조 여섯 가지를 돌린 연구입니다. 기억 구조는 긴 기록을 어떻게 간직하고 꺼내 쓸지 정한 방식입니다. 여섯 구조 전부가 모든 사례에서 판단을 내렸고, 모르겠다고 물러서는 선택지는 어느 구조도 쓰지 않았습니다. 같은 논문에는 저자들이 자기 예측을 잃는 장면도 있습니다. 저자들은 요약 방식이 사실 회수에 실패할 것이라고 미리 등록해 두었는데, 데이터는 크게 반대로 나왔습니다. 사실을 지키라는 지시를 붙인 평범한 요약이 여러 축에서 오히려 강한 기준선이었습니다 (arXiv:2604.19457, 프리프린트).

하나의 숫자가 가리는 것

마지막으로 무엇을 재느냐 자체를 봅니다. 방금 그 대출 심사 벤치마크의 저자들은 이 문장에서 출발합니다. 지금의 평가는 과제 성공을 숫자 하나로 보고하는데, 그 하나가 서로 다른 실패 양식들을 뭉갭니다 (arXiv:2604.19457, 프리프린트).

벤치마크를 실제로 돌리는 프로그램 틀을 평가 장치라고 합니다. 이런 장치들을 유형별로 정리한 조사 논문은, 평가 장치가 과제가 무엇인지, 모델이 무엇을 해도 되는지, 증거를 어떻게 채점하는지를 정한다고 적습니다. 그중 도구 사용을 재는 장치는 도구를 부르지 않기로 결정하는 일과 도구 실패에서 복구하는 일을 따로 떼어 잽니다 (DOI: 10.20944/preprints202609.0236.v1, 프리프린트·조사 논문).

실패 진단과 복구 능력을 재는 법을 종합한 글은 기존 벤치마크가 정상 조건에서의 과제 성공만 주로 재고, 왜 실패했는지도 복구할 수 있는지도 거의 보여 주지 않는다고 진단합니다. 필요한 것으로는 통제된 결함 주입, 세분화된 진단, 그리고 그냥 잘 굴러간 수동적 성공과 스스로 복구해 낸 능동적 복구를 가르는 평가 규약을 듭니다. 같은 글은 이 일이 이미 시작됐다고도 적습니다. 궤적에 근거한 진단이 프롬프트만 고치는 수리보다 크게 낫다는 결과가 나왔고, 결함을 갈래별로 나눈 교란 분류표와 과제 완료와 따로 복구를 재는 지표도 제안돼 있다는 것입니다. 남은 문제로는 벤치마크 자체의 타당성을 꼽습니다. 널리 쓰이는 벤치마크에서 숨은 결함이 발견되면서 모델의 오류와 벤치마크의 결함이 뒤섞인다는 것입니다 (DOI: 10.2139/ssrn.7335138, 프리프린트·종합).

이 대목은 「점수는 올랐다. 그런데 무엇이 올랐나」가 던진 물음과 만납니다. 거기서 흔들린 것이 「맞혔다」의 의미였다면, 여기서는 「끝냈다」의 의미가 흔들립니다.

지금 말할 수 있는 것과 없는 것

정리하면 아래 일곱 가지입니다. 이 가운데 여섯이 프리프린트에 기대고 있고, 심사를 거친 지면에 실린 것은 ⑤ 하나뿐입니다.

① 곱셈은 예측이지 관측이 아닙니다. 한 걸음 95%가 스무 걸음 36%가 된다는 계산은 걸음끼리 독립일 때의 산술입니다. 복잡도를 키운 다단계 추론에서는 완만한 감쇠보다 문턱 뒤의 붕괴가 관측됐습니다. 다만 걸음 수가 아니라 복합 복잡도를 가로축으로 잰 것이고, 도구를 쥔 에이전트의 결과도 아닙니다 (DOI: 10.21203/rs.3.rs-8251575/v1).

② 걸음을 늘리는 것은 해법이 되지 못했습니다. 걸음을 더 줘도 성능이 반드시 오르지 않았고 (arXiv:2605.30434), 검색 노력과 답의 질은 약하게만 맞물렸습니다 (arXiv:2608.01913). 다만 이것은 허용된 예산에 대한 결과이고, 걸음의 독립성을 잰 것은 아닙니다.

③ 그렇다고 길이가 곧 붕괴인 것도 아닙니다. 200~500턴 실험에서 기준선 12회 중 붕괴는 0회였습니다. 붕괴는 특성에 변이를 주는 교란을 넣었을 때 일어났고(변이 분기 6회 중 5회), 저자들은 이것을 자발적 열화가 아닌 촉발된 실패로 읽습니다 (DOI: 10.2139/ssrn.6420858).

④ 깨진 자리를 찾는 일부터 아직 잘 되지 않습니다. 중앙값 145걸음 궤적에서, 가장 강한 기존 방법이 근본 원인 걸음을 정확히 맞힌 비율은 13.2%였습니다 (arXiv:2608.15242).

⑤ 시험한 범위에서 모델 심판은 원인의 종류를 잘 가르지 못했습니다. 표준 프롬프트에서 국소적 오염과 분산된 표류를 가르는 여백이 0 근처였고, 심판들은 결과를 낸 걸음을 지목하는 한 가지 성향으로 모였습니다. 프롬프트를 손보면 여백이 조금 올랐습니다 (DOI: 10.3390/make8090275, 심사 지면).

⑥ 깊이 조사하는 과제에서, 궤적 중간의 신호는 실패를 거의 예고하지 못했습니다. 절반 지점에서 어떤 신호도 평균 AUROC 0.60을 넘지 못했고 (arXiv:2608.29685), 진단 자체가 모델 세대를 넘어가며 뒤집힌 사례가 있습니다 (arXiv:2608.20563).

⑦ 어떤 실패는 인터페이스를 바꾸자 사라졌습니다. 조언만으로는 동전 던지기 천장에 머물던 복구가 상태 조회로 0.8066, 설계상 안전한 멱등 계약으로 1.0000이 됐습니다 (DOI: 10.21203/rs.3.rs-10730245/v1).

확실히 말할 수 없는 것도 분명합니다. 이 글은 긴 작업의 실패율이 어떤 함수 모양을 그리는지 넓게 잰 연구를 찾지 못했습니다. 여기 인용한 낙차들은 저마다 다른 과제, 다른 모델, 다른 눈금에서 나온 것이라 한 곡선 위에 올릴 수 없습니다. 걸음들이 실제로 서로 독립인지, 실패가 얼마나 자주 누적형인지도 모릅니다. 그것을 가려내는 데 흔히 맡기는 모델 심판이, 시험된 범위에서 두 원인을 잘 구별하지 못했기 때문입니다.

남는 것은 조금 다른 문장입니다. 사슬이 끊어진 자리를 나중에 찾는 일과, 끊어질 자리를 미리 아는 일은 다릅니다. 이 글이 모은 연구로 할 수 있는 것은 첫 번째의 일부입니다. 두 번째에 대해 이 글이 모은 연구가 내놓은 답은, 시험된 과제에서는 아직 어렵다는 쪽입니다.

근거 논문

23건 가운데 21건이 동료심사를 거치지 않은 프리프린트입니다. 심사 지면에 실린 두 건은 그렇게 표시했습니다.

• "Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading" (2026, 프리프린트) — arXiv:2607.08964 — 46개 과제, 15개 모델. 과제당 평균 990만 토큰·231회차·85.3분, 최상 15.2%/10.9%, 전체 평균 4.3%/1.7%.
• "SCALER: A Procedurally Generated, Leakage-Resistant Benchmark for Evaluating Multi-Step Reasoning in Large Language Models" (2025, 프리프린트) — DOI: 10.21203/rs.3.rs-8251575/v1 — GPT-4o·클로드 3.5 소넷 세대 7개 모델·1만 2천 문항. S자 감쇠와 붕괴 문턱. 도구를 쥔 에이전트가 아닌 다단계 추론.
• "LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis" (2026, 프리프린트) — arXiv:2605.30434 — 68과제 2,225턴. 최상 48.45%, 앞뒤 턴 47점 낙차, 실패의 52~69%가 장기 시야 오류. 걸음 추가가 성능을 반드시 올리지 않음.
• "Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents" (2026, 프리프린트) — arXiv:2608.01913 — 검색 노력과 답 품질의 약한 정렬, 수확 없는 걸음의 긴 꼬리, 검색 실패와 활용 실패의 분해.
• "UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios" (2025, 프리프린트) — arXiv:2509.21766 — 20만 토큰·400회 도구 호출 규모. 사람보다 낮은 점수, 단순 확장 실패, 여덟 오류 유형.
• "Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents" (2026, 프리프린트) — arXiv:2607.08716 — 행동 상태 소실: 요구사항·환경 사실·이전 시도·진단·미해결 하위목표가 묻히거나 밀려난다.
• "Context Rot and MCP Tool Attrition in Production-Scale Codebases" (2026, 프리프린트·설계 제안) — DOI: 10.2139/ssrn.7344299 — 실험 없이 설계만 제안. 서론이 정리한 선행 세 갈래(맥락 길이만의 효과, 공표 한도보다 낮은 실효 창, 누적 맥락과 해결률).
• "ACON: Optimizing Context Compression for Long-horizon LLM Agents" (2025, 프리프린트) — arXiv:2510.00615 — 자라는 맥락이 낳는 비용, 무관 정보에 의한 추론 열화.
• "SKILL.state: Scalable Long-Horizon Agent Skills" (2026, 프리프린트) — arXiv:2608.26263 — 덧붙이기만 하는 기록이 지연 악화와 맥락 오염 실패를 낳는다.
• "Signal-Driven Observation for Long-Horizon Web Agents" (2026, 프리프린트·포지션 페이퍼) — arXiv:2606.06708 — 걸음마다 수만 토큰의 화면 구조를 삼키는 관행이 과제 종료 한참 전에 추론을 침식한다는 제기.
• "Behavioral Drift in Multi-Agent LLM Systems: Emergent Failure Modes, Cascade Dynamics, and Measurement Challenges" (2026, 프리프린트) — DOI: 10.2139/ssrn.6420858 — 200~500턴. 기준선 12회 중 붕괴 0회, 변이 분기 6회 중 5회 붕괴. 붕괴한 에이전트도 정체성 확인 통과.
• "LongRCA Bench: Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures" (2026, 프리프린트) — arXiv:2608.15242 — 주입 없는 실패 궤적 1,140건, 중앙값 145걸음, 최강 기준선 13.2%. 저자 방법 역할 51.1%·걸음 24.1%.
• "Scope Delineation Before Localization: A Two-Stage Framework for Enhancing Failure Attribution in Multi-Agent Systems" (2026, 심사 지면) — DOI: 10.1609/aaai.v40i39.40594 — 긴 로그와 전문 지식 부재라는 진단, 범위 확정 후 지목의 두 단계, 걸음 단위 최대 24.27% 개선.
• "One Reflex, Two Answers: Model Judges Weakly Discriminate Localized from Distributed Causes in Agent Failure Attribution" (2026, 심사 지면) — DOI: 10.3390/make8090275 — 모델 심판 열 개·네 공개 수준. 표준 프롬프트에서 여백 0.16 미만, 프롬프트 개입 후 0.34, 2500배 결함 훑기에도 불변, 현실 과제에서 여섯 중 넷 역전, 비교 50/50 대 산술 1/50 대 일관 궤적 0/50.
• "The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break" (2026, 프리프린트) — arXiv:2604.11978 — 네 영역 3,100건 넘는 궤적. 사람 주석자 간 일치도 0.61, 모델 심판-사람 일치도 0.84. 저자들은 초기 단계의 방법론적 한 걸음이라 적는다.
• "Last Step Matters: Early Uncertainty Cannot Predict Failure in Long-Horizon Agents" (2026, 프리프린트) — arXiv:2608.29685 — 완주 시점 말 자신감 평균 AUROC 0.85, 50% 지점에선 어떤 신호도 0.60 미만. 원인은 경로 갈아타기. 권고는 최종 자신감 기반 재시작.
• "Beyond End-to-End Success: Diagnosing Failures in Long-Horizon Security LLM Agents" (2026, 프리프린트) — arXiv:2608.20563 — 92시드 사전지정 실험에서 안내가 상태 관찰을 65.5%→95.4%로. 다음 세대 모델에선 반대 효과, 지배적 실패 원인의 세대 간 이동.
• "Did It Happen? Counterfactual Evaluation of LLM Agent Recovery from Ambiguous Tool Outcomes" (2026, 프리프린트) — DOI: 10.21203/rs.3.rs-10730245/v1 — 무정보 복구 상한 0.5. 조언 0.4979 / 상태 조회 0.8066 / 멱등 계약 1.0000. 일부 셀에서 엄격 출력 위반이 상당. 운영 발생률·내부 기제·제공자 비교는 추정 밖.
• "Optimizing Multi-Agent LLM Collaboration via Communication-Flow Control" (2026, 프리프린트) — DOI: 10.2139/ssrn.6532560 — 1,120회 통제 실험. 검토자 증원·구성 변경은 이득 없음, 조기 동의가 지배적 실패 기제. 개입 후 10.7%→77.5%, 0.7%→45.0%.
• "Four-Axis Decision Alignment for Long-Horizon Enterprise AI Agents" (2026, 프리프린트) — arXiv:2604.19457 — 단일 성공 스칼라가 실패 양식을 뭉갠다. 여섯 기억 구조 전부가 모든 사례에서 판단, 저자 사전 등록 예측이 데이터에 크게 역전.
• "Benchmark, Agent, and Tool-Use Harnesses for Large Language Models: A Taxonomy of Evaluation Infrastructure" (2026, 프리프린트·설문) — DOI: 10.20944/preprints202609.0236.v1 — 평가 장치가 과제·허용 행동·채점을 정한다. 도구 사용 항목에 "부르지 않기로 결정"과 "도구 실패에서 복구"가 포함.
• "Designing Benchmarks and Evaluation Protocols for Agent Failure Diagnosis and Repair Capabilities" (2026, 프리프린트·종합) — DOI: 10.2139/ssrn.7335138 — 정상 조건 성공만 재는 현행 벤치마크. 통제된 결함 주입·세분 진단·수동적 성공과 능동적 복구를 가르는 규약. 벤치마크 결함이 모델 오류와 섞인다.
• "Milestone-Guided Policy Learning for Long-Horizon Language Agents" (2026, 프리프린트) — arXiv:2605.06078 — 종점 실패가 옳았던 앞 걸음까지 벌하는 공로 오귀속, 성공 궤적 희소로 인한 학습 신호 소실.