내가 맡긴 그 모델이 아니다 — 어제 검증한 동작이 오늘 달라질 때

똑같은 문장을 두 번 보냈다

똑같은 문장을 두 번 보냈습니다. 두 번 다 똑같은 답이 돌아온 비율은 22.1%였습니다.

이 숫자는 상용 API 다섯 곳의 모델 여덟 개로 돌린 통제 시행 4,104회에서 나왔습니다. API는 프로그램이 회사 서버에 있는 모델을 인터넷 너머로 불러 쓰는 창구입니다. 조건은 제공자 문서가 "이렇게 맞추면 답이 고정된다"고 적어 둔 그대로였습니다. 먼저 온도를 0으로 내렸습니다. 첫걸음 「생성형 AI의 대답 — 한 조각씩 골라 이어 붙인 문장」의 말로, 온도는 언어모델이 다음 토큰(글의 조각)을 뽑을 때 확률이 낮은 후보까지 얼마나 과감하게 고를지를 정하는 설정값입니다. 0으로 두면 매번 확률이 가장 높은 후보만 고르게 됩니다. 여기에 씨앗값까지 같은 것으로 못 박았습니다. 씨앗값(seed)(시드)은 뽑기를 흉내 내는 계산의 출발 숫자로, 같은 씨앗을 주면 같은 뽑기 순서가 나오게 되어 있습니다. 첫걸음은 이렇게 뽑기를 끄면 같은 부탁에 거의 같은 대답이 나온다고 적었습니다. 문서대로라면 답은 매번 같아야 합니다.

같았던 것은 다섯 번에 한 번꼴입니다. 반면 자기 컴퓨터에 설치해 직접 돌린 모델들, 곧 로컬 실행에서는 95.6%가 같았습니다. 초록은 두 쪽이 같은 모델인지는 밝히지 않습니다. 네 배가 넘는 격차입니다. 여러 차례 주고받는 대화나, 문서를 찾아 붙여 주는 방식에서도 이 흔들림은 남았습니다. 시험한 모델 하나는 50번을 돌리는 동안 완전히 같은 답을 한 번도 내지 않았습니다 (DOI: 10.21203/rs.3.rs-9096283/v1, 프리프린트). 앞의 22.1%는 모델 여덟 개를 묶은 값이고, 이 0회는 그중 한 모델의 값입니다. 초록은 둘을 견주지 않습니다. 같은 입력을 같은 설정으로 두 번 넣었는데 답이 달라지는 성질을 비결정성(non-determinism)이라고 합니다.

이상한 것은 그다음입니다. 50번이 전부 달랐던 그 답들은 뜻으로 보면 거의 같았습니다. 의미가 얼마나 비슷한지 재는 점수가 0.97을 넘었습니다. 방금 확인한 답과 다음에 온 답이 낱말은 다른데 읽으면 같은 소리입니다. 그래서 쓰는 사람 눈에는 흔들린다는 신호가 화면에 뜨지 않습니다. 같은 연구진은 원인을 좁혀 가는 실험도 했습니다. 지목된 원인은 "구름 위의 서버에서 돌린다"는 사실 자체보다 그 서버에 얹힌 운영 설비의 복잡함이었습니다. 다만 이 실험도 프리프린트, 곧 동료심사를 거치기 전에 공개된 원고입니다. 이 글이 모은 연구 가운데 같은 규모로 이 격차를 다시 잰 것은 없었습니다. 이 글에 나오는 연구는 상당수가 프리프린트라, 인용마다 등급을 붙여 둡니다.

이 글은 「점수는 올랐다. 그런데 무엇이 올랐나」가 넘겨 둔 물음을 받습니다. 그 글은 같은 모델을 같은 벤치마크로 다시 재면 같은 값이 나오는지를 물었고, 같은 이름의 모델이 시간이 지나며 달라질 때의 재현성은 이 글로 넘겼습니다. 재현성(reproducibility)은 같은 절차를 그대로 다시 밟았을 때 같은 결과가 나오는 성질입니다. 앞의 실험은 제공자 문서가 적어 둔 대로 설정을 고정해도 이 성질이 흔들린다는 보고입니다. 이 글은 거기서 출발해 모델 자체가 바뀌는 자리까지 갑니다.

형제편들은 언어모델에게 맡긴 일이 어디서 어긋나는지를 따라갑니다. 「남이 써 둔 문장이 내 지시가 될 때」, 「AI 코딩 생산성」, 「검색을 붙이면 환각이 사라지는가」, 「곱셈으로는 모른다」, 「채점자도 언어모델이다」가 그 자리들입니다. 이 글이 보는 것은 맡김 자체의 전제입니다. 무언가를 맡긴다는 말에는 조용한 전제가 하나 있습니다. 내가 시험해 보고 고른 그 상대가 계속 그 상대라는 것입니다.

왜 두 번이 다른가 — 덧셈 순서와 남의 요청

큰 수에 아주 작은 수를 먼저 더하면 작은 쪽이 반올림에 먹혀 사라집니다. 작은 수들끼리 먼저 모아 더하면 살아남습니다. 그래서 컴퓨터가 소수점 딸린 수를 더할 때는 순서가 결과를 바꿉니다. 수학에서는 같은 값이지만 기계에서는 아닙니다. 언어모델은 토큰 하나를 고를 때마다 이런 덧셈을 수억 번 합니다. 덧셈 순서가 바뀌면 후보 두 개의 점수가 소수점 아래 어딘가에서 뒤집힐 수 있습니다. 한 번 뒤집히면 그 뒤 문장은 통째로 다른 길로 갈라집니다.

덧셈 순서가 바뀌는 까닭은 서버가 일하는 방식에 있습니다. 서버, 곧 모델을 돌려 답을 보내 주는 회사 쪽 컴퓨터는 요청을 한 건씩 처리하지 않습니다. 그 순간 도착한 요청들을 한 묶음으로 계산합니다. 묶음 크기가 달라지면 계산을 쪼개고 합치는 순서도 달라집니다. 결국 내가 받는 답이 그때 같이 들어온 남의 요청이 몇 건이었느냐에 조금씩 매달립니다. 소수점 덧셈이 순서를 탄다는 성질과 묶음 크기가 그 순서를 바꾼다는 사실, 이 둘이 비결정성의 시스템 쪽 뿌리로 지목됐습니다. 묶는 것을 끄면 답은 고정되지만, 같은 시간에 처리하는 요청 수가 크게 떨어집니다. 묶음 크기와 무관하게 계산하도록 밑바닥을 새로 짜면, 고정이 필요 없는 요청에도 그 대가가 늘 붙습니다. 그래서 저자들은 빠른 길로 답을 뽑은 뒤 고정된 순서로 검산하고, 어긋난 것만 되돌리자고 제안합니다 (arXiv:2601.17768, 프리프린트).

여기까지는 모델이 그대로여도 생기는 흔들림입니다. 모델을 실어 나르는 서버 소프트웨어도 계속 고쳐집니다. 최적화가 빠르게 들어가는 만큼, 품질은 조용히 나빠지는데 오류 표시는 하나도 뜨지 않는 고장이 섞여 들 수 있습니다. 이런 고장의 원인을 자동으로 찾는 시스템을 만든 연구가 있습니다. 실제 서빙 소프트웨어에서 걷어 온 고장 사례로 시험 문제 모음을 만들었고, 원인을 첫 시도에 맞힌 비율은 80%, 다섯 번 안에 맞힌 비율은 88%였습니다. 다만 초록은 비교 대상을 "기존 최고 수준 시스템"으로만 적고 그쪽 수치는 밝히지 않습니다 (arXiv:2606.04594, 프리프린트).

그리고 모델 자체가 바뀐다

2023년 3월에 잰 값과 6월에 잰 값이 달랐습니다. 같은 이름으로 서비스되던 모델을 석 달 간격으로 같은 문제로 다시 잰 결과입니다. 소수인지 가려내는 문제에서 GPT-4는 3월에 84%, 6월에 51%를 맞혔습니다. 이름도 문제도 그대로였습니다.

이 연구에는 붙여 둘 단서가 둘 있습니다. 첫째, 결과는 양쪽으로 갔습니다. GPT-3.5는 바로 그 소수 문제에서 6월이 3월보다 나았습니다. 여러 단계를 건너뛰며 답을 찾는 문제에서는 GPT-4가 6월에 더 잘했고 GPT-3.5는 떨어졌습니다. 민감한 질문과 의견 조사 질문에는 GPT-4가 6월에 덜 답하려 했습니다. 코드 생성에서는 둘 다 6월에 서식 실수가 늘었습니다. 저자들은 여러 변화의 공통 요인 하나로, GPT-4가 사용자 지시를 따르는 능력이 줄어든 것을 지목했습니다. 둘째, 여기 나오는 모델은 2023년 세대입니다. 이 글의 논지가 "판은 바뀐다"인 만큼 이 근거에도 같은 잣대가 적용됩니다. 이 결과는 그 시점의 그 판에 대한 관측이고, 지금 서비스되는 어떤 모델에 대한 진단은 아닙니다. 이 글은 모델 이름을 어느 판인지가 논지에 걸리는 자리에서만 초록이 적은 그대로 옮기고, 성능을 견주는 대목에서는 이름을 빼고 "어느 API"로만 적습니다. 주제가 제품 비교보다 같은 이름이 시간에 따라 달라지는 일에 있기 때문입니다. 저자들의 결론도 특정 제품에 대한 판정보다, "같은" 서비스의 행동이 짧은 기간에 크게 달라질 수 있으니 계속 지켜보라는 쪽이었습니다 (arXiv:2307.09009, 프리프린트).

이 문제는 언어모델 이전부터 있었습니다. 상용 예측 API도 말없이 바뀌고 있었습니다. 2020년과 2021년에 걸쳐 대형 업체들의 상용 예측 API를 같은 데이터로 두 번 재 보니, 36건의 조합 가운데 12건에서 뚜렷한 변화가 확인됐습니다. 그중에는 예측이 시간이 지나며 유의하게 나빠진 데이터도 있었습니다. 변화를 감지하려면 API를 반복해 불러야 하는데 그 호출이 전부 돈입니다. 그래서 저자들은 무작위로 뽑아 재는 것보다 최대 90% 적은 표본으로 같은 추정에 닿는 방법을 따로 만들었습니다 (arXiv:2107.14203, 프리프린트).

바뀔 수 있다면 이름표를 정밀하게 붙이면 될 것 같고, 실제로 그런 이름표가 있습니다. 모델 스냅샷은 제품 이름 뒤에 날짜까지 붙여, 어느 날 굳은 어느 판인지를 못 박은 이름표입니다. "그 회사의 그 모델"이 아니라 "그 모델의 그해 8월 6일 판"이라고 적는 식입니다. 남는 질문은 이 이름표가 실제로 얼마나 쓰이느냐입니다.

논문이 나올 즈음 그 모델은 이미 옛 판이다

2024년 12월 31일까지 PubMed에 실린 종양학 언어모델 논문 179편을 거른 48편을 정리한 조사가 있습니다. 네 편 중 한 편꼴로, 그 연구의 핵심이던 바로 그 모델이 논문이 나온 시점에 이미 폐기됐거나 더 새로운 판이 나와 있었습니다. 투고에서 공개까지 걸린 기간은 중앙값 3.7개월(사분위 범위 2.5~5.9개월)로 학술 출판치고는 짧은 편인데도 그랬습니다. 다만 이 조사는 정식 논문이 아니라 학회 발표 초록입니다. 프리프린트보다도 얇은 근거이고, 이 글이 모은 연구 가운데 이 집계를 대신할 다른 조사는 없었습니다.

같은 조사의 다른 숫자들이 이 25%의 배경을 보여 줍니다. 모델 계열은 거의 전부(97.9%)가 적었지만, 날짜까지 박힌 판(스냅샷)을 적은 것은 27%뿐이었습니다. 온도 같은 핵심 설정값을 밝힌 것은 22.9%였고, 그중 45.4%는 온도를 0보다 크게 뒀습니다. 답이 매번 달라지는 쪽으로 손잡이를 열어 둔 채 잰 것입니다. 원문 코드를 공개한 것은 프로그래밍 언어를 썼다는 논문 가운데 18.7%였고, 35.4%는 아예 채팅 화면에서 손으로 물어본 결과였습니다. 저자들이 내놓은 점검표에는 이런 항목이 들어 있습니다. 날짜 박힌 판을 명시하고, 설정값을 "최신판"이 아닌 그 판에 묶어 적고, 채팅 화면 대신 API를 쓰고, 온도를 0으로 두고, 여러 번 돌려 변동을 보고, 곧 폐기될 모델을 대상으로 삼을 때는 주의하라는 것입니다 (DOI: 10.1158/1557-3265.aimachine-b021, 학회 발표 초록).

이 숫자들은 재현성보다 한 단계 앞선 문제를 가리킵니다. 네 편 중 한 편꼴로는 재현을 시도할 대상이 이미 폐기됐거나 옛 판이 돼 있었습니다. 절차를 꼼꼼히 적어도, 그 절차가 부르던 상대가 없으면 다시 밟을 수 없습니다.

보고된 숫자가 다시 안 나오는 일은 의학 밖에서도 나타납니다. 다만 이 사례의 원인은 모델이 사라진 데가 아니라, 지금도 있는 모델들을 다른 판과 혼동하거나 다르게 설정한 데 있었습니다. 코드의 버그를 고치는 벤치마크, 곧 여러 모델에게 같은 문제를 풀게 해 점수를 견주는 시험 문제 모음에서 논문마다 보고 숫자가 안 맞는 이유를 파고든 연구가 있습니다. 모델 열두 개로 문헌에 보고된 35개 결과를 다시 만들어 보려 했고, 성공한 것은 12개였습니다. 원인은 평범했습니다. 지시와 대답을 짝지은 예시로 한 번 더 학습시킨 판, 곧 지시학습을 거친 판(「다음 낱말을 맞히는 훈련이 어떻게 대화가 되는가」)을 그 전의 기본 모델과 혼동한 것, 프롬프트 서식이나 생성 길이를 다르게 준 것, 모델의 숫자를 4비트로 거칠게 줄여 가볍게 돌린 것이 결과를 바꿨습니다. 확률이 가장 높은 후보만 고르는 대신 확률에 따라 뽑게 두면(샘플링) 편차가 커졌습니다 (DOI: 10.3390/software4030017). 모델이 바뀌면 바뀌는 것이 모델만은 아닙니다. 그 모델에 맞춰 다듬어 둔 지시문도 같이 낡습니다.

프롬프트도 같이 낡는다

프롬프트는 대답을 받으려고 모델 앞에 넣는 글입니다(「다음 낱말을 맞히는 훈련이 어떻게 대화가 되는가」). 프롬프트를 짜는 기법 다섯 가지를 모델 여섯 개로 다시 재 본 연구가 있습니다. 같은 계열의 앞 판과 뒤 판을 짝지어 세 쌍을 만들고, 파이썬 함수 218개로 코드를 19,620번 생성시켜 실제로 돌아가는지로 채점했습니다. 결과는 한 방향이 아니었습니다. 새 GPT 판에서는 구조를 잡아 주는 지시의 이득이 줄거나 마이너스가 됐습니다. 정답 달린 예시 몇 개를 붙이는 예시 제시나, 중간 단계를 적어 가며 답하게 하는 사고연쇄 프롬프팅 같은 지시입니다(「프롬프트가 진짜 효과 있나 — AI에게 잘 묻는 법의 과학」). 저자들은 그런 발판이 모델 안으로 흡수된 것으로 해석했습니다. 반면 Qwen 계열은 예시 제시와 대조 예시(맞는 풀이와 틀린 풀이를 나란히 보여 주는 사고연쇄)에서 계속 상당한 이득을 봤고, Mistral 계열은 한 기법의 이득은 유지되고 나머지 두 기법은 줄었습니다. 저자들의 결론은 이 한정 위에 섭니다. 프롬프트가 낡는 방식은 계열마다 달랐고, 그러니 프롬프트 전략은 계열과 세대에 맞춰 다시 맞춰야 하며 그대로 옮겨 쓸 수 없다는 것입니다 (arXiv:2608.24641, 프리프린트).

부호가 아예 뒤집힌 사례도 있습니다. 규칙을 촘촘히 박는 프롬프트 방식을 만든 연구진이 그 방식을 같은 회사 모델의 세 세대에 시험했습니다. 초등 수학 문제 1,317개에서 중간 세대 모델은 그 방식이 표준적인 사고연쇄보다 나았습니다(97% 대 93%). 그런데 시험한 세대 가운데 가장 새 세대에서는 뒤집혔습니다. 같은 방식이 94.00%, 사고연쇄가 96.36%였습니다. 저자들은 이것을 도움이 방해로 바뀌는 전환이라고 불렀습니다. 어설픈 상식 판단을 막아 주던 제약이, 더 나은 모델에서는 지시를 지나치게 글자 그대로 따르게 만드는 족쇄가 된다는 것입니다. 이 결과는 자기들이 만든 방식이 새 세대에서 진다는 보고라 저자들에게 불리한 쪽입니다 (arXiv:2510.22251, 프리프린트).

기법을 통째로 바꾸지 않아도 흔들립니다. 뜻을 그대로 둔 채 서식만 바꿔도 그렇습니다. 「프롬프트가 진짜 효과 있나」에서도 본 실험으로, 예시를 붙여 묻는 방식에서 구분 기호나 줄바꿈 같은 표기만 바꿔 가며 정확도를 쟀습니다. 2023년 세대의 한 공개 모델에서 정확도가 최대 76점포인트까지 벌어졌습니다. 이 민감함은 모델을 키우거나, 예시를 더 붙이거나, 지시학습을 시켜도 남았습니다. 그리고 한 모델에서 잘 먹힌 서식이 다른 모델에서도 잘 먹히는 경향은 약했습니다. A 모델에서 고른 최적 서식이 B 모델에서도 최적이라는 보장이 없다는 뜻입니다. 저자들은 서식 하나를 임의로 고정해 놓고 모델을 비교하는 관행의 타당성을 문제 삼습니다 (arXiv:2310.11324, 프리프린트).

여기서 성질 하나가 드러납니다. 프롬프트 기법은 과제보다 모델에 붙어 있습니다. 내가 다듬은 것은 "이 과제를 푸는 법"이기보다 "이 판의 이 모델을 이 과제로 끌고 가는 법"입니다. 상대가 바뀌면 그 노력의 일부는 부채가 됩니다.

평균은 그대로인데 개별 건이 뒤집힌다

새 판이 나오면 보통 총점이 오릅니다. 그래서 갈아타는 것이고, 대개 옳은 판단입니다. 문제는 총점이 오르는 것과 내가 쓰던 그 건이 계속 되는 것이 서로 다른 일이라는 데 있습니다.

새 버전의 전체 점수는 올랐는데 옛 버전이 맞히던 개별 건은 틀리게 되는 일을 회귀(regression)라고 합니다. 회귀를 재려면 총점 대신 문항 단위로 짝을 지어야 합니다. 옛 판이 맞혔는데 새 판이 틀린 문항이 몇 개인지를 세는 것입니다. 자연어 처리 시험대의 여러 과제에 이 자를 대 보니 이런 뒤집힘이 과제 전반에 퍼져 있었고 (arXiv:2105.03048, 프리프린트), 문장 구조를 통째로 뽑아내는 과제에서도 같은 회귀가 측정됐습니다 (arXiv:2202.02976, 프리프린트).

언어모델에서도 마찬가지입니다. 밑에 깔린 기본 모델이 갱신되면, 그 위에 얹은 과제별 부품이 학습 절차를 하나도 안 바꿨는데도 전에 맞히던 것을 틀리기 시작합니다. 이 현상을 정리한 저자들은 이것이 성능 숫자 하나의 문제를 넘어선다고 봅니다. 사용자가 머릿속에 그려 둔 "이 모델은 이건 되고 저건 안 된다"는 지도를 흔든다는 것입니다. 저자들은 호환용 부품을 따로 학습시켜 뒤집힘을 최대 40%까지 줄였다고 보고하는데, 초록은 줄이기 전의 비율을 밝히지 않습니다 (arXiv:2407.09435, 프리프린트).

회귀가 눈에 안 띄는 것은 총점이 가려 주기 때문입니다. 언어모델 바깥의 사례가 이것을 깨끗하게 보여 줍니다. 반도체 품질 관리나 엔진 고장 예측처럼 결정이 곧 조치로 이어지는 시스템에서, 모델 종류도 학습 데이터도 설정값도 그대로 두고 입력을 정리하는 방식만 정보량이 같은 다른 방식으로 바꿔 봤습니다. 최종 결정이 바뀐 비율이 데이터에 따라 0.2% 이하에서 30%가 넘는 데까지 벌어졌습니다. 그중에는 예측 정확도가 거의 그대로인 채로 결정만 뒤집힌 경우가 포함돼 있었습니다. 저자들은 이 비율을 별도 지표로 관리하자고 제안합니다 (DOI: 10.36227/techrxiv.177220377.73247298/v1, 프리프린트).

새 판으로 갈아타면 실패가 줄 것 같지만, 실패가 다른 모양으로 옮겨 가기도 합니다. 같은 계열에서 학습량·크기·지시학습 여부만 다른 모델들을 늘어놓고, 확신이 떨어질 때 무엇을 하는지 본 연구가 있습니다. 이 연구가 잰 축은 판 교체가 아니라 그 세 가지입니다. 그래서 판이 바뀔 때 이 축들이 함께 움직인다는 전제 위에서만 판 교체에 적용됩니다. 순서는 일관됐습니다. 덜 다듬어진 모델은 같은 말을 반복하고, 조금 나아지면 뜻이 무너진 문장을 내놓고, 가장 나아지면 그럴듯하게 지어냅니다. 확률에 따라 무작위로 뽑는 방식은 반복처럼 티 나는 증상을 줄이지만, 알아채기 어려운 지어내기를 늘립니다 (arXiv:2407.06071, 프리프린트). 나아진 자리와 덜 보이는 쪽으로 옮겨 간 실패를 같은 눈금으로 재기는 어렵습니다.

재 보면 어긋난다

재난 현장에서 환자를 분류하는 절차를 2023년 세대의 상용 챗봇에 시켜 본 연구가 있습니다. 재난의학 전문의 다섯 명이 프롬프트 아홉 개를 만들었고, 각 프롬프트를 모의 환자 사례 391건과 짝지어 열 번씩 물었습니다. 총 35,190회입니다. 그중 99.7%는 형식에 맞는 답을 내놨습니다. 문제는 그 답들 사이의 변동이었습니다.

전체 변동을 쪼개 보니 같은 프롬프트를 그대로 반복해서 생긴 몫이 14%, 프롬프트를 바꿔서 생긴 몫은 4.1%였습니다. 전문의들이 서로 다르게 쓴 아홉 개 지시문 사이의 차이보다, 같은 지시문을 두 번 보낸 차이가 더 컸다는 뜻입니다. 정확도는 전체 63.9%였고, 프롬프트에 따라 46.7%에서 71.8%까지 벌어졌습니다. 실제보다 급하게 분류한 것이 32.9%, 덜 급하게 분류한 것이 3.1%였습니다. 저자들의 결론은 시험한 그 판이 이 용도에 부족하다는 것, 그리고 이런 도구는 임상에 들이기 전에 변동을 원천별로 나눠 재는 기법으로 엄밀히 평가받아야 한다는 것이었습니다 (DOI: 10.2196/preprints.55648, 프리프린트).

사용자 눈에 안 보인다는 성질은 여기서도 되풀이됩니다. 음식 사진 열세 장을 상용 시각 API 네 곳에 각각 500번 넘게 넣어 탄수화물 양을 추정시킨 실험이 있습니다. 지시문은 같았고 온도는 0.01까지 내렸으며, 총 26,904회였습니다. 같은 사진에 대한 추정값이 평균에 비해 얼마나 흩어지는지(변동계수)의 중앙값은 API에 따라 2.4%에서 11.0%까지 갈렸습니다. 인슐린 용량으로 옮기면 0.9단위에서 4.7단위 사이의 불확실성입니다. 기준값이 확실한 사진 다섯 장에서는, 한 API가 2단위를 넘는 과다 투여로 이어질 답을 한 번도 내지 않은 반면 다른 API들은 12%에서 37%까지 그런 답을 냈습니다. 저자들이 지목한 위험은 둘입니다. 계통적으로 높게 부르는 편향과, 같은 사진 안에서의 무작위 흔들림입니다. 결론에 붙은 말은 둘 다 최종 사용자에게는 보이지 않는다는 것이었습니다. 저자들은 여러 번 물어 모으기, 불확실성 고지, 값을 쓰기 전 사용자 확인을 권합니다 (DOI: 10.2139/ssrn.6577780, 프리프린트. 시험한 모델과 판은 그 연구 시점에 서비스되던 것들입니다).

흔들림이 있으면 변화도 가려 볼 수 없습니다. CT 영상에서 병변의 최대 지름을 재는 과제를 언어모델 세 개와 영상의학과 전문의들에게 시킨 연구가 있습니다. 일치는 1에 가까울수록 잘 맞는다는 지표로 쟀습니다. 전문의는 일주일 이상 지나 다시 잰 값과의 자기 일치가 0.98이었습니다. 모델은 일주일 이상 간격을 두고 두 번씩 물었더니 0.78, 0.47, 0.25로 갈렸습니다. 이 숫자에서 볼 것은 크기보다 정체입니다. 두 답이 어긋났을 때, 원래 매번 흔들리는 것인지 그사이 모델이 바뀐 것인지는 이 설계로는 구분할 수 없습니다. 이 연구의 결론은 언어모델이 아직 전문의의 측정에 미치지 못한다는 것이었습니다. 동시에 한 모델이 보인 양호한 일치와 재현성은 영상 해석 능력의 빠른 진전을 보여 준다는 말도 붙어 있습니다 (DOI: 10.1007/s11604-025-01884-5).

창의성이 필요 없는 작업에서도 같은 일이 나타납니다. 규제 문서에서 항체 의약품 50종의 면역원성 수치를 뽑아 표로 옮기는 작업을 세 방식으로 시도한 연구가 있습니다. 검색을 붙이는 방식과 PDF를 통째로 읽히는 방식은, 다른 약의 수치를 이 약 자리에 붙이는 오류와 지어내기 때문에 쓸 수 없었습니다. 문서를 정돈된 요약본으로 먼저 바꿔 두는 방식은 그 오류를 잡고 핵심 수치를 정확히 뽑아냈습니다. 그런데 설정값을 고정하고 잘 정돈된 똑같은 입력을 넣었는데도, 날마다 표의 모양이 조금씩 달라지고 맥락 정보가 이따금 통째로 빠졌습니다. 저자들의 결론은 이 방식이 초기 자료 수집을 크게 앞당기지만, 재현이 보장되지 않으므로 꼼꼼한 검증을 붙여야 한다는 것이었습니다 (DOI: 10.70534/qm-2026-0003).

그런데 늘 흔들리는 건 아니다

성찰 에세이 51편을 여섯 단계 채점표로 매기는 작업에서는 다른 결과가 나왔습니다. 에세이는 의대생이 실제로 쓴 15편과 연구용으로 지어낸 36편이었습니다. 연구진은 프롬프트와 모델의 조합 29가지를 돌렸습니다. 모델에게 맡길 인물 설정(페르소나)을 주고 안 주고, 예시를 붙이고 안 붙이고, 단계별로 생각하게 하고 안 하고, 온도를 바꾸고, 모델 네 종을 갈아 끼웠습니다. 사람 채점자와의 일치는 29개 조건 중 28개에서 높게 나왔고, 같은 조건에서 다시 돌렸을 때의 일치도 29개 중 28개에서 높게 나왔습니다. 예상과 달리 단계별 사고, 온도, 페르소나를 바꾼 조건은 기준 프롬프트와 정확도에서 유의한 차이를 내지 않았습니다. 다만 같은 초록은 예시를 붙인 조건이 더 정확했고, 채점 기준을 몇 단계까지 풀어 적었느냐에 따라 정확도가 달라졌다고 보고합니다 (DOI: 10.64898/2026.03.20.26348918, 프리프린트).

유방암 종양위원회, 곧 여러 과 의사가 모여 치료를 정하는 회의의 모의 사례에 모델 셋을 답하게 한 연구도 있습니다. 셋 가운데 둘은 같은 제품의 다른 버전입니다. 이 연구는 다섯 평가 영역에서 모델 간 차이가 유의하지 않았다고 보고합니다. 다만 사례 다섯 건에 평가 90건으로 규모가 작고, 채점자끼리의 일치도 중간에서 양호 수준에 머물렀습니다. 영어 응답이 터키어 응답보다 높은 점수를 받았는데, 초록은 이 차이에 검정 결과를 붙이지 않습니다. 초록이 유의하다고 적은 것은 터키어 가독성이 모델에 따라 달랐다는 것뿐입니다(p=0.015) (DOI: 10.2139/ssrn.7151327, 프리프린트).

그러니 이 글의 주장은 "모델은 매번 다르다"가 아닙니다. 어떤 과제는 크게 흔들리고 어떤 과제는 거의 흔들리지 않습니다. 문제는 어느 쪽인지 재 봐야만 알 수 있고, 어떻게 재느냐가 그 답을 바꾼다는 것입니다.

어떻게 재느냐가 답을 바꾸는 사례가 있습니다. 가상의 일반인 페르소나에게 증상 시나리오를 주고 다음 행동을 고르게 한 연구입니다. 프롬프트 두 벌을 같은 묶음 안에서 나란히 돌린 예비 실험에서는 짝 40건이 전부 일치했습니다. 어긋남이 하나도 없었습니다. 그런데 짝 24건을 서로 떼어 따로 돌린 별도 감사에서는, 어긋난 비율이 반복할 때마다 0%에서 45.8%까지 요동쳤습니다. 저자들의 해석은 짝지어 한꺼번에 돌리는 설계가 프롬프트를 바꿨을 때의 차이를 심하게 과소평가할 수 있다는 것입니다. 뒤이은 통제 실험에서 온도를 0으로 내리자 네 조건 중 셋에서 반복 간 안정성이 올랐습니다. 하지만 프롬프트를 바꿨을 때의 어긋남은 온도를 0으로 뒀을 때나 기본값으로 뒀을 때나 높게 남았습니다 (DOI: 10.32388/be0zbc.3, 프리프린트 — 공개 심사 플랫폼 게재).

그리고 하나 더 있습니다. 재현성과 정확성은 다른 성질입니다. 치과 방사선 사진 100장을 골다공증 선별 지표로 분류하는 과제를 상용 생성 AI 하나와 치과의사 여덟 명에게 시킨 연구가 있습니다. 일치 지표 κ는 1이면 완전 일치, 0 근처면 우연 수준입니다. AI는 2주 이상 간격을 두고 다시 물었을 때 자기 자신과 거의 완벽하게 일치했고(κ=0.987), 속도는 여섯 배쯤 빨랐습니다. 그런데 치과의사들과의 일치는 κ 0.2 미만, 초록의 표현으로 "근소한 일치 이하"였습니다. 정상과 중증을 맞바꾼 경우도 10%를 넘었습니다. 같은 기간 치과의사들은 두 번째 회차에서 서로 간 일치가 좋아지는 학습 효과를 보였습니다. 저자들은 AI를 표준화된 피드백 도구로 두고 확진은 사람이 하는 혼합형을 권합니다 (DOI: 10.20944/preprints202605.0011.v1, 프리프린트). 흔들리지 않는다고 옳은 것은 아닙니다. 고정된 채로 틀려 있을 수 있습니다.

고정할 수 있는 것

붙들 수 있는 것은 세 층입니다.

첫 층은 이름표를 못 박는 일입니다. 버전 고정(version pinning)은 "최신판"을 쓰지 않고 날짜가 박힌 특정 판을 지목해 그것만 쓰도록 묶어 두는 일입니다. 앞서 본 점검표의 첫 항목입니다. 다만 이 손잡이가 사 주는 것은 시간입니다. 앞의 25% 가운데 버전 고정을 무력화하는 것은 폐기된 경우뿐입니다. 더 새로운 판이 나왔을 뿐이라면 못 박아 둔 판은 살아 있습니다. 초록이 두 경우를 합쳐 보고하므로, 이 48편에서 논문이 나온 시점까지 버전 고정이 무력화됐을 비율은 25%를 넘지 않는다는 것까지만 말할 수 있습니다. 시간이 더 흐른 뒤의 비율은 이 조사가 재지 않았습니다. 버전 고정은 시간을 사 줄 뿐 영구를 사 주지 않습니다.

둘째 층은 더 멀리 갑니다. 흔들리는 부분을 모델 밖으로 밀어내는 것입니다. 임상시험의 무작위 배정 순서를 언어모델 기반 대화 서비스 네 곳에 만들게 한 벤치마크가 이 대비를 깨끗하게 보여 줍니다. 씨앗값이 박힌 파이썬 코드를 주고 그대로 실행하게 한 1,200회는 완전 일치 재현율이 100%였습니다. 같은 조사자들이 코드도 씨앗 지정도 없이 말로만 시킨 320회는, 배정의 무결성과 형식과 완료율이 모두 100%였지만 완전 일치 재현율은 0%였습니다. 저자들은 이 결과를 좁게 해석해야 한다고 못 박습니다. 대화형 도구로 재현성을 얻으려면 실행 가능한 코드, 고정된 씨앗, 기록, 사람의 검증이 다 있어야 하며, 이런 도구가 검증된 배정 시스템을 대체해선 안 된다는 것입니다 (DOI: 10.3390/a19070551).

같은 발상의 약한 판은 출력의 모양을 강제하는 것입니다. 육종 종양위원회 시뮬레이션에서 답을 스물한 개 결정 코드가 박힌 틀에 채워 넣게 하고 온도를 0으로 뒀습니다. 사례 51건을 세 번씩 돌렸더니 결정 코드의 93.9%가 세 번 다 같았습니다. 코드 전부가 같았던 사례는 33.3%, 진료 영역별로는 88.9~98.0%였습니다. 구조를 지어낸 경우는 154회 실행 내내 없었습니다. 다만 초록은 틀을 씌우기 전 단계의 재현율을 밝히지 않습니다. 그래서 온도 0만으로 나왔을 값과 구분되지 않습니다. 저자들이 붙인 해석도 중요합니다. 가장 덜 굳은 결정 코드(74.5%)는 임상적으로 서로 바꿔 써도 되는 선택지들이 있는 자리였습니다. 흔들림이 전부 오류인 것은 아니라는 뜻입니다 (DOI: 10.21203/rs.3.rs-10035573/v1, 프리프린트, 단일 기관 예비 연구). 법률 문서를 다루는 한 설계는 이 방침을 원칙으로 세웠습니다. 불확실성을 질문의 의도 해석과 최종 서술로만 몰아넣고, 법 조항의 상하 관계·시점·인과 조회는 같은 입력에 늘 같은 결과를 내는 결정론적 연산으로 처리합니다. 다만 저자들 스스로 이것은 실증 벤치마크가 아니라 구조 명세라고 적습니다 (arXiv:2510.06002, 프리프린트).

셋째 층은 내 손에 없습니다. 하위 호환(backward compatibility)은 새 버전이 옛 버전에서 되던 일을 계속 되게 유지하는 성질입니다. 이것을 확보하는 기법은 이미 한 갈래의 계보를 이룹니다. 옛 판과 새 판의 파라미터를 섞는 방법이 있고 (arXiv:2301.10546, 프리프린트), 새 모델이 뽑은 특징을 옛 모델의 특징과 바로 비교할 수 있게 학습시켜 다시 계산할 필요를 없애는 방법이 있습니다 (arXiv:2003.11942, 프리프린트). 만드는 팀이 판을 올려도 쓰는 팀이 다시 학습하지 않도록 변환을 붙이는 방법도 있습니다 (arXiv:2206.03040, 프리프린트). 2026년에는 예측뿐 아니라 갱신 뒤에 바뀌는 설명까지 억제하는 방법이 나왔습니다 (arXiv:2608.08674, 프리프린트). 이 기법들은 모두 파라미터와 학습 과정에 손을 댑니다. 곧 하위 호환은 파는 쪽이 쥔 손잡이입니다. 파라미터를 공개하지 않고 API로만 쓰게 하는 닫힌 모델을 쓰는 사람은, 이 기법들 가운데 어느 것도 스스로 적용할 수 없고 하위 호환을 요구할 수만 있습니다.

고정할 수 없는 것, 그리고 그다음

검증 쪽에서는 평가 점수를 유통기한이 있는 주장으로 다루자는 제안이 나와 있습니다(「점수는 올랐다. 그런데 무엇이 올랐나」에서도 본 제안입니다). 점수마다 세 가지를 함께 적자고 합니다. 어떤 종류의 평가로 얻었는지(사람 평가가 자동 지표보다 강한 증거라는 등급), 어느 범위에 적용되는지, 그리고 유효기간이 언제까지인지입니다. 시험 문제가 학습 자료로 새어 들고 분포가 옮겨 가는 만큼 결과가 상하기 때문입니다. 이 제안이 든 예가 날카롭습니다. 공개 순위표의 모델 54개를 열 개 시나리오로 재고, 평균 점수로 뽑은 상위 다섯과 가장 약한 신호로 뽑은 상위 다섯을 비교했더니 두 목록이 하나도 겹치지 않았습니다 (arXiv:2607.26191, 프리프린트, 입장 논문).

그렇게 다 해도 남는 것이 있습니다. 실제로 운영 중인 개인 비서 에이전트 한 대의 여덟 주치 사고 기록이 그것을 보여 줍니다. 에이전트는 말을 만들어 내는 데서 멈추지 않고 웹을 읽고 파일을 열고 명령을 실행하는 도구까지 쥔 언어모델입니다(「곱셈으로는 모른다」). 이 기록은 사고 22건마다 원인 분석을 붙였습니다. 오류 신호가 사람에게 닿지 않은 조용한 고장의 약 70%는 시험이나 감사가 아니라 사람이 화면을 보다가 발견했습니다. 사고 15건을 되짚어 감사해 보니 사전에 막아 낸 비율은 0%, 한번 겪은 고장이 다시 나는 것을 막은 비율은 87%였습니다. 저자들의 요약은 이렇습니다. 감사는 예측 장치가 아니라 회귀 차단 장치입니다. 사고가 가장 오래 살아남은 자리는 부품 사이의 이음매, 아무 시험도 돌지 않는 곳이었습니다 (arXiv:2606.14589, 프리프린트. 운영 시스템 한 대에 대한 8주 기록입니다).

한 걸음 물러서면 이렇게 정리됩니다. 스스로 바뀌어 가는 시스템에서는 투명하게 적는 것과 다시 밟을 수 있는 것 사이에 틈이 생깁니다. 절차를 아무리 성실히 공개해도, 그 절차가 부르던 상대가 바뀌면 재현은 되지 않습니다. 이 틈을 지적한 개관은 재현성을 한 번 통과하면 끝나는 관문이 아니라, 서비스가 사는 내내 다시 재야 하는 성질로 놓자고 제안합니다 (DOI: 10.20944/preprints202606.2079.v1, 프리프린트, 서술적 개관).

이 글이 모은 연구 가운데, 상용 모델 안에서 무엇이 어떻게 바뀌었는지를 제공자 쪽 기록으로 확인한 것은 없었습니다. 바뀌었다는 사실은 판을 나눠 바깥에서 다시 재거나, 판이 폐기·교체된 시점을 대조해 알아낸 것들입니다. 성능과 안정성이 서로 다른 축이라는 보고도 있습니다. 공개 세 계열의 코드 생성 모델 14개에 뜻이 같은 지시문 변형을 넣어 보니, 잘하는 것과 일관된 것이 대체로 따로 움직였습니다 (arXiv:2509.13680, 프리프린트). 적어도 이 범위에서는 점수가 높은 모델이 꼭 더 한결같은 모델은 아니었습니다.

그래서 맡김의 전제는 고쳐 적어야 합니다. 내가 시험해 보고 고른 그 상대가 계속 그 상대라는 보장은, 내가 만들어 낼 수 있는 몫과 상대에게 요구해야 하는 몫으로 갈립니다. 흔들리는 일을 씨앗 박힌 코드로 옮기는 것, 정해진 틀에 채워 넣게 하는 것, 날짜 박힌 판으로 묶어 두는 버전 고정까지는 내 몫입니다. 그 너머, 파라미터가 언제 바뀌었는지와 옛 동작이 살아 있는지는 파는 쪽만 답할 수 있습니다. 그 답이 없는 동안 "어제 검증했다"는 문장은 한 번 찍고 끝나는 도장이 아니라 유효기간이 붙은 영수증입니다.

근거 논문

• "Same Prompt, Different Answer: … in LLM APIs" (2026, 프리프린트) — DOI: 10.21203/rs.3.rs-9096283/v1 — 온도 0·씨앗 고정 4,104회. API 재현율 22.1%, 로컬 95.6%.
• "LLM-42: Enabling Determinism in LLM Inference…" (2026, 프리프린트) — arXiv:2601.17768 — 비결정성의 뿌리는 부동소수점 비결합성과 동적 배치다.
• "Ekka: Automated Diagnosis of Silent Errors…" (2026, 프리프린트) — arXiv:2606.04594 — 서빙 소프트웨어의 잦은 변경이 오류 신호 없는 품질 저하를 낳는다. 진단 80%/88%(비교 수치 미공개).
• "How is ChatGPT's behavior changing over time?" (2023, 프리프린트) — arXiv:2307.09009 — 3·6월 판 비교. 소수 판별 GPT-4 84%→51%, GPT-3.5는 상승. 다중 홉은 반대.
• "Did the Model Change? … Assessing Machine Learning API Shifts" (2021, 프리프린트) — arXiv:2107.14203 — 상용 예측 API 36건 중 12건 변화, 일부는 유의하게 악화.
• "Abstract B021: Current oncological LLM research…" (2025, 학회 발표 초록) — DOI: 10.1158/1557-3265.aimachine-b021 — 48편 중 25%가 게재 시점에 모델이 폐기·구판. 스냅샷 보고 27%.
• "Investigating Reproducibility Challenges in LLM Bugfixing…" (2025) — DOI: 10.3390/software4030017 — 문헌의 35개 보고 중 12개만 재현. 원인은 판 혼동·서식·양자화·표집.
• "Aging of Prompt Engineering Techniques Across LLM Versions" (2026, 프리프린트) — arXiv:2608.24641 — 세대 쌍 3개·19,620회. 새 GPT 판은 구조적 프롬프트 이득이 줄거나 음수, Qwen은 유지.
• "…The Prompting Inversion" (2025, 프리프린트) — arXiv:2510.22251 — GSM8K 1,317문항. 규칙형 프롬프트가 97%에서 역전(94.00% 대 96.36%).
• "…Sensitivity to Spurious Features in Prompt Design" (2023, 프리프린트) — arXiv:2310.11324 — 서식 변경만으로 최대 76점포인트 차. 잘 먹히는 서식은 모델끼리 약한 상관.
• "Regression Bugs Are In Your Model!" (2021, 프리프린트) — arXiv:2105.03048 — 옛 판이 맞히던 문항을 새 판이 틀리는 뒤집힘이 전반에 만연.
• "…Model Update Regression in Structured Prediction" (2022, 프리프린트) — arXiv:2202.02976 — 구문·의미 분석 과제로 같은 회귀를 재고 완화 기법을 견줌.
• "MUSCLE: A Model Update Strategy for Compatible LLM Evolution" (2024, 프리프린트) — arXiv:2407.09435 — 기본 모델 갱신 시 하위 어댑터가 학습 절차 그대로도 뒤집힌다. 40% 감소(기준선 미기재).
• "Quantifying Representation-Induced Decision Drift…" (2026, 프리프린트) — DOI: 10.36227/techrxiv.177220377.73247298/v1 — 전처리만 바꿔도 결정이 0.2%~30% 넘게 뒤집힘(정확도는 거의 불변인 사례 포함).
• "From Loops to Oops: Fallback Behaviors… Under Uncertainty" (2024, 프리프린트) — arXiv:2407.06071 — 나아질수록 실패가 반복→붕괴 문장→지어내기로 이동.
• "…ChatGPT to Perform Disaster Triage… START Protocol" (2023, 프리프린트) — DOI: 10.2196/preprints.55648 — 35,190회. 같은 프롬프트 반복이 변동의 14%, 교체 4.1%. 정확도 63.9%.
• "Reproducibility And Accuracy of LLM Vision APIs…" (2026, 프리프린트) — DOI: 10.2139/ssrn.6577780 — 26,904회, 온도 0.01. 사진 내 변동계수 중앙값 2.4~11.0%. 사용자에겐 안 보인다.
• "…LLM measurements of liver metastases" (2025) — DOI: 10.1007/s11604-025-01884-5 — 일주일 간격 두 번. 사람 0.98, 모델 0.78·0.47·0.25.
• "LLM-Supported Data Collation: Addressing Accuracy and Reproducibility" (2026) — DOI: 10.70534/qm-2026-0003 — 설정·입력을 고정해도 날마다 표현이 달라지고 맥락이 이따금 누락.
• "LLM scoring of medical student reflection essays" (2026, 프리프린트) — DOI: 10.64898/2026.03.20.26348918 — 조건 29개 중 28개에서 정확도·재현성 ICC 0.80 초과. 온도·페르소나 유의차 없음.
• "Cross-Model and Cross-Version Evaluation of LLMs…" (2026, 프리프린트) — DOI: 10.2139/ssrn.7151327 — 사례 5건. 모델 간 차이는 유의하지 않고 유의차는 응답 언어에서 났다.
• "Simulating Lay Health-Seeking Behavior with LLM Personas…" (2026, 프리프린트 — 공개 심사 플랫폼 게재) — DOI: 10.32388/be0zbc.3 — 짝지어 재면 40건 전부 일치, 분리하면 어긋남 0~45.8%.
• "Generative AI vs. Dentists: Reliability and Reproducibility…" (2026, 프리프린트) — DOI: 10.20944/preprints202605.0011.v1 — 자기 일치 κ=0.987, 치과의사와는 κ<0.2.
• "LLM-Linked Chatbot Platforms for… Clinical Trial Randomization" (2026) — DOI: 10.3390/a19070551 — 씨앗 박힌 코드 실행 1,200회 재현율 100%, 말로만 시킨 320회는 0%.
• "Schema-enforced LLM framework for sarcoma tumor board…" (2026, 프리프린트) — DOI: 10.21203/rs.3.rs-10035573/v1 — 틀 강제 + 온도 0에서 결정 코드 재현율 93.9%. 최저 항목은 임상적 교체 가능 자리.
• "Deterministic Legal Agents: A Canonical Primitive API…" (2025, 프리프린트) — arXiv:2510.06002 — 불확실성을 의도 해석·최종 서술로 격리. 실증 아닌 구조 명세라고 저자가 명시.
• "Backward Compatibility During Data Updates…" (2023, 프리프린트) — arXiv:2301.10546 — 옛 판과 새 판의 무게값을 섞어 뒤집힘을 줄인다.
• "Towards Backward-Compatible Representation Learning" (2020, 프리프린트) — arXiv:2003.11942 — 새 특징을 옛 특징과 바로 비교하게 학습해 재계산을 없앤다.
• "Learning Backward Compatible Embeddings" (2022, 프리프린트) — arXiv:2206.03040 — 만드는 팀이 판을 올려도 쓰는 팀이 재학습 않게 하는 변환.
• "Backward Compatibility in Tree-Based Explanations…" (2026, 프리프린트) — arXiv:2608.08674 — 갱신 뒤 바뀌는 게 예측 아닌 설명일 때도 억제 대상이다.
• "Evaluation Scores Are Perishable Knowledge Claims" (2026, 프리프린트, 입장 논문) — arXiv:2607.26191 — 점수에 방식·범위·유효기간을 붙이자는 제안. 순위표 상위 5가 집계 방식에 따라 안 겹침.
• "When Errors Become Narratives: … in a Production LLM Agent Runtime" (2026, 프리프린트) — arXiv:2606.14589 — 운영 1대·8주·사고 22건. 약 70%는 사람이 발견. 사전 예방 0%, 재발 차단 87%.
• "Beyond AI Transparency: … Governance Framework…" (2026, 프리프린트, 서술적 개관) — DOI: 10.20944/preprints202606.2079.v1 — 투명한 보고만으로 적응형 시스템의 재현성은 담보되지 않는다.
• "Prompt Stability in Code LLMs: Measuring Sensitivity…" (2025, 프리프린트) — arXiv:2509.13680 — 세 계열 14개 모델에서 성능과 안정성이 대체로 따로 움직였다.