다음 낱말을 맞히는 훈련이 어떻게 대화가 되는가 — 언어모델을 읽기 위한 최소 토대
왜 알아야 하나
지금 이 문장의 다음 낱말을 맞혀 보라고 하면, 대부분의 사람은 몇 개의 후보를 떠올릴 수 있다. 언어모델은 그 일만 한다. 앞에 놓인 것을 보고 다음에 올 조각의 확률을 매긴다. 훈련 목표는 그것 하나다.
그런데 이 사실을 알고 나면 오히려 질문이 늘어난다. 그 하나의 목표가 어떻게 번역이 되고 요약이 되고 대화가 되는가. 크게 만들면 왜 좋아지는가, 그리고 얼마나 좋아지는지 미리 알 수 있는가. 우리가 채팅창에서 만나는 물건은 정말 "다음 낱말을 맞히도록 훈련된 그 물건"인가.
언어모델을 둘러싼 논의는 대개 능력에서 시작한다. 무엇을 할 수 있고 무엇을 못 하는지, 어디까지 믿을 수 있는지. 그런데 그 논의를 한 발짝만 따라가면 곧바로 막힌다. 이 기계가 무엇을 하도록 훈련되었는지를 모르면 능력에 대한 어떤 주장도 검증할 수가 없기 때문이다.
이 글은 그 앞자리를 채운다. 편을 들지 않고, 이 분야의 논문을 읽기 위해 먼저 세워야 할 뼈대만 세운다. 다루는 것은 다섯이다.
- 기계가 글을 어떤 단위로 보는가 — 토큰
- 훈련 목표는 무엇인가 — 다음 토큰 예측
- 그 목표를 어떤 구조로 푸는가 — 어텐션과 트랜스포머
- 크게 만들면 무슨 일이 일어나는가 — 규모의 법칙
- 훈련이 끝난 뒤에 무슨 일이 더 일어나는가 — 지시학습과 정렬, 그리고 가중치를 안 바꾸고도 달라지는 현상인 맥락 내 학습
그리고 여섯 번째 자리가 있다. 우리가 모르는 것. 이 기계가 정확히 무엇을 학습했는지, 규모에서 나타난다는 능력이 진짜로 새로 생긴 것인지 — 둘 다 지금 문헌에서 답이 갈려 있다. 이 글은 그 자리를 채우는 척하지 않는다.
미리 한 문장으로 요약하면 이렇다. 훈련 목표는 하나뿐인데, 우리가 쓰는 물건은 그 훈련만 받은 물건이 아니다. 이 문장의 앞부분과 뒷부분을 각각 이해하는 것이 이 글의 목표다.
두 가지를 밝혀 둔다.
첫째, 이 분야 문헌의 상당수는 동료심사를 거치지 않은 프리프린트로 공개된다. 아래에서 인용하는 논문에도 프리프린트가 많고, 그런 경우에는 그렇다고 적어 둔다. 프리프린트라고 틀렸다는 뜻은 아니지만, 검토를 통과한 결과와 같은 무게로 읽어서는 안 된다.
둘째, 이 글에 나오는 수치는 전부 그 논문이 그 시점에 그 조건에서 관측한 값이다. 현재 최고 성능이 아니고, 이 분야는 그 값들이 빠르게 낡는다. 그래서 이 글은 특정 모델들의 성적 비교를 다루지 않는다. 대신 덜 변하는 것에 지면을 쓴다 — 구조, 훈련 목표, 규모에 대한 관측이 수정돼 온 방식, 정렬이 하는 일, 그리고 아직 모르는 것.
큰 그림: 언어에는 통계적 구조가 있다
출발점은 언어모델보다 훨씬 오래됐다.
1948년 클로드 섀넌은 통신의 일반 이론을 세우면서, 채널의 잡음과 함께 원 메시지의 통계적 구조에서 오는 절약 가능성을 이론에 포함시켰다(DOI: 10.1002/j.1538-7305.1948.tb01338.x). 이것은 언어모델에 관한 논문이 아니다. 그러나 여기에 이후 모든 것이 딛고 선 관측이 들어 있다 — 언어는 무작위가 아니고, 앞에 온 것이 뒤에 올 것을 좁힌다. 좁힐 수 있다면 예측할 수 있고, 예측할 수 있다면 학습 신호를 만들 수 있다.
그다음 필요한 것은 낱말을 기계가 다룰 수 있는 무언가로 바꾸는 방법이었다. 2013년의 한 프리프린트는 단어의 분산 벡터 표현을 효율적으로 학습하는 방법을 제시하며, 자주 나오는 단어를 부분표집하면 학습이 빨라지고 표현이 더 규칙적이 된다고 보고했다. 그런데 이 논문에서 정작 중요한 것은 성과가 아니라 저자들이 스스로 적은 한계다. 단어 표현은 어순에 무관심하고 관용적 구를 표현하지 못한다 — "Canada"와 "Air"의 의미를 합친다고 "Air Canada"가 되지 않는다(DOI: 10.48550/arxiv.1310.4546).
낱말을 벡터로 바꿔도 어순이 남는다. 이 빈칸이 뒤에서 볼 구조가 정면으로 겨냥할 지점이다.
기본 개념과 원리
토큰 — 기계가 보는 글의 단위
언어모델은 글자도 낱말도 아닌 중간 단위로 글을 본다. 이것을 토큰이라 하고, 글을 토큰 열로 자르는 과정을 토큰화라 한다. 대부분의 현대 언어모델은 미리 정한 어휘집에서 뽑은 부분단어(subword) 식별자 열로 원문을 자른다. 흔한 낱말은 통째로 한 토큰이 되고, 드문 낱말은 여러 조각으로 쪼개진다.
이 부품이 왜 필요한지는 의외로 오래도록 정리되지 않았다. 부분단어 토큰화가 현대 언어모델의 필수 구성요소인데도 학습 효율과 성능에 대한 구체적 기여는 잘 이해되지 않았다는 지적이 있고, 바이트 수준 사전학습 파이프라인 안에서 그 효과를 분리해 본 실험은 학습 처리량의 증가와 부분단어 경계를 명시적 사전지식 또는 귀납 편향으로 통합하는 것이 결정적 역할을 한다고 보고한다(arXiv:2604.27263, 프리프린트).
토큰화는 공짜가 아니다. 이 과정은 본질적으로 오타와 길이 변동에 민감하고 토큰 내부 구조에는 대체로 무지하다 — 한 연구는 이를 "토큰화의 저주"라 부르며, 복잡한 문제 해결·토큰 구조 프로빙·오타 내성 세 축에서 대형 언어모델이 여전히 이 문제에 취약함을 보였다. 모델 매개변수를 키우면 완화되지만, 오타와 텍스트 형식 변동이 유발하는 편향은 남는다(arXiv:2406.11687, 프리프린트).
입문자가 특히 알아둘 것은 토큰화의 비용이 언어마다 다르다는 점이다. 같은 텍스트를 여러 언어로 번역하면 토큰화 길이가 극적으로 달라져 어떤 경우 최대 15배 차이가 나며, 이 격차는 다국어 지원을 의도하고 학습한 토크나이저에서도 지속된다. 문자 수준·바이트 수준 모델조차 일부 언어쌍에서 4배 이상의 부호화 길이 차이를 보인다. 그 결과는 추상적이지 않다 — 상업적 언어 서비스 이용 비용, 처리 시간과 지연, 맥락으로 넣을 수 있는 분량 자체가 언어 공동체에 따라 불평등해진다(arXiv:2305.15425, 프리프린트).
그렇다면 "형태소 경계에 잘 맞는 토크나이저가 좋은 토크나이저"일까. 직관은 그렇게 말하는데 데이터는 그만큼 지지하지 않는다. 토크나이저의 형태론적 정렬 점수를 70개 언어로 확장해 5개 사전학습 모델·7개 과제의 성능과 상관 지어 본 연구는, 형태론적 정렬이 모델 성능의 분산을 그다지 설명하지 못한다고 보고한다(arXiv:2507.06378, 프리프린트). 좋은 토큰화가 무엇인지에 대한 합의는 아직 없다는 뜻이다.
마지막으로 미세하지만 상징적인 함정 하나. 대부분 언어모델의 부분단어 어휘는 토큰이 앞선 공백을 달고 있어서 단어의 종료 확률을 자연스럽게 정의하지 못한다. 이 때문에 부분단어 확률을 단어 확률로 합산하는 흔한 방식이 확률의 합이 1을 넘는 분포를 낳을 수 있음이 증명됐다(arXiv:2406.10851, 프리프린트). 확률 공리를 깨뜨리는 이 사소한 버그는, 토큰이 우리가 생각하는 언어 단위와 다른 것임을 잘 보여 준다.
붙들 것. 토큰은 낱말이 아니다. 이 한 줄을 놓치면 "모델이 글자 수를 못 센다" 같은 관찰이 왜 그리 놀랍지 않은지 설명할 수 없다.
다음 토큰 예측 — 목적함수는 이것 하나다
훈련 목표는 놀랄 만큼 단순하다. 앞의 토큰들이 주어졌을 때 다음 토큰의 확률분포를 맞히는 것. 그게 전부다. 문법을 가르치지도, 사실을 주입하지도, 대화를 시키지도 않는다. 인터넷에서 긁어 온 방대한 텍스트를 놓고 매 위치에서 "다음은 뭐냐"를 묻고, 틀린 만큼 가중치를 고친다.
이 과제가 얼마나 어려운지는 사람과 직접 비교해 보면 드러난다. 최상위 정확도와 혼란도(perplexity)를 각각 재는 두 실험에서, 사람은 비교적 작은 언어모델보다도 일관되게 나빴다(arXiv:2212.11281, 프리프린트). 이것을 "모델이 사람보다 똑똑하다"로 읽으면 안 된다. 같은 논문이 앞머리에서 밝히듯, 언어모델은 질문답변이나 코딩을 잘하도록 훈련된 것이 아니라 토큰화된 텍스트에서 다음 토큰을 정확히 예측하도록 훈련되었다. 사람은 그 과제를 훈련받은 적이 없다.
규율 1. 훈련 목표와 우리가 기대하는 능력은 같은 축이 아니다. 논문이 무엇을 쟀는지 확인하지 않으면 어떤 비교도 의미가 없다.
그렇다면 이 단순한 목표를 모델은 내부에서 어떻게 푸는가. 전부는 아니지만 조금은 알려져 있다.
가장 소박한 회로. 현재 토큰만 보고 다음 토큰을 예측하는 바이그램 부분망이 완전히 학습된 언어모델(그 연구가 다룬 범위는 최대 10억 매개변수) 안에 존재한다. 이 부분망은 모델 매개변수의 0.2% 미만인데도 성능에 결정적이고, 첫 번째 트랜스포머 MLP 층에 집중되어 있으며, 활성을 현재 토큰의 표현이 아니라 다음 토큰 예측 쪽으로 정렬시키는 급격한 변화를 만든다(arXiv:2504.15471, 프리프린트). 더 복잡한 회로를 연구하려면 이런 최소 회로에서 쌓아 올려야 한다는 것이 저자들의 제안이다.
층들의 분업. 층 전체를 놓고 보면, 사전학습된 여러 오픈소스 모델에서 각 층이 예측 정확도 향상에 균등하게 기여한다는 정량적 규칙성이 관찰됐다. 아키텍처나 사전학습 데이터와 무관하게 나타났다고 보고된다(arXiv:2408.13442, 프리프린트).
지식은 매끄럽게 쌓이지 않는다. 합성 사실 회상 과제에서 언어모델은 세 단계로 학습하며, 정밀한 사실 지식을 얻기 전에 성능 정체기를 보인다. 기계적으로 이 정체기는 회상을 지지하는 어텐션 기반 회로의 형성과 시기가 일치한다. 그리고 같은 연구가 보고한 것 중 이 글에 가장 중요한 관측은 이것이다 — 환각은 지식과 동시에 출현한다. 나아가 미세조정으로 새 지식을 넣는 일은 기존 매개변수 기억을 빠르게 손상시킨다(arXiv:2503.21676, 프리프린트). 언어모델이 사실이 아닌 것을 자신 있게 말하는 현상은 이 훈련 방식의 부산물이 아니라 이 훈련 방식이 지식을 얻는 방식과 같은 자리에서 생긴다는 뜻이다.
사전학습이 "인터넷을 그냥 부었다"가 아니라는 점도 짚어 둘 필요가 있다. 여러 문서를 이어 붙여 고정 길이 시퀀스로 만들고 인과 마스킹을 적용하는 흔한 관행은 앞 문서의 방해 정보를 끌어들여 성능을 떨어뜨리며, 인과 마스킹을 문서 내부로 한정하면 성능이 유의하게 개선된다는 보고가 있다(arXiv:2402.13991, 프리프린트). 데이터를 어떤 순서로 어떻게 잘라 넣느냐는 결과를 바꾸는 설계 결정이다.
한편 이 목적함수 자체가 최선인지에 대한 검토도 진행 중이다. 답처럼 특정 핵심 토큰만 예측하도록 훈련하는 방식과 비교한 연구는, 직관과 달리 일반적인 다음 토큰 예측이 추론 능력에서 더 나았다고 보고하며 그 이유를 잡음의 정규화 효과에 돌린다(arXiv:2502.02007, 프리프린트). 그리고 이 목적함수는 텍스트를 넘어 여러 양식(modality)의 정보를 토큰으로 바꿔 다루는 공통 훈련 목표로 확장되어 왔다(arXiv:2412.18619, 프리프린트).
어텐션과 트랜스포머 — 무엇을 볼지 스스로 고른다
2017년의 한 논문이 이 분야의 구조를 정했다. 그 논문은 당시의 지배적 방식을 정확히 지목하며 시작한다. 우세한 시퀀스 변환 모델은 인코더-디코더 구성의 복잡한 순환 또는 합성곱 신경망이고, 최고 성능 모델은 인코더와 디코더를 어텐션 기제로 연결한다는 것이다. 제안은 급진적이었다 — 순환과 합성곱을 완전히 버리고 오직 어텐션만으로 된 단순한 구조. 기계 번역 두 과제에서 이 모델은 품질이 더 나으면서 병렬화가 더 잘 되고 학습 시간이 훨씬 적게 든다고 보고되었다(DOI: 10.65215/2q58a426).
수식 없이 직관만 말하면 어텐션은 이렇다. 다음 토큰을 맞히려 할 때, 앞에 있는 토큰들 중 어디를 얼마나 볼지 그때그때 계산한다. 고정된 창을 정해 두고 그 안만 보는 것이 아니라, 지금 무엇을 처리하고 있느냐에 따라 볼 곳이 달라진다. "그것"이라는 대명사를 처리할 때 앞의 어느 명사를 참조할지를 미리 규칙으로 적어 주지 않아도, 훈련을 통해 그 참조가 만들어진다.
여기서 두 성질이 나온다. 참조가 내용에 따라 정해진다는 것, 그리고 순서 사슬에 묶이지 않는다는 것이다. 두 번째가 이후 10년을 결정했다. 순환 신경망은 앞 낱말을 처리해야 다음 낱말을 처리할 수 있어 계산이 시간 축에 묶인다. 그 사슬을 끊으면 한 시퀀스의 모든 위치를 동시에 계산할 수 있고, 학습이 늘어나는 하드웨어를 그대로 흡수하기 시작한다. 다음 절의 규모 이야기는 이 문이 열린 뒤에야 가능해진 이야기다.
왜 하필 이 형태인가에 대한 사후 설명은 여럿이다. 그중 하나는 자기어텐션을 분포 의미론과 연결한다. 말뭉치 수준의 공기(共起) 통계를 시퀀스 맥락으로 투영하는 것으로부터 자기어텐션이 나오며, 쿼리-키-밸류 기제는 방향성 관계를 모델링하기 위한 자연스러운 비대칭 확장으로, 위치 인코딩과 다중 헤드 어텐션은 같은 투영 원리의 구조적 정련으로 따라온다는 해석이다(arXiv:2511.13780, 프리프린트). 이런 설명이 여럿 경쟁하고 있다는 사실 자체가 이 글에서는 정보다. 구조가 잘 작동한다는 것과 왜 작동하는지 안다는 것은 다른 일이다.
이 구조에도 대가가 있다. 어텐션은 관련성과 무관하게 입력의 처음과 끝 토큰에 더 높은 주의를 주는 U자형 위치 편향을 보이며, 이것이 긴 맥락의 중간에 있는 정보를 놓치는 현상과 연결된다는 분석이 있다(arXiv:2406.16008, 프리프린트). 맥락 길이 문제는 그 자체로 아키텍처·인프라·학습·평가에 걸친 큰 연구 분야가 되었고, 한 서베이는 이 주제에 아직 답이 없는 질문 열 가지를 마지막에 나열한다(arXiv:2502.17129, 프리프린트).
크기를 늘리면 무슨 일이 일어나나 — 규모의 법칙
관측된 것
2020년의 한 프리프린트가 이 분야의 계획 방식을 바꿨다. 언어모델 성능을 교차엔트로피 손실로 재면, 손실이 모델 크기·데이터셋 크기·학습에 쓴 계산량에 대해 거듭제곱 법칙으로 스케일한다는 것이다. 일부 추세는 7자릿수 이상에 걸쳐 나타났다. 반면 신경망의 폭이나 깊이 같은 다른 아키텍처 세부는 넓은 범위 안에서 효과가 미미했다. 이 관계들 덕분에 고정된 계산 예산의 최적 배분을 정할 수 있게 된다(arXiv:2001.08361, 프리프린트).
이것이 왜 대단한가. 그전까지 "더 키우면 좋아진다"는 경험칙이었다. 이 연구는 얼마나 좋아질지를 미리 계산할 수 있다고 주장했다. 실험을 돌리기 전에 예산을 배분할 수 있다는 뜻이고, 그래서 이 관측은 곧바로 산업의 계획 도구가 됐다.
같은 초록의 마지막 문장이 당시의 실무 지침이 됐다. 큰 모델이 훨씬 표본 효율적이므로, 계산 효율이 최적인 학습은 아주 큰 모델을 상대적으로 적은 데이터로 학습시키고 수렴 훨씬 전에 멈추는 것이라는 결론이다.
그리고 그 관측이 수정됐다
2년 뒤, 같은 질문을 다시 판 연구가 정반대에 가까운 결론을 냈다. 주어진 계산 예산에서 최적의 모델 크기와 토큰 수를 조사한 결과, 당시의 대형 언어모델들이 유의하게 과소학습되어 있었다는 것이다. 모델을 키우면서 학습 데이터 양은 일정하게 두던 관행이 낳은 결과였다. 7천만에서 160억 매개변수에 이르는 400개 이상의 모델을 50억에서 5천억 토큰으로 학습시켜 본 결과, 계산 최적 학습에서는 모델 크기와 학습 토큰 수를 동등하게 늘려야 한다 — 모델 크기가 두 배가 되면 학습 토큰 수도 두 배가 되어야 한다(arXiv:2203.15556, 프리프린트).
이 수정이 이 글에서 중요한 이유는 결론 자체가 아니다. 규모의 법칙은 법칙이 아니라 관측이고, 관측은 수정된다는 사실이다. 2년 만에 "적은 데이터로 아주 큰 모델"이 "데이터도 같은 비율로"가 됐다. 그리고 이 수정은 반박이 아니라 방법론의 개선이었다 — 앞의 연구가 틀렸다기보다, 탐색 범위와 실험 설계를 바꾸자 다른 최적점이 나왔다.
규율 2. 규모에 관한 주장은 "어떤 자원 축을 무엇으로 고정한 채 잰 것인가"를 확인해야 읽을 수 있다. 매개변수만인가, 데이터도 함께인가, 계산 예산이 상수인가.
무엇이 아직 법칙이 아닌가
- 지표에 의존한다. 기존 규모 법칙 연구는 거의 전적으로 교차엔트로피에 의존하는데, 이 지표는 정답 토큰에 부여된 절대 확률만 재고 정답과 오답의 상대 순서를 무시한다. 그런데 실제로 문장을 생성할 때 중요한 것은 상대 순서다. 정답 토큰이 상위 예측 안에 드는 확률을 재는 지표로 규모 법칙을 다시 세운 연구가 제안되어 있다(arXiv:2510.20387, 프리프린트).
- 하류 과제로 자동 전이되지 않는다. 사전학습 데이터와 하류 과제의 분포 정렬이 충분하면 하류 성능도 단조 개선되고 예측도 가능하다. 그러나 적당한 불일치가 있으면 하류 번역 점수가 요동치거나 사전학습을 더 해도 나빠질 수 있다 — 그 와중에 하류 교차엔트로피는 단조 개선된다(arXiv:2402.04177, 프리프린트). 손실이 좋아지는 것과 우리가 원하는 것이 좋아지는 것은 다르다.
- 추정 방법론이 논쟁 중이다. 가장 잘 맞는 적합 매개변수를 보고하는 대신 외삽 손실에 기반한 더 엄밀한 방법론이 필요하다는 지적과 함께, 학습곡선에서 규모 법칙 매개변수를 신뢰성 있게 추정하는 절차가 제안됐다(arXiv:2209.06640, 프리프린트).
- 왜 성립하는지 모른다. 규모 법칙이 데이터에 이미 있는 거듭제곱 구조에서 온다는 설명이 흔한데, 튜닝 가능한 복잡도의 그래프 위 랜덤워크를 예측하도록 학습한 트랜스포머에서는 데이터 상관에 거듭제곱 구조가 없는데도 규모 법칙이 나타났다(arXiv:2601.10684, 프리프린트). 한편 침투 이론으로 자연 데이터셋을 기술한 수학 모형은 두 개의 임계 영역이 각각 최적 거듭제곱 규모 법칙을 낳는다고 제안한다(arXiv:2412.07942, 프리프린트). 설명이 여럿 경쟁한다는 것은 합의가 없다는 뜻이다.
규모의 법칙은 이 분야에서 가장 자주 인용되면서 가장 자주 오해되는 개념이다. 그것이 무엇인지 정확히 말하면 이렇다 — 어떤 조건에서 어떤 지표로 쟀을 때 반복해서 나타난 경험적 규칙성이다. 자연법칙이 아니고, 지표를 바꾸면 모양이 달라지며, 왜 성립하는지는 아직 설명되지 않았다.
사전학습 다음에 오는 것 — 훈련된 것과 우리가 쓰는 것은 다른 물건이다
여기가 입문자가 가장 자주 미끄러지는 자리다.
2022년의 한 프리프린트는 첫 문장을 이렇게 연다. 언어모델을 더 크게 만드는 것이 본질적으로 사용자 의도를 더 잘 따르게 만들지는 않는다. 큰 언어모델은 진실하지 않거나 유해하거나 그냥 사용자에게 도움이 안 되는 출력을 낼 수 있다. 다시 말해 이 모델들은 사용자와 정렬되어 있지 않다.
생각해 보면 당연하다. 다음 토큰 예측은 "가장 도움이 되는 답"이 아니라 "이 말뭉치에서 이어질 법한 말"을 목표로 한다. 인터넷에는 도움이 안 되는 말, 사실이 아닌 말, 질문에 질문으로 답하는 말이 얼마든지 있다. 사전학습만 마친 모델은 그런 이어짐도 충실히 재현한다.
그 논문이 제시한 경로는 두 단계다. 먼저 라벨러가 쓴 프롬프트와 실제로 제출된 프롬프트에 대해 원하는 행동의 시연 데이터셋을 모아 지도학습으로 미세조정한다(지시학습). 그다음 모델 출력의 순위 데이터셋을 모아 사람 피드백 강화학습으로 한 번 더 미세조정한다(RLHF). 결과로 보고된 것은 인상적이다 — 13억 매개변수 모델의 출력이 1750억 매개변수 모델의 출력보다 사람 평가에서 선호됐다. 매개변수가 100배 적은데도 그랬다. 진실성이 개선되고 유해 출력 생성이 줄었으며 공개 NLP 데이터셋에서의 성능 저하는 최소였다. 다만 저자들은 이 모델도 여전히 단순한 실수를 한다고 함께 적었다(arXiv:2203.02155, 프리프린트).
이 결과가 이 글에서 갖는 의미는 순위표가 아니다. 규모만이 축이 아니다라는 것이다. 같은 사전학습 위에서 그 뒤에 무엇을 했느냐가 사용자가 느끼는 것을 크게 바꾼다.
지시학습이 정확히 무엇을 바꾸는지는 아직 정리 중이다. 지시 데이터셋을 어떻게 섞을지의 절차는 여전히 잘 이해되지 않았고, 지시를 NLP 하류 과제·코딩·일반 대화 세 유형으로 나눠 조합을 바꿔 본 연구는 특정 유형이 어떤 응용에는 유리하지만 다른 영역에는 부정적 영향을 줄 수 있다고 보고한다(arXiv:2312.10793, 프리프린트). 지시 데이터를 사람이 아니라 다른 모델로 생성하는 방식도 시도되어 왔다(arXiv:2304.03277, 프리프린트).
사람 피드백 강화학습 쪽은 더 넓은 뿌리를 갖는다. RLHF는 공학적으로 설계한 보상 함수 대신 사람 피드백에서 배우는 강화학습의 변형으로, 선호 기반 강화학습이라는 선행 분야 위에 서 있으며 제어·로보틱스에서 온 기초 기법을 많이 물려받았다(arXiv:2312.14925, 프리프린트). 언어모델은 이 기법이 적용된 여러 영역 중 하나다.
그런데 이 절차에는 만만치 않은 가정이 들어 있다.
- 사람 모형이 너무 단순하다. 대부분의 접근은 사람이 (잡음 섞인) 합리적 존재이며 특히 편향 없는 피드백을 준다고 가정한다. 이 모형이 지나치게 단순하며 사람 모형은 개인적·맥락적·동적이어야 한다는 문제 제기가 있다(arXiv:2206.13316, 프리프린트). 피드백 유형을 아홉 개 차원으로 분류하고 피드백 품질 지표 일곱 개를 식별한 개념 틀도 제안되어 있다(arXiv:2411.11761, 프리프린트).
- 누구의 선호인가. RLHF에 다원주의를 도입해야 한다는 인식론적·윤리적 논증이 제기되어 있다(arXiv:2407.17482, 프리프린트). 정렬은 순수한 기술적 절차가 아니라 누구의 가치를 넣을 것인가라는 질문을 안에 품는다.
- 정렬은 무언가를 가져간다. 세 개의 언어모델에서 표집한 4,374편의 이야기를 분석한 연구는, 한 모델 계열의 연속된 버전들이 점점 심한 모드 붕괴를 겪는다고 보고한다. 정렬 과정에서 과적합되면 저자성에 대한 일반화가 제약되어 다양한 관점을 취하는 능력을 잃는다는 것이다(arXiv:2402.04477, 프리프린트). 이 관측은 특정 모델 계열의 특정 시점에 대한 것이지만, "정렬은 능력을 더하기만 한다"는 통념을 흔들기에는 충분하다.
규율 3. 논문을 읽을 때 그 논문이 사전학습된 기반 모델을 재는지, 지시학습과 정렬을 거친 모델을 재는지 먼저 확인한다. 둘은 다른 물건이고, 벤치마크 결과는 이 구분에 매우 민감하다.
맥락 안에서 배우기 — 가중치를 안 바꾸고도 달라진다
2020년의 한 프리프린트가 이상한 현상을 보고했다. 언어모델의 규모를 키우면 과제 불특정 few-shot 성능이 크게 향상되며, 때로는 그 이전의 최고 미세조정 접근과 경쟁할 만한 수준에 이른다는 것이다. 여기서 중요한 것은 방법이다 — 그래디언트 갱신이나 미세조정 없이, 과제와 몇 개의 시연을 순전히 텍스트 상호작용으로만 지정해 적용했다(DOI: 10.48550/arxiv.2005.14165).
이 현상을 맥락 내 학습(in-context learning)이라 부른다. 이름에 "학습"이 들어가지만 훈련이 아니다. 가중치는 하나도 바뀌지 않는다. 바뀌는 것은 모델이 지금 보고 있는 앞 문맥뿐이다. 프롬프트를 어떻게 쓰느냐가 결과를 바꾼다는, 이제는 익숙해진 사실의 근원이 여기 있다.
같은 초록은 한계도 함께 적었다. few-shot 학습이 여전히 고전하는 데이터셋들이 있고, 웹 말뭉치 학습에서 비롯되는 방법론적 문제를 겪는 데이터셋들도 있다는 것이다.
왜 이런 일이 되는가에 대해서는 설명이 여럿 나와 있다.
- 구성적 구조의 재조합. 맥락 내 학습이 자연어 데이터에 있는 구성적 연산의 재조합에 의존한다는 이론이 제시됐고, 사전학습 분포에 충분한 구성적 구조가 있으면 일반적인 다음 토큰 예측으로부터 맥락 내 학습 능력이 나온다는 정보이론적 상계가 유도됐다. 두 번째 상계는 답에 이르는 중간 단계를 출력하게 하는 프롬프트가 왜 경험적으로 잘 통하는지에 이론적 정당화를 준다. 프로빙 결과 맥락 내 학습이 입력의 구성적 구조에 대한 표상의 뒷받침을 받는 것으로 나타났다고 보고한다(arXiv:2303.07971, 프리프린트).
- 베이즈 추론. 언어를 모호하지 않은 것과 ε-모호한 것으로 나누고, 언어의 희소한 결합분포 위 베이즈 추론으로 맥락 내 학습·사고사슬 프롬프팅·지시 미세조정의 효과를 한꺼번에 귀속시키는 이론도 있다(arXiv:2304.09960, 프리프린트).
- 과제 벡터. 트랜스포머가 맥락 내 학습 과제를 표현 안의 벡터로 나타낸다는 선행 결과 위에서, 사전학습 중 과제의 부호화와 복호화가 함께 출현하며 표현에서 추론한 과제 부호화의 품질이 맥락 내 학습 성능을 예측한다는 보고가 있다(arXiv:2412.12276, 프리프린트).
- 나타났다가 사라질 수도 있다. 학습 데이터에 특정한 분포적 성질이 있을 때 맥락 내 학습이 트랜스포머에서 출현하지만 더 학습하면 이 능력이 줄어들 수도 있다는 경험적 관측이 있고, 이를 가중치 내 예측기와 맥락 내 예측기 사이를 게이팅으로 고르는 단순화 모형으로 이론적으로 설명한 연구가 있다(arXiv:2410.23042, 프리프린트).
맥락 내 학습에서 파생된 가장 널리 알려진 기법은 사고사슬 프롬프팅이다. 중간 추론 단계의 사슬을 생성하게 하면 복잡한 추론 능력이 크게 향상되며, 몇 개의 사고사슬 시연을 예시로 제공하는 단순한 방법으로 이를 끌어낼 수 있다는 보고다. 세 개의 대형 언어모델 실험에서 산술·상식·상징 추론 과제 전반의 성능이 개선됐다(arXiv:2201.11903, 프리프린트). 그 논문이 관측한 조건은 충분히 큰 모델이었다는 점을 함께 적어 둔다.
그리고 이 현상에는 잘 알려지지 않은 취약함이 있다. 프롬프트 앞쪽의 예시가 뒤에 오는 과제에 적응하는 능력을 방해하는 맥락의 끈적임이다. 선형 함수와 이차 함수를 쓰는 합성 회귀 과제에서, 앞선 오도성 예시가 많을수록 뒤의 예측 오차가 확실히 커졌고 이차 예시를 더해도 오차 감소는 수확 체감을 보였다(arXiv:2604.23371, 프리프린트). 프롬프트에 무엇을 넣느냐뿐 아니라 무엇을 이미 넣었느냐가 뒤따르는 것을 오염시킬 수 있다는 뜻이다.
한편 이 현상을 능력이 아니라 알고리즘으로 보는 관점도 있다. 트랜스포머를 범용 맥락 내 학습기로 메타학습시킬 수 있고, 일반화하는 알고리즘·암기하는 알고리즘·메타학습 자체가 실패하는 상태 사이의 전이가 모델 크기·과제 수·메타 최적화에 의해 유도된다는 보고다. 그리고 메타학습된 알고리즘의 능력은 매개변수 수가 아니라 다음 예측을 결정하는 접근 가능한 상태 크기(메모리)에 병목이 걸린다(arXiv:2212.04458, 프리프린트).
흔한 오해
"토큰은 단어다." 아니다. 부분단어이며, 언어에 따라 같은 내용을 담는 데 필요한 토큰 수가 최대 15배까지 차이 난다(arXiv:2305.15425). 토큰 경계는 형태소 경계와 잘 맞지 않는 경우가 많고, 잘 맞춘다고 성능이 따라오지도 않는다(arXiv:2507.06378).
"규모의 법칙은 법칙이다." 관측이다. 그리고 2년 만에 수정됐다(arXiv:2001.08361 → arXiv:2203.15556). 지표를 바꾸면 모양이 달라지고(arXiv:2510.20387), 왜 성립하는지에 대한 설명은 아직 경쟁 중이다(arXiv:2601.10684, arXiv:2412.07942).
"손실이 좋아지면 다 좋아진다." 사전학습 데이터와 하류 과제의 분포가 어긋나면 하류 지표가 나빠지는 동안에도 하류 교차엔트로피는 단조 개선될 수 있다(arXiv:2402.04177).
"정렬은 능력을 더하기만 한다." 정렬 과정의 과적합이 다양한 화자를 흉내 내는 능력을 제약한다는 관측이 있다(arXiv:2402.04477).
"맥락 창이 길면 그 안을 다 읽는다." 어텐션은 관련성과 무관하게 입력의 처음과 끝에 더 큰 주의를 준다(arXiv:2406.16008).
"프롬프트에 예시를 넣을수록 좋아진다." 앞선 예시가 뒤의 과제 적응을 방해하는 간섭이 보고되어 있다(arXiv:2604.23371).
"다음 토큰 예측이니 통계적 흉내일 뿐이다" — 또는 반대로 "그러니 이해하고 있다." 이 글은 어느 쪽도 결론 내리지 않는다. 문헌에는 양쪽이 다 있다. 다음 토큰 예측으로 학습된 모델의 표현 안에서 입력의 구성적 구조에 대한 표상이 프로빙으로 발견됐다는 보고가 있고(arXiv:2303.07971), 트랜스포머의 계산 구조가 인간 언어 능력이 의존하는 형식을 지지하지 않는다는 논증도 있다(arXiv:2508.18598). 이 대립은 아래에서 다시 다룬다.
우리가 모르는 것
이 기계가 무엇을 학습했는지 — 프로빙의 한계
내부를 들여다보는 방법은 있다. 지식그래프와 모델의 정렬을 재서 사실성과 지식의 사각지대를 프로빙하는 틀이 있고(arXiv:2312.11539, 프리프린트), 모델 내부에 접근하지 않고 토큰 수준 확률만으로 맥락 길이에 따른 예측 변화를 추적하는 설명 기법도 있다(arXiv:2212.14815, 프리프린트).
문제는 이 도구들이 답이 아니라 도구라는 점이다.
가장 뼈아픈 사례가 망각 연구에서 나온다. 무작위 라벨로 미세조정해 특정 과제를 "잊게" 만든 언어모델을 조사한 연구는, 과제에 따라 망각의 일반화가 극단적으로 달라진다고 보고한다. 어떤 과제에서는 망각이 강건하게 일반화되어 새 사례에서도 무의미한 예측을 내놓지만, 물리 상식 추론이나 과학 질의응답 같은 과제에서는 학습 예제에만 영향이 가고 매우 비슷한 새 사례는 여전히 정확하게 처리한다. 데이터셋 난이도로는 예측되지 않는다. 그리고 이 글에 가장 중요한 결과는 마지막에 있다 — 일반화되는 망각조차 얕다. 망각 후에도 모델의 표현 위에 학습한 선형 프로브는 여전히 그 과제를 안정적으로 수행했다(arXiv:2409.02228, 프리프린트).
이것이 뜻하는 바는 분명하다. 행동과 표현이 어긋난다. 모델이 어떤 일을 못 하는 것처럼 행동한다고 해서 그 정보가 내부에 없는 것은 아니다. 반대도 마찬가지다 — 프로브가 무언가를 읽어 낸다고 해서 모델이 그것을 쓰고 있다는 보장은 없다.
무엇을 학습했는지 알아내는 더 강한 방법은 학습 데이터를 직접 조작하는 것이다. 영어 수동태의 예외를 언어모델이 어떻게 배우는지 연구한 사례는 가설이 지목하는 유형의 문장을 말뭉치에서 제거·변경·도입해 가며 답을 좁혔고, 학습자의 입력을 완전히 통제하는 것이 이런 질문에 결정적이라고 방법론적 교훈을 남겼다(arXiv:2407.04593, 프리프린트). 그런데 이 방법은 학습을 처음부터 다시 돌릴 수 있어야 쓸 수 있다. 학습 말뭉치도 학습 절차도 공개되지 않은 모델에는 적용할 수 없다는 뜻이다.
데이터 양과 지식의 관계도 단순하지 않다. 증가하는 크기의 원문 데이터로 학습한 모델들을 구문 구조 프로브로 비교한 연구는, 더 많은 데이터로 사전학습된 모델이 더 많은 구문 정보를 부호화하고 하류 응용에서 더 잘하지만 여러 구문 현상에 걸쳐 일관되게 더 나은 성능을 주지는 않는다고 보고한다(arXiv:2109.03160, 프리프린트).
창발 능력은 진짜 창발인가
이 자리는 답이 갈려 있고, 이 글은 갈린 채로 남긴다. 다만 논쟁의 지형은 그릴 수 있다.
주장(2022). 작은 모델에는 없고 큰 모델에는 있는 능력을 창발이라 부르자는 제안이 나왔다. 그 정의에 따르면 창발 능력은 작은 모델의 성능을 외삽해 예측할 수 없다. 그런 창발이 존재한다면 추가적인 규모 확대가 능력의 범위를 더 넓힐 수 있다는 함의가 따른다(arXiv:2206.07682, 프리프린트).
반론(2023). 특정 과제와 모델 계열에서 고정된 모델 출력을 분석할 때, 창발은 규모에 따른 모델 행동의 근본적 변화 때문이 아니라 연구자의 지표 선택 때문에 나타난다는 대안 설명이 제시됐다. 비선형·불연속 지표는 겉보기 창발을 낳고, 선형·연속 지표는 매끄럽고 예측 가능한 변화를 낳는다는 것이다. 저자들은 이를 세 가지 방식으로 검증했고, 그중 하나에서는 여러 시각 과제에 대해 전에 없던 겉보기 창발을 지표 선택만으로 만들어 보였다. 세 분석을 통해 이른바 창발 능력이 다른 지표나 더 나은 통계에서는 증발하며 규모 확대의 근본적 성질이 아닐 수 있다는 증거를 제시한다(arXiv:2304.15004, 프리프린트).
다른 설명(2023). 창발이라 불린 것이 맥락 내 학습·모델 기억·언어 지식의 조합에서 나온 것이며 진짜 창발이 아니라는 이론이, 1,000회가 넘는 실험과 함께 제시됐다. 저자들은 이 결과가 언어모델의 능력을 과대평가해서는 안 된다는 것을 보여 준다고 적는다(arXiv:2309.01809, 프리프린트).
또 다른 설명(2024). 문제를 난이도별로 묶어 보면 어려운 문제는 U자형 스케일링을, 쉬운 문제는 역U자형 뒤 꾸준한 개선을 보인다. 이 둘이 처음에는 서로 상쇄되어 전체 성능이 정체하다가, 쉬운 문제의 패턴이 역스케일링에서 표준 스케일링으로 되돌아갈 때 성능이 치솟으면서 창발처럼 보인다는 설명이다(arXiv:2410.01692, 프리프린트).
정리(2025). 이 현상을 포괄적으로 검토한 서베이는 기존 정의들을 비판적으로 분석해 개념화의 불일치를 드러내고, 규모 법칙·과제 복잡도·사전학습 손실·양자화·프롬프팅 전략이 각각 어떤 역할을 하는지 평가한다. 결론은 조심스럽다 — 창발 능력은 여전히 잘 이해되지 않았고, 그 정의·본질·예측가능성·함의에 대한 오해를 낳고 있다(arXiv:2503.05788, 프리프린트).
이 논쟁의 지형에서 주목할 것이 있다. 반대편에 선 연구들조차 "창발이 없다"고 말하지는 않는다. 그들이 말하는 것은 지금까지 창발이라 불린 것들의 상당 부분이 지표나 프롬프트나 난이도 분포로 설명된다는 것이다. 그래서 실무적 함의는 하나로 좁혀진다.
규율 4. "이 크기에서 이 능력이 생겼다"는 문장을 읽을 때, 그 문장이 무슨 지표로 측정됐는지 확인하지 않으면 아무것도 확인한 것이 아니다.
이 기계는 무엇의 모형인가
가장 근본적인 자리도 비어 있다.
한쪽에는 언어모델이 언어를 사용하는 법을 배웠다는 사실을 인정하는 것이 언어과학의 돌파구를 열 수 있다는 관점이 있다. 다만 그 대가로 언어 지식을 평가하는 오래된 방식 일부를 버려야 할 수 있다고 함께 적는다(arXiv:2512.12447, 프리프린트).
다른 쪽에는 트랜스포머가 인간의 능력에 대한 모형이 아니라 우리가 학습시킨 말뭉치에 대한 모형이라는 논증이 있다. 인지과학은 인간의 언어 능력이 초선형(supralinear) 계산 형식에 의존한다고 말하는데 트랜스포머 구조는 기껏해야 선형 형식을 지지한다는 것이다. 다만 이 논증의 저자는 그것이 그리 비관적인 이야기가 아니라고 덧붙인다 — 언어는 내면을 표현하는 수단만이 아니라 적절한 맥락이 주어지면 새 언어를 만들어 내는 일종의 '담화 기계'이며, 우리가 이 기술을 한 방식으로 쓰는 법을 배웠듯 언어모델도 아주 다른 방식으로 그것을 쓰는 법을 배웠다는 것이다(arXiv:2508.18598, 프리프린트).
두 관점은 같은 자료를 보고 다른 결론에 도달한다. 이 자리에서 어느 쪽이 옳은지는 이 글이 정할 수 없다. 다만 어느 쪽을 택하든 그 선택이 논증이지 관측이 아니라는 것은 분명히 해 둘 수 있다.
더 깊이 가려면
읽는 순서
- 구조 원전 — 어텐션만으로 된 구조를 제안한 2017년 논문(DOI: 10.65215/2q58a426). 짧고, 지금 읽어도 첫 문단이 문제 설정으로 정확하다.
- 규모 — 규모 법칙을 처음 정리한 프리프린트(arXiv:2001.08361)와 그것을 수정한 계산 최적 학습 연구(arXiv:2203.15556)를 반드시 붙여서 읽는다. 하나만 읽으면 지금은 틀린 결론을 갖게 된다.
- 맥락 내 학습 — few-shot 학습을 보고한 2020년 프리프린트(DOI: 10.48550/arxiv.2005.14165), 이어서 사고사슬(arXiv:2201.11903).
- 정렬 — 사람 피드백으로 미세조정한 2022년 프리프린트(arXiv:2203.02155)와 RLHF 서베이(arXiv:2312.14925).
- 논쟁 — 창발 주장(arXiv:2206.07682) → 지표 반론(arXiv:2304.15004) → 서베이(arXiv:2503.05788). 이 셋을 순서대로 읽으면 이 분야에서 하나의 논쟁이 어떻게 진행되는지가 보인다.
논문을 열 때 확인할 네 가지
- 어떤 모델인가. 사전학습된 기반 모델인가, 지시학습·정렬을 거친 모델인가.
- 무엇을 쟀나. 손실인가 하류 과제 지표인가. 그 지표는 연속인가 불연속인가.
- 규모의 축이 무엇인가. 매개변수만인가, 데이터도인가, 계산 예산이 상수인가.
- 프롬프트가 통제됐나. 맥락 내 학습과 사고사슬이 교란변수로 들어와 있지는 않은가.
마지막으로
이 글이 세운 것은 다섯 개의 기둥과 하나의 빈칸이다.
기둥은 토큰, 다음 토큰 예측, 어텐션, 규모, 정렬이다. 다섯 모두 한 문장으로 요약할 수 있다. 기계는 낱말이 아닌 조각으로 글을 보고, 다음 조각을 맞히도록만 훈련받고, 무엇을 볼지 스스로 고르는 구조로 그 일을 하며, 자원을 늘리면 예측 가능하게 좋아지되 그 예측식은 관측이라 수정되고, 우리가 실제로 쓰는 물건은 그 위에 사람의 선호를 한 겹 더 입힌 것이다.
빈칸은 이 기계가 무엇을 학습했는지 우리가 아직 잘 모른다는 것이다. 프로빙은 도구일 뿐 답이 아니고, 행동과 표현은 어긋날 수 있으며, 규모에서 나타난다는 능력들이 진짜 새로 생긴 것인지도 갈려 있다.
이 빈칸을 인정하는 것은 냉소가 아니다. 오히려 이 분야의 논문을 읽는 가장 실용적인 자세다. 어떤 논문이 그 빈칸을 채웠다고 주장하면, 그 논문이 무엇으로 그것을 쟀는지부터 보게 되기 때문이다.
근거 논문
- "A Mathematical Theory of Communication," Bell System Technical Journal (1948) — DOI: 10.1002/j.1538-7305.1948.tb01338.x — 채널 잡음과 원 메시지의 통계적 구조에서 오는 절약 가능성을 포함한 통신의 일반 이론.
- "Distributed Representations of Words and Phrases and their Compositionality" (2013, 프리프린트) — DOI: 10.48550/arxiv.1310.4546 — 단어의 분산 벡터 표현, 부분표집·부정 표집, 그리고 "어순에 무관심하고 관용구를 표현하지 못한다"는 자기 한계.
- "Attention Is All You Need" (2017) — DOI: 10.65215/2q58a426 — 순환·합성곱을 완전히 배제하고 어텐션만으로 된 구조, 병렬화와 학습 시간 절감.
- "Language Models are Few-Shot Learners" (2020, 프리프린트) — DOI: 10.48550/arxiv.2005.14165 — 그래디언트 갱신·미세조정 없이 텍스트 상호작용만으로 지정한 few-shot, 그리고 여전히 고전하는 데이터셋과 웹 말뭉치 학습의 방법론적 문제에 대한 자기 지적.
- "Scaling Laws for Neural Language Models" (2020, 프리프린트) — arXiv:2001.08361 — 손실이 모델·데이터·계산에 대해 거듭제곱으로 스케일, 폭·깊이의 효과는 미미, 고정 예산의 최적 배분.
- "Training Compute-Optimal Large Language Models" (2022, 프리프린트) — arXiv:2203.15556 — 당시 대형 모델의 과소학습, 모델 크기와 토큰 수를 동등하게 늘려야 한다는 수정.
- "Training language models to follow instructions with human feedback" (2022, 프리프린트) — arXiv:2203.02155 — 정렬 문제의 정식화, 지시 미세조정 + RLHF, 100배 작은 모델의 출력이 선호됨, 그러나 여전한 단순 실수.
- "Emergent Abilities of Large Language Models" (2022, 프리프린트) — arXiv:2206.07682 — 창발의 정의와 예측 불가능성 주장.
- "Are Emergent Abilities of Large Language Models a Mirage?" (2023, 프리프린트) — arXiv:2304.15004 — 창발이 지표 선택의 산물일 수 있다는 대안 설명과 세 갈래 검증.
- "Are Emergent Abilities in Large Language Models just In-Context Learning?" (2023, 프리프린트) — arXiv:2309.01809 — 맥락 내 학습·기억·언어 지식의 조합으로 설명, 1,000회 이상 실험.
- "U-shaped and Inverted-U Scaling behind Emergent Abilities of Large Language Models" (2024, 프리프린트) — — 난이도별 상반된 스케일링의 상쇄로 창발을 설명.
