역전파에서 알파폴드까지 — 딥러닝은 무엇을 딛고 올라섰나

왜 알아야 하나

1989년의 한 논문은 미국 우체국이 제공한 손글씨 우편번호 숫자로 실험했습니다. 단순한 계산 단위를 아주 많이 이어 붙인 계산 구조인 신경망 하나가 가지런히 다듬은 숫자 그림을 받아 어떤 숫자인지 가려내기까지, 알아보는 일 전체를 통째로 학습했습니다(DOI: 10.1162/neco.1989.1.4.541).

30여 년 뒤, 단백질 구조 예측 대회의 평가 논문에 이런 문장이 적혔습니다. 한 연구 그룹의 딥러닝 방법, 곧 층을 여러 겹 쌓은 인공 신경망을 학습시키는 방법이 실험 구조에 필적하는 정확도의 구조를 일관되게 계산해 냈고, 이는 적어도 단일 단백질에 대해서는 고전적인 단백질 접힘 문제의 해결에 해당한다는 문장입니다(DOI: 10.1002/prot.26237).

우편번호와 단백질 사이에 무슨 일이 있었을까요. 딥러닝의 역사는 대개 성적표로 이야기됩니다. 이 글은 성적표 대신 다른 물음을 따라갑니다. 각 논문이 무엇을 딛고 섰고, 무엇을 풀었다고 했는가입니다.

이 사슬은 나중에 상상으로 붙인 것만은 아닙니다. 각 논문이 참고문헌에 실제로 무엇을 올렸는지 따라가면 뼈대가 드러납니다. 뒤에서 차례로 볼 잔차 신경망(ResNet) 논문은 1989년 우편번호 논문을 인용하고, 트랜스포머 논문은 ResNet을, 알파폴드 논문은 그 둘을 모두 인용합니다. 이 인용 관계는 오픈 학술 데이터베이스인 OpenAlex의 참고문헌 기록에서 확인했습니다. 인용은 「참고했다」는 기록일 뿐, 영향의 크기나 아이디어의 소유권을 뜻하지는 않습니다.

인용 사슬과 함께 따라갈 것은 병목입니다. 각 논문은 초록에서 그때의 주류 방법이 막혀 있던 구체적인 병목을 지목하고, 그것을 풀었다고 보고합니다. 그 병목이 사슬의 바로 앞 고리가 남긴 것일 때도 있고 아닐 때도 있어서, 이 글은 인용 사슬과 병목을 따로 적습니다. 병목은 학습이 되느냐, 계산을 어떻게 짜느냐, 예제가 얼마나 드느냐, 정확도가 어디까지 오르느냐처럼 단계마다 달랐습니다.

출발점: 겨울에서 시작한다

계보의 출발선은 실패 다음입니다.

1940년대 말, 몇몇 사람들이 컴퓨터가 단순한 자동 계산기 이상이라는 것을 알아차렸습니다. 알맞은 알고리즘을 돌리면 사람의 지능이 있어야 한다고 여기던 일을 할 수 있다고 믿었습니다. 1952년 크리스토퍼 스트래치가 체커를 두는 최초의 인공지능 프로그램을 완성했고, IBM의 아서 새뮤얼이 여기에 경험으로부터 배우는 능력, 곧 기계학습을 더했습니다. 카네기멜런의 한 팀이 만든 대수 프로그램은 고전 수학 교과서의 증명 52개 가운데 38개를 재현했습니다. 성공에 들뜬 과학자들은 낙관적인 선언을 쏟아냈습니다. 그러나 프로젝트가 잇달아 실패했고, 첫 번째 「AI 겨울」이 찾아왔습니다(DOI: 10.1093/oso/9780198853732.003.0005).

에든버러 대학의 초기 인공지능 연구사를 재구성한 연구에 따르면, 도널드 미치와 크리스토퍼 롱게히긴스 같은 인물들이 에든버러를 유럽의 인공지능 거점으로 세웠고, 에든버러는 라이트힐 보고서가 촉발한 AI 겨울 속에서도 여러 분야에서 진전을 만들어 냈습니다(DOI: 10.1177/30504554261417567).

계산의 토대는 그보다 앞서 놓여 있었습니다. 1945년 존 폰 노이만의 EDVAC 보고서 초안은, 앨런 튜링이 자기 자동계산기 제안서에서 범용 디지털 컴퓨터의 본질과 설계를 이해하는 결정적 출처로 인용할 만큼 영향이 컸습니다(DOI: 10.1109/85.238389). 1948년 클로드 섀넌은 통신의 일반 이론에 채널의 잡음과 원래 메시지의 통계적 구조 덕에 아낄 수 있는 몫을 넣었습니다(DOI: 10.1002/j.1538-7305.1948.tb01338.x). 기계도 정보의 수학도 있었습니다. 없었던 것은 기계가 스스로 표현을 배우게 하는 방법이었습니다. 여기서 표현은 기계가 입력을 안에서 어떤 숫자들로 바꿔 들고 있는지를 말합니다.

1989: 계보의 뿌리 — 배울 수 있는 것을 신경망의 짜임새로 미리 좁히다

이 글을 연 우편번호 논문이 딥러닝 사슬의 뿌리이고, 뒤의 단계들이 거듭 되돌아가는 자리입니다.

논문의 주장은 둘입니다. 하나는 학습하는 신경망의 일반화 능력은 과제 영역에서 오는 제약을 넣어 주면 크게 향상될 수 있다는 것입니다. 일반화는 학습 때 보지 못한 새 데이터에서도 잘 맞히는 능력이고, 제약은 「이 과제라면 답이 이런 꼴일 것」이라는 미리 아는 지식입니다. 다른 하나는 그 제약을 역전파 신경망에 넣는 통로가 아키텍처라는 것입니다(DOI: 10.1162/neco.1989.1.4.541). 아키텍처는 신경망의 짜임새로, 층을 몇 겹 두고 어느 계산 단위를 어느 단위와 잇는지 정한 설계입니다.

역전파는 「신경망과 파라미터 — 수천억 개의 다이얼을 조금씩 돌린다는 것」이 정의한 대로, 출력에서 잰 손실, 곧 모델이 낸 답이 정답에서 얼마나 벗어났는지를 잰 값에서 거꾸로 거슬러 올라가며 파라미터마다 손실에 주는 영향(기울기)을 계산하는 방법이고, 이 방법 자체는 이미 알려져 있었습니다.

이 논문이 더한 것은 무엇을 배울 수 있는지를 아키텍처로 미리 좁혀 둔다는 발상입니다. 예를 들어 한 층의 각 단위가 그림에서 가까이 붙은 점들만 받아 보도록 연결을 짜 두면, 그 층은 처음부터 가까운 점들 사이의 모양에 집중하게 됩니다. 지식을 규칙으로 적어 넣는 대신 구조로 심는 것입니다. 30여 년 뒤의 알파폴드 논문도 단백질 구조에 대한 지식을 딥러닝 알고리즘의 설계에 담았다고 적습니다. 이 글은 이것을 같은 발상의 변주로 읽습니다.

1998: 손글씨에서 수표까지 — 그림을 작은 창으로 훑는 신경망

9년 뒤, 같은 연구 흐름이 훨씬 큰 주장을 들고 돌아옵니다. 역전파로 학습시킨 여러 층의 신경망은 기울기를 따라 배우는 기법 가운데 가장 성공적인 예이고, 아키텍처만 알맞으면 사람이 거의 손질하지 않은 손글씨 같은 패턴도 가를 수 있는 복잡한 경계를 스스로 만들어 낸다는 것입니다. 그리고 여러 손글씨 인식 기법을 표준 숫자 인식 과제 하나로 비교해, 2차원 모양의 들쭉날쭉함을 다루도록 따로 설계한 합성곱 신경망이 비교한 다른 모든 기법을 앞섰다고 보고했습니다(DOI: 10.1109/5.726791).

합성곱 신경망(convolutional neural network, CNN)은 작은 창 하나를 그림 위로 옮겨 가며, 자리마다 같은 가중치로 같은 계산을 되풀이하는 신경망입니다. 가중치는 입력마다 곱하는 숫자입니다. 숫자가 그림의 왼쪽에 있든 오른쪽에 있든 같은 창이 같은 모양을 알아봅니다. 우편번호 논문이 말한 「제약을 아키텍처에 심는다」가 이런 모습입니다.

논문에 실린 수표 판독 시스템은 합성곱 신경망 문자 인식기에 시스템 전체를 한꺼번에 학습시키는 기법을 결합했고, 상업적으로 배치되어 하루에 수백만 장의 수표를 처리하고 있었습니다.

이 논문의 참고문헌에는 1989년의 우편번호 논문이 들어 있습니다. 계보가 상상만은 아니라는 첫 번째 기록입니다.

사이의 시간: 깊이가 문제였던 시절

그 뒤는 순탄하지 않았습니다. 표현을 스스로 배우는 신경망이 이미 이겼다면, 이야기는 2000년대에 끝났을 것입니다.

문제는 깊이였습니다. 층을 더 쌓으면 더 복잡한 관계를 나타낼 수 있어야 하는데, 2016년의 한 논문이 첫 문장에 적은 대로 더 깊은 신경망은 학습하기가 더 어려웠습니다(DOI: 10.1109/cvpr.2016.90). 이 시기의 한 우회로는 학습 방식을 바꾸는 것이었습니다. 볼츠만 머신(Boltzmann machine)은 데이터가 어떻게 생겼는지 배워 비슷한 데이터를 만들어 내는 신경망의 한 종류이고, 이를 여러 층으로 학습시키는 2012년 연구에서 층별 사전학습(layer-wise pretraining) 단계가 가중치의 첫 값을 합리적으로 잡아 주어 학습을 효율적으로 만들었습니다. 이렇게 찾은 특징은 앞으로만 계산을 넘기는 보통 신경망의 가운데 층에 첫 값으로 넣기에 매우 효과적이었고, 그 뒤 정답을 가리는 쪽으로 한 번 더 다듬을 수 있었습니다(DOI: 10.1162/neco_a_00311). 여기서 사전학습은 언어모델의 사전학습과 이름만 같고, 본 학습 전에 층을 하나씩 먼저 학습시켜 출발점을 잡는 단계입니다.

이론 쪽에서는 깊은 신뢰망(deep belief network)이라는 생성 신경망을 두고, 깊지만 좁은 신경망이 어떤 데이터 분포든 원하는 만큼 가깝게 흉내 내는 능력(보편 근사)을 갖추는 데 얕은 신경망보다 파라미터가 더 필요하지 않다는 증명이 나왔습니다(DOI: 10.1162/neco.2010.08-09-1081). 깊이가 원리적으로 불리하지 않다는 논증이었습니다. 그러나 원리와 실제로 학습이 되는 것은 다른 문제였고, 이 간극은 뒤에 볼 잔차 신경망이 나올 때까지 숙제로 남습니다.

그보다 앞선 1980년대에는 언어를 연구하는 학계에서 신경망 쪽 접근이 냉대를 받았습니다. 연결주의(connectionism)는 신경망처럼 단순한 단위를 많이 이어 마음과 언어를 설명하려는 접근입니다. 1980년대 연결주의의 등장에 언어 연구자들이 냉담했던 일을 돌아본 1992년의 한 글은, 연결주의가 「잘해야 언어 이론의 목표와 무관하고 최악의 경우 그에 적대적」인 것으로 여겨졌다고 적습니다. 다만 그 글의 저자 자신은 두 접근이 통념보다 공통점이 많다고 보고, 접점을 서술하는 쪽에 서 있었습니다(DOI: 10.1093/oso/9780195076653.003.0004).

제약은 신경망 바깥에도 있었습니다. 초기 인공지능은 상징적·신경적·확률적 접근을 두루 탐색했지만 하드웨어와 데이터의 제약에 묶여 있었습니다. 마이크로칩·GPU·이후의 TPU가 계산 능력을 끌어올리고 인터넷이 오랜 데이터 병목을 풀었지만, 가장 큰 전환은 신경망 아키텍처의 혁신에서 왔다는 것이 이 시기를 정리한 한 개관의 결론입니다(DOI: 10.1017/s1062798725100379).

2013~2014: 낱말 표현·게임·학습 도구라는 부품들

그다음에 온 것은 하나의 거대한 발명보다 부품들이었습니다.

첫 부품은 낱말의 표현입니다. 2013년의 한 프리프린트는 낱말을 숫자 묶음으로 바꿔 낱말 사이의 의미 관계를 담는 방법, 곧 워드 임베딩을 다듬었습니다. 자주 나오는 낱말을 일부 덜어 내고 학습하면(부분표집) 학습이 빨라지고 표현이 더 규칙적이 된다고 보고했고, 기존 방법 하나를 대신할 간단한 대안(부정 표집)도 내놓았습니다. 이 논문은 자기 한계를 분명히 적었습니다. 낱말 표현은 어순에 무관심하고 관용구를 나타내지 못해서, 「Canada」와 「Air」의 뜻을 합쳐도 「Air Canada」가 되지 않습니다(DOI: 10.48550/arxiv.1310.4546). 4년 뒤의 트랜스포머 논문이 초록에서 지목한 것은 순환·합성곱 구조였고, 이 어순 한계를 겨냥한다는 말은 그 초록에 없습니다.

둘째 부품은 보는 일에서 움직이는 일로 가는 길입니다. 같은 해 다른 프리프린트는 해 본 행동에 점수를 주고 점수가 커지는 쪽으로 행동을 고쳐 가는 강화학습으로, 게임 화면의 픽셀에서 곧바로 조작 규칙(제어 정책)을 배운 최초의 딥러닝 모델을 내놓았습니다. 출력은 앞으로 받을 보상을 추정한 값이고, 구조는 합성곱 신경망에 강화학습의 한 방법인 Q-러닝의 변형을 결합한 것이었습니다. 아타리 2600 게임 일곱 개에 아키텍처도 학습 알고리즘도 바꾸지 않고 그대로 적용했다고 보고합니다(DOI: 10.48550/arxiv.1312.5602). 낱말 표현 논문과 이 논문은 모두 동료심사를 거치지 않은 프리프린트이고, 다른 방법과의 성능 비교도 저자들이 스스로 보고한 것입니다.

셋째 부품은 학습을 굴러가게 하는 도구입니다. 2014년의 Adam은 기울기만 쓰는 1차 최적화 방법, 곧 기울기를 보고 파라미터를 손실이 줄어드는 쪽으로 조금씩 옮기는 경사하강법을 손본 방법의 하나로, 학습하는 동안 기울기의 평균과 퍼짐 같은 값을 추정해 걸음을 조절합니다. 저자들은 Adam이 구현이 간단하고 계산 효율이 높으며 메모리를 적게 쓰고, 데이터나 파라미터가 큰 문제와 기울기가 잡음투성이거나 드문드문한 문제에도 잘 맞으며, 사람이 미리 정하는 설정값(하이퍼파라미터)을 대체로 거의 손볼 필요가 없다고 보고합니다(DOI: 10.48550/arxiv.1412.6980, 역시 프리프린트). 이 글은 Adam을 새로운 아이디어보다 아이디어를 값싸게 시도하게 해 주는 도구로 봅니다.

2016: 층을 깊이 쌓으면 학습이 안 되던 벽

2016년의 잔차 신경망 논문은 첫 문장부터 이 시기의 병목을 적습니다. 더 깊은 신경망은 학습하기가 더 어렵습니다.

잔차 학습(residual learning)은 층이 출력을 통째로 새로 만드는 대신, 받은 입력을 기준으로 거기에 덧붙일 차이(잔차)만 배우게 하는 방법입니다. 입력은 그대로 다음으로 건너가고, 층은 거기에 더할 몫만 맡습니다. 저자들은 이렇게 만든 망이 최적화하기 더 쉽고 깊이를 크게 늘려도 정확도가 오른다는 실증 근거를 폭넓게 내놓았습니다.

사진 분류 데이터인 ImageNet에서 최대 152층까지 평가했는데, VGG 신경망보다 8배 깊으면서 복잡도는 더 낮았습니다. 여러 망의 답을 합친 앙상블은 ImageNet 테스트셋에서 3.57% 오차를 기록해 ILSVRC 2015 분류 과제 1위를 차지했습니다. 작은 사진 데이터인 CIFAR-10에서는 100층과 1000층 분석도 내놓았고, 사진 속 물체를 찾는 COCO 과제에서 28% 상대 개선을 얻었다고 보고합니다(DOI: 10.1109/cvpr.2016.90).

이 수치는 모두 저자들이 직접 보고한 벤치마크, 곧 여러 모델이 같은 문제로 점수를 견주는 시험의 성적입니다. 계보에서 이 논문의 자리는 등수보다 진단에 있습니다. 앞선 한 우회로가 깊은 망의 첫 값을 잘 잡는 쪽으로 학습을 도왔다면, 잔차 학습은 층이 배우는 대상 자체를 입력에 덧붙일 차이로 바꿨고, 저자들은 이렇게 짠 깊은 망이 최적화하기 더 쉽다고 보고했습니다.

그리고 이 논문의 참고문헌에도 1989년 우편번호 논문이 있습니다. 27년을 건너뛴 인용입니다.

2017: 단어를 차례로 읽는 구조를 버리다

2017년의 트랜스포머 논문은 당시의 지배적인 구조를 지목하며 시작합니다. 번역처럼 단어의 줄을 다른 단어의 줄로 바꾸는 일에서 우세한 모델은, 입력을 읽는 인코더와 출력을 쓰는 디코더로 짠 복잡한 순환 신경망이나 합성곱 신경망이었습니다. 순환 신경망(recurrent neural network, RNN)은 단어를 하나씩 차례로 읽으며, 앞까지 읽은 내용을 다음 단계로 넘겨주는 신경망입니다. 최고 성능 모델은 인코더와 디코더를 어텐션으로도 이어 두었습니다. 어텐션은 「생성형 AI의 대답 — 한 조각씩 골라 이어 붙인 문장」의 말로 입력의 어느 부분에 얼마나 주목할지를 그때그때 계산하는 장치입니다.

제안은 급진적이었습니다. 순환과 합성곱을 완전히 버리고 어텐션만으로 짠 단순한 구조, 곧 어텐션을 뼈대로 삼은 트랜스포머입니다. 기계 번역 두 과제의 실험에서 이 모델은 품질이 더 나으면서, 계산을 여러 갈래로 나눠 동시에 돌리기(병렬화)가 더 쉽고 학습 시간이 훨씬 적게 든다고 보고되었습니다. 번역 점수 BLEU로 WMT 2014 영어-독일어에서 28.4를 얻어 앙상블을 포함한 기존 최고 결과를 2 BLEU 넘게 앞섰고, 영어-프랑스어에서는 GPU 8장으로 3.5일 학습해 단일 모델 최고 기록인 41.8을 세웠는데, 그 학습 비용은 문헌의 최고 모델들에 비해 아주 작았습니다. 영어 문장 구조 분석에도 성공적으로 적용됐습니다(DOI: 10.65215/2q58a426). 이 성적 역시 저자 보고입니다.

계보의 관점에서는 번역 점수보다 병렬화(parallelization)라는 단어가 무겁습니다. 순환 구조에서는 앞 단어를 처리해야 다음 단어를 처리할 수 있습니다. 그 사슬을 끊으면 계산을 여러 갈래로 동시에 돌릴 수 있고, 저자들은 학습 시간이 훨씬 적게 들었다고 보고했습니다. 어텐션이 병렬화를 가능하게 한 점은 대형 언어모델을 정리한 한 서베이 프리프린트도 짚습니다(DOI: 10.36227/techrxiv.176784493.33333564/v1). 트랜스포머 기반 모델이 그 개관이 쓰인 시점의 대형 언어모델을 떠받친다는 점은 앞의 딥러닝 혁명 개관도 적습니다(DOI: 10.1017/s1062798725100379). 이 글은 규모의 시대로 가는 문이 여기서 열렸다고 읽습니다.

그리고 이 논문의 참고문헌에 ResNet이 있습니다.

2020: 키운 언어모델이 예시 몇 개로 새 과제를 하다

2020년의 GPT-3 프리프린트는 언어모델의 규모를 키운 결과를 보고합니다. 당시의 표준은 큰 말뭉치로 사전학습한 뒤 과제별로 미세조정하는 것이었습니다. 이 사전학습은 「생성형 AI의 대답」이 정의한 쪽으로, 엄청난 양의 글에서 다음 토큰 맞히기를 되풀이하는 첫 단계의 학습이고, 미세조정은 골라 모은 예시로 한 번 더 학습시켜 다듬는 일입니다. 이 방식은 과제마다 수천에서 수만 개 예제로 된 미세조정 데이터를 여전히 요구했습니다. 반면 사람은 예시 몇 개나 간단한 지시만으로 새 언어 과제를 해냅니다.

논문은 언어모델의 규모를 키우면 과제를 가리지 않는 few-shot 성능이 크게 향상된다고 보고합니다. few-shot은 예시 몇 개만 보고 과제를 해내는 것이고, 그 성능은 때로 기존 최고의 미세조정 방식과 겨룰 만했습니다. GPT-3는 1750억 파라미터의 자기회귀 언어모델(autoregressive language model), 곧 앞의 토큰들을 보고 다음 토큰을 하나씩 이어 붙이는 언어모델로, 이전의 어떤 비희소 모델보다 10배 컸습니다. 기울기로 파라미터를 고치는 일도 미세조정도 없이, 과제와 예시를 글로만 적어 건넸습니다(DOI: 10.48550/arxiv.2005.14165). 이처럼 파라미터를 고치지 않고 글 속의 예시만으로 새 과제를 해내는 현상이 「다음 낱말을 맞히는 훈련이 어떻게 대화가 되는가」가 말하는 맥락 내 학습입니다.

같은 초록은 한계도 적었습니다. few-shot 학습이 여전히 고전하는 데이터셋들이 있고, 웹 말뭉치 학습에서 비롯되는 방법론적 문제를 겪는 데이터셋들도 있습니다. 이 모델이 사람이 사람 글과 구별하기 어려워하는 뉴스 기사를 생성할 수 있고 이것이 사회적 영향을 갖는다는 점도 저자들이 스스로 지적했습니다. 언어모델의 역사를 1990년대부터 짚은 한 개관은, 심층 신경 언어모델의 규모 확대가 질적인 변화를 낳았고 그래서 대형 언어모델(LLM)이라는 새 이름이 필요해졌다고 정리합니다(DOI: 10.1007/978-3-031-54827-7_1).

2021: 생물학에서 50년 동안 열려 있던 문제

계보의 종착점은 인공지능의 시험장 밖, 생물학의 오래된 문제입니다.

알파폴드 논문은 문제를 이렇게 요약합니다. 엄청난 실험적 노력에도 구조가 밝혀진 서로 다른 단백질은 약 10만 개뿐이고, 이는 알려진 서열 수십억 개의 극히 일부입니다. 구조 하나를 밝히는 데 수개월에서 수년이 걸리기 때문입니다. 아미노산 서열만으로 3차원 구조를 예측하는 문제는 50년 넘게 열려 있던 연구 문제였습니다. 기존 방법들은 원자 수준의 정확도에 한참 못 미쳤고, 상동 구조(homologous structure), 곧 구조가 이미 알려진 비슷한 단백질이 없을 때 특히 그랬습니다.

논문이 제시한 것은 비슷한 구조가 알려지지 않은 경우에도 원자 수준 정확도로 구조를 꾸준히 예측하는 최초의 계산 방법이었습니다. 검증은 자기 실험실 밖, 제14회 단백질 구조 예측 평가(CASP14)에서 이루어졌고, 다수의 경우 실험 구조에 필적하는 정확도로 다른 방법들을 크게 앞섰습니다. 그 바탕은 단백질 구조에 대한 물리적·생물학적 지식과 다중서열정렬(multiple sequence alignment, MSA), 곧 여러 생물의 비슷한 단백질 서열을 같은 자리끼리 나란히 맞춘 것을 딥러닝 알고리즘 설계에 녹여 넣은 데 있습니다(DOI: 10.1038/s41586-021-03819-2).

CASP는 구조가 아직 공개되지 않은 단백질의 서열만 참가자에게 주고 독립 평가자가 채점하는 블라인드 시험입니다. 이 글의 둘째 문단에 옮긴 문장이 이 평가에서 나왔습니다. 같은 평가 논문은 다른 연구 그룹들도 성능을 크게 끌어올렸고, 이 모형들이 이미 까다로운 결정 구조 문제의 해법을 내놓은 사례가 있다고 함께 적습니다(DOI: 10.1002/prot.26237). 저자가 스스로 매긴 성적이 아니라 독립 평가자가 블라인드로 채점한 결과라는 점이, 이 성취를 이 글의 다른 벤치마크 수치와 구별해 줍니다.

그리고 알파폴드 논문의 참고문헌에는 ResNet과 트랜스포머가 모두 있습니다. 사진 인식에서 깊이의 벽을 넘은 아이디어와 번역에서 차례 읽기의 사슬을 끊은 아이디어가, 반세기 묵은 생물학 문제를 다룬 논문의 참고문헌에서 만납니다.

계보가 말해주는 것

사슬을 한 줄로 놓으면 이렇습니다.

1989년 역전파와 아키텍처 제약 → 1998년 합성곱과 상업 배치 → 2013~2014년 표현·행동·최적화 부품들 → 2016년 잔차로 깊이의 벽 통과 → 2017년 순환을 버려 병렬성 확보 → 2020년 규모가 능력으로 → 2021년 다른 분야의 50년 문제.

이 사슬은 인용의 사슬입니다. 병목은 따로 읽어야 합니다. 각 논문이 초록에서 지목한 병목은 그 시점 주류 방법의 것이었습니다. 깊은 망은 학습이 어려웠고 잔차가 그것을 덜었습니다. 순환·합성곱 신경망이 주류였고 트랜스포머는 둘을 버려 병렬화를 쉽게 했습니다. 과제마다 수천에서 수만 개 예제의 미세조정이 필요했고, GPT-3는 규모를 키워 예시 몇 개로 때로 미세조정과 겨루었습니다. 알파폴드는 상동 구조가 없을 때 원자 수준에 못 미치던 기존 방법의 한계를 넘었습니다. 트랜스포머는 ResNet을 인용하지만, 트랜스포머가 지목한 병목은 순환·합성곱 번역 모델의 것이었습니다. 알파폴드가 지목한 병목도 기존 구조 예측 방법의 것이었습니다. 낱말 표현 논문이 스스로 적은 어순의 한계는, 이 글이 인용한 초록들 안에서 다음 고리로 이어지지 않습니다.

인용 그래프는 승자의 기록입니다. 참고문헌은 살아남은 경로만 보여 줍니다. 같은 시기에 다른 길을 간 수많은 갈래는 이 사슬에 나타나지 않습니다. 사람이 읽을 수 있는 기호로 된 고차 표현을 데이터에서 배우려던 오랜 전통도 그중 하나인데, 그 전통을 개관한 논문은 상징적 접근과 신경망 접근이 서로에게서 배워 지금의 머신러닝 문제를 풀 수 있다고 전망합니다(DOI: 10.24963/ijcai.2020/678). 여기 실린 열 편 남짓이 딥러닝의 모든 전환점도 아닙니다. 계보는 나중에 정리된 서사이고, 그 시대의 지형도와는 다릅니다.

열린 질문

스케일링 법칙은 자연법칙이 아닙니다. 「신경망과 파라미터」의 말로 스케일링 법칙은 모델 크기, 데이터 양, 계산량을 늘릴 때 손실이 얼마나 줄어드는지를 따라가 본 경향입니다. 트랜스포머의 계산 최적 학습에 대한 한 리뷰 프리프린트는 파라미터 수·데이터 양·계산 예산이라는 세 자원의 규모에 따라 성능이 예측 가능하게 향상된다는 문헌을 정리하면서, 스케일링 법칙은 예산 배분과 위험 감소를 위한 경험적 도구이고 그 계수는 상황에 따라 달라진다고 강조합니다(DOI: 10.2139/ssrn.7142719).

창발은 아직 논쟁 중입니다. 창발 능력은 「신경망과 파라미터」의 말로 작은 모델에는 없고 큰 모델에는 있는 능력입니다. 여러 단계를 거치는 추론, 맥락 내 학습처럼 규모에서만 나타나는 것으로 보이는 능력들을 다룬 한 서베이 프리프린트는, 이 현상을 이해하기가 어렵고 더 엄밀한 연구가 필요하다고 정리합니다(DOI: 10.36227/techrxiv.176784493.33333564/v1). 창발처럼 보이는 현상이 채점 잣대 때문에 생길 수 있다는 반론은 「신경망과 파라미터」가 다룹니다.

뇌와의 간극은 여전합니다. 한 개관의 표현으로 인공 신경망은 사람 수준의 능력에 이르렀지만, 상징적 지식을 얻는 방식이 뇌와 근본적으로 다르고 안정된 내부 표현을 만들기까지 대개 방대한 학습이 필요합니다. 사람은 새 낱말을 그것이 가리키는 대상에 곧바로 짝짓는 「빠른 대응(fast mapping)」을 보입니다. 이를 재현하려는 계산 모형 가운데 신경생물학적 원리를 반영한 모형들이 첫걸음을 뗐지만, 여러 소통·화용 맥락에서의 빠른 대응을 설명하는 데는 아직 미치지 못합니다(DOI: 10.1515/lingvan-2024-0249).

종착점조차 종착점이 아닙니다. CASP15를 정리한 프리프린트에 따르면 단일 단백질 구조에서 알파폴드2가 여전히 다른 접근보다 우수하지만, 표준 프로토콜과 기본 설정값만으로는 표적, 곧 그 회차에 출제된 단백질의 약 3분의 2에서만 최고 품질 결과가 나옵니다. 나머지는 예측을 더 여러 번 돌려 후보를 뽑아 보는 광범위한 샘플링이 필요합니다. 이 회차의 가장 큰 진전은 여러 단백질 사슬이 붙은 복합체의 계산 정확도가 크게 오른 것이었지만, 복합체는 전반적으로 단일 단백질 수준에 미치지 못했습니다. 같은 회차에서 처음 다룬 RNA 구조와 단백질-리간드 복합체(단백질에 작은 분자가 붙은 것)에서는 고전적 방법이 딥러닝 방법보다 실험과 더 잘 맞았습니다(DOI: 10.22541/au.169658651.11658182/v1).

알파폴드2의 한계를 정리한 리뷰 프리프린트는, 같은 서열이 취하는 여러 형태의 예측, 점 돌연변이의 효과, 항원-항체 상호작용에서의 어려움을 적습니다. 단백질-DNA·단백질-RNA 복합체, 핵산 구조, 리간드와 이온의 결합, 번역후 변형, 막 관통 부위의 막 평면은 예측에 실패한다고 열거합니다(DOI: 10.20944/preprints202601.0708.v1). 복합체용 알파폴드가 예측한 구조의 약 0.7%에서는 사슬끼리 고리처럼 꿰인 위상학적 얽힘이 발견됐는데, 저자들이 아는 한 실험 구조에서는 관찰된 적 없는 모양입니다(DOI: 10.1101/2022.09.14.507881).

동시에 영향은 실재합니다. 사람 단백질 가운데 구조를 아는 몫은 실험 구조와 주형 기반 모델(구조가 알려진 비슷한 단백질을 본뜬 모형)만으로 48%였는데, 알파폴드 예측을 포함하면 76%로 올라가고, 구조를 거의 모르는 「암흑 프로테옴」의 비율은 26%에서 10%로 줄어듭니다(DOI: 10.1101/2021.08.03.454980). 구조생물학 현장에서는 발현 구조체 설계, 단백질 신규 설계, 극저온전자현미경 데이터 해석에 쓰입니다. 그러나 학습 데이터에 매여 있고, 구조의 변이와 접힘 유연성을 예측하는 데는 쓸모가 제한되며, 보조인자·번역후 변형·올리고핵산과의 복합체가 빠져 있다는 점도 지적됩니다(DOI: 10.1101/2022.04.07.487522). 이 문단과 앞의 두 문단에서 인용한 알파폴드 후속 문헌은 모두 동료심사 전 프리프린트입니다.

계보의 마지막 칸은 늘 비어 있습니다. 1989년의 우편번호 논문을 쓴 사람들도 자기 논문이 30여 년 뒤 단백질 구조 예측 논문의 참고문헌에 오르리라고는 알 수 없었습니다. 지금 우리가 사슬의 끝이라고 부르는 것도 아마 누군가의 중간 항일 것입니다.

---

근거 논문

• "Backpropagation Applied to Handwritten Zip Code Recognition," Neural Computation (1989) — DOI: 10.1162/neco.1989.1.4.541 — 과제 영역의 제약을 아키텍처로 통합해 일반화 향상, 단일 네트워크가 정규화 이미지에서 최종 분류까지.
• "Gradient-based learning applied to document recognition," Proceedings of the IEEE (1998) — DOI: 10.1109/5.726791 — 역전파 다층 신경망, 2D 형태 변동성을 위한 합성곱 신경망의 우위, 그래프 변환 네트워크, 하루 수백만 장 수표 처리 상업 배치.
• "Distributed Representations of Words and Phrases and their Compositionality" (2013, 프리프린트) — DOI: 10.48550/arxiv.1310.4546 — skip-gram 확장, 부분표집·부정 표집, 어순 무관심과 관용구 표현 불가라는 자기 한계.
• "Playing Atari with Deep Reinforcement Learning" (2013, 프리프린트) — DOI: 10.48550/arxiv.1312.5602 — 원시 픽셀에서 제어 정책을 학습한 최초의 딥러닝 모델, CNN + Q-러닝.
• "Adam: A Method for Stochastic Optimization" (2014, 프리프린트) — DOI: 10.48550/arxiv.1412.6980 — 저차 모멘트의 적응적 추정, 구현 단순·메모리 효율·튜닝 최소.
• "Deep Residual Learning for Image Recognition," CVPR (2016) — DOI: 10.1109/cvpr.2016.90 — "더 깊은 신경망은 학습하기 더 어렵다", 잔차 함수로의 재정식화, 152층, ILSVRC 2015 1위(저자 보고).
• "Attention Is All You Need" (2017) — DOI: 10.65215/2q58a426 — 순환·합성곱을 완전히 배제한 어텐션 전용 구조, 병렬화와 학습 시간 절감, WMT14 결과(저자 보고).
• "Language Models are Few-Shot Learners" (2020, 프리프린트) — DOI: 10.48550/arxiv.2005.14165 — 1750억 매개변수, 미세조정 없는 few-shot, 웹 말뭉치 학습의 방법론적 문제와 사회적 영향에 대한 자기 지적.
• "Highly accurate protein structure prediction with AlphaFold," Nature (2021) — DOI: 10.1038/s41586-021-03819-2 — 상동 구조 없이도 원자 수준 정확도, CASP14 검증, 물리·생물학 지식과 다중서열정렬의 딥러닝 통합.
• "First draft of a report on the EDVAC," IEEE Annals of the History of Computing (1945) — DOI: 10.1109/85.238389 — 범용 디지털 컴퓨터 설계의 결정적 출처.
• "A Mathematical Theory of Communication," Bell System Technical Journal (1948) — DOI: 10.1002/j.1538-7305.1948.tb01338.x — 채널 잡음과 메시지의 통계적 구조를 포함한 통신의 일반 이론.
• "Artificial Intelligence Emerges," Poems That Solve Puzzles (2020) — DOI: 10.1093/oso/9780198853732.003.0005 — 1952년 스트래치의 체커 프로그램, 새뮤얼의 기계학습, 과장된 낙관과 첫 AI 겨울.
• "A History of the Early Years of Artificial Intelligence at the University of Edinburgh," European Journal on AI (2026) — DOI: 10.1177/30504554261417567 — 라이트힐 보고서가 촉발한 AI 겨울, 미치·롱게히긴스와 에든버러 거점.
• "The Deep Learning Revolution in AI," European Review (2025) — DOI: 10.1017/s1062798725100379 — 하드웨어·데이터 제약, GPU·TPU와 인터넷 데이터, 아키텍처 혁신이 만든 두 단계 전환.
• "Connectionism without Tears," Connectionism Theory and Practice (1992) — DOI: 10.1093/oso/9780195076653.003.0004 — 1980년대 연결주의에 대한 언어학계의 냉담과 그 이유.
• "An Efficient Learning Procedure for Deep Boltzmann Machines," Neural Computation (2012) — DOI: 10.1162/neco_a_00311 — 층별 사전학습을 통한 가중치 초기화, 피드포워드 은닉층 초기화 효과.
• "Deep Belief Networks Are Compact Universal Approximators," Neural Computation (2010) — DOI: 10.1162/neco.2010.08-09-1081 — 깊고 좁은 생성망이 얕은 것보다 많은 매개변수를 요구하지 않음.
• "From Deep Neural Language Models to LLMs," Large Language Models in Cybersecurity (2024) — DOI: 10.1007/978-3-031-54827-7_1 — 1990년대부터의 언어모델 역사, 자기어텐션의 기여, 규모가 낳은 질적 변화.
• "Critical assessment of methods of protein structure prediction (CASP)—Round XIV," Proteins (2021) — DOI: 10.1002/prot.26237 — 블라인드 시험과 독립 평가, 단일 단백질에 한해 고전적 접힘 문제의 해결.
• "Critical Assessment of Methods of Protein Structure Prediction (CASP) – Round XV" (2023, 프리프린트) — DOI: 10.22541/au.169658651.11658182/v1 — 기본 프로토콜로는 표적의 약 3분의 2만 최고 품질, 복합체 정확도의 큰 진전.
• "The Evolution of the AlphaFold Architecture" (2026, 프리프린트) — DOI: 10.20944/preprints202601.0708.v1 — 다중 형태·점 돌연변이·항원항체·핵산 복합체 등 한계의 체계적 정리.
• "Topological Links in Predicted Protein Complex Structures Reveal Limitations of AlphaFold" (2022, 프리프린트) — DOI: 10.1101/2022.09.14.507881 — 예측 복합체 약 0.7%에서 실험 구조에 없는 위상학적 얽힘.
• "The structural coverage of the human proteome before and after AlphaFold" (2021, 프리프린트) — DOI: 10.1101/2021.08.03.454980 — 커버리지 48%→76%, 암흑 프로테옴 26%→10%.
• "The impact of AlphaFold on experimental structure solution" (2022, 프리프린트) — DOI: 10.1101/2022.04.07.487522 — 발현 구조체 설계·신규 설계·극저온전자현미경 해석에서의 활용과 학습 데이터에 매인 한계.
• "Training Compute-Optimal Transformer Models: A Review of Scaling Laws, Allocation, and Practice" (2026, 프리프린트) — DOI: 10.2139/ssrn.7142719 — 규모 법칙은 자연법칙이 아니라 예산 배분을 위한 경험적 도구.
• "Emergent Abilities in Large Language Models: In-Context Learning, Chain-of-Thought Reasoning, and Scaling Laws" (2026, 프리프린트) — DOI: 10.36227/techrxiv.176784493.33333564/v1 — 창발 능력의 예측 불가능성과 더 엄밀한 연구의 필요.
• "From neural matter to rapid symbolic learning in brains and artificial neural networks," Linguistics Vanguard (2025) — DOI: 10.1515/lingvan-2024-0249 — 인공신경망과 뇌의 상징 획득 방식 차이, fast mapping 재현의 미달.
• "A Brief History of Learning Symbolic Higher-Level Representations from Data (And a Curious Look Forward)," IJCAI (2020) — DOI: 10.24963/ijcai.2020/678 — 데이터에서 상징적 고차 표현을 배우려 한 여러 접근의 계보.