역전파에서 알파폴드까지 — 딥러닝은 무엇을 딛고 올라섰나

왜 알아야 하나

딥러닝의 역사는 대개 성적표로 이야기된다. 어느 해에 어떤 모델이 무슨 벤치마크에서 몇 퍼센트를 찍었다는 식이다. 그런 서술은 정작 중요한 것을 놓친다. 각 단계가 앞 단계의 무엇을 해결했는가이다.

이 글은 성적표 대신 계보를 따라간다. 1989년 우편번호 숫자를 읽던 작은 신경망에서 출발해, 2021년 단백질 구조를 원자 수준으로 예측한 시스템까지.

흥미로운 것은 이 사슬이 사후에 상상해 붙인 것만은 아니라는 점이다. 각 논문이 실제로 참고문헌에 무엇을 올렸는지를 따라가면 사슬의 뼈대가 드러난다. 잔차 신경망(ResNet)은 1989년 역전파 논문을 인용하고, 트랜스포머는 ResNet을 인용하며, 알파폴드는 그 둘을 모두 인용한다. (이 인용 관계는 오픈 학술 데이터베이스인 OpenAlex의 참고문헌 기록에서 확인한 것이다. 다만 인용은 "참고했다"는 기록일 뿐, 영향의 크기나 아이디어의 소유권을 뜻하지 않는다는 점은 미리 밝혀 둔다.)

미리 말해 두면, 이 계보에서 반복되는 패턴은 "더 크게 만들었더니 잘 됐다"가 아니다. 앞 단계가 남긴 구체적인 병목을 다음 단계가 지목해 푼다는 것이다. 그리고 그 병목들은 대체로 성능이 아니라 학습 가능성, 표현력, 계산 구조에 관한 것이었다.

출발점: 겨울에서 시작한다

계보의 출발선은 실패 다음이다.

1940년대 말, 몇몇 사람들이 컴퓨터가 단순한 자동 계산기 이상이라는 것을 알아차렸다. 올바른 알고리즘을 돌리면 그동안 인간 지능이 필요하다고 여겨진 일을 할 수 있으리라고 믿었다. 1952년 크리스토퍼 스트래치가 체커를 두는 최초의 인공지능 프로그램을 완성했고, IBM의 아서 새뮤얼이 여기에 경험으로부터 배우는 능력, 즉 기계학습을 더했다. 카네기멜런의 한 팀은 대수 문제를 푸는 프로그램을 만들어 고전 수학 교과서의 정리 52개 중 38개를 재현했다. 성공에 들뜬 과학자들은 인공지능의 미래에 대해 대단히 낙관적인 선언을 쏟아냈다. 그러나 이어진 것은 프로젝트의 연쇄 실패였고, 첫 번째 "AI 겨울"이 찾아왔다(DOI: 10.1093/oso/9780198853732.003.0005).

겨울은 은유가 아니라 제도적 사건이었다. 에든버러 대학의 초기 인공지능 연구사를 아카이브와 구술사로 재구성한 연구는, 도널드 미치와 크리스토퍼 롱게히긴스 같은 인물들이 세운 유럽의 인공지능 거점이 라이트힐 보고서가 촉발한 "AI 겨울"이라는 난관을 통과해야 했다고 기록한다(DOI: 10.1177/30504554261417567).

같은 시기, 계산 자체의 토대는 이미 놓여 있었다. 1945년 존 폰 노이만의 EDVAC 보고서 초안은 앨런 튜링이 자신의 자동계산기 제안에서 범용 디지털 컴퓨터의 본질과 설계를 이해하기 위한 결정적 출처로 인용할 만큼 광범위한 영향을 미쳤다(DOI: 10.1109/85.238389). 1948년 클로드 섀넌은 통신의 일반 이론에 채널의 잡음, 그리고 원 메시지의 통계적 구조에서 오는 절약 가능성을 포함시켰다(DOI: 10.1002/j.1538-7305.1948.tb01338.x). 기계는 있었고 정보의 수학도 있었다. 없었던 것은 기계가 스스로 표현을 배우게 하는 방법이었다.

1989: 계보의 뿌리 — 제약을 아키텍처에 심다

딥러닝 사슬의 뿌리로 거듭 되돌아가게 되는 논문은 1989년의 것이다. 미국 우체국이 제공한 손으로 쓴 우편번호 숫자를 인식하는 문제였다.

논문의 주장은 지금 다시 읽어도 인상적이다. 학습하는 신경망의 일반화 능력은 과제 영역에서 오는 제약을 넣어 주면 크게 향상될 수 있다. 그리고 그런 제약을 역전파 신경망에 통합하는 방법이 바로 네트워크의 아키텍처라는 것이다. 하나의 네트워크가 정규화된 문자 이미지에서 최종 분류까지 인식 작업 전체를 학습했다(DOI: 10.1162/neco.1989.1.4.541).

용어를 잠깐 풀면, 역전파는 신경망이 낸 답과 정답의 차이를 거꾸로 되돌려 보내 각 연결의 세기를 조금씩 고치는 학습 방법이다. 여기까지는 이미 알려져 있었다. 이 논문이 더한 것은 무엇을 배울 수 있는지의 형태를 아키텍처로 제한한다는 발상이다. 지식을 규칙으로 적어 넣는 대신 구조로 심는 것 — 이후 30년의 거의 모든 전환점이 이 문장의 변주다.

1998: 손글씨에서 수표까지 — 합성곱이라는 편향

9년 뒤, 같은 연구 흐름이 훨씬 큰 주장을 들고 돌아온다. 역전파로 학습된 다층 신경망은 그래디언트 기반 학습 기법의 가장 성공적인 예이며, 적절한 아키텍처만 주어지면 최소한의 전처리로 고차원 패턴을 분류하는 복잡한 결정면을 합성해 낼 수 있다는 것이다. 그리고 2차원 형태의 변동성을 다루도록 특별히 설계된 합성곱 신경망이 다른 모든 기법을 능가한다고 보고했다(DOI: 10.1109/5.726791).

이 논문이 계보에서 갖는 의미는 두 가지다.

하나는 이론이 아니라 배치였다. 논문에 기술된 시스템은 합성곱 신경망 문자 인식기와 전역 학습 기법을 결합해 수표를 읽었고, 상업적으로 배치되어 하루에 수백만 장의 수표를 처리하고 있었다. 신경망이 학계 안에서 아직 변방이던 시기에, 이미 실험실 밖에서 일하고 있었던 것이다.

다른 하나는 인용 관계다. 이 논문의 참고문헌에는 1989년의 우편번호 논문이 들어 있다. 계보가 상상만은 아니라는 첫 번째 기록이다.

사이의 시간: 깊이가 문제였던 시절

그런데 그 뒤가 순탄하지 않았다. 표현을 스스로 배우는 신경망이 승리했다면 2000년대 내내 이야기는 이미 끝났어야 한다. 그러지 않았다.

문제는 깊이였다. 층을 더 쌓으면 표현력이 커져야 하는데, 실제로는 학습이 잘 되지 않았다. 이 시기의 우회로는 학습 방식을 바꾸는 것이었다. 여러 층의 은닉 변수를 가진 볼츠만 머신에 대한 2012년의 학습 절차 연구는, 층별 사전학습 단계가 가중치를 합리적으로 초기화하여 학습을 효율적으로 만들며, 이렇게 발견된 특징이 피드포워드 신경망의 은닉층을 초기화하는 데 매우 효과적이고 이후 판별적으로 미세조정할 수 있다고 보고한다(DOI: 10.1162/neco_a_00311). 깊은 신뢰망(deep belief network)에 대한 이론 연구는 깊지만 좁은 생성 신경망이 보편 근사를 달성하는 데 얕은 것보다 더 많은 매개변수를 요구하지 않는다는 것을 보였다(DOI: 10.1162/neco.2010.08-09-1081). 깊이가 원리적으로 유리하다는 논증이었다. 다만 원리적 유리함과 실제로 학습이 되는 것은 다른 문제였고, 이 간극이 다음 15년의 숙제가 된다.

신경망 진영은 학문적으로도 외톨이였다. 1980년대 연결주의의 등장에 언어를 연구하는 사람들이 냉담했던 이유를 돌아본 1992년의 한 글은, 연결주의가 "잘해야 언어 이론의 목표와 무관하고 최악의 경우 그에 적대적"인 것으로 여겨졌다고 적는다(DOI: 10.1093/oso/9780195076653.003.0004).

그러니 다음 도약을 이해하려면 그것이 무엇을 이겨냈는지를 함께 봐야 한다. 하드웨어와 데이터의 제약 아래 상징적·신경적·확률적 접근이 경쟁하던 시기였고, 마이크로칩·GPU·이후의 TPU가 계산 능력을 크게 끌어올리고 인터넷을 통한 디지털 데이터의 확산이 오랜 데이터 병목을 해소한 뒤에야 신경망 쪽의 아키텍처 혁신이 결정적 전환을 만들었다는 정리가 있다(DOI: 10.1017/s1062798725100379).

2013~2014: 재료들

그다음에 온 것은 하나의 거대한 발명이 아니라 부품들이었다.

표현. 2013년의 한 프리프린트는 연속 skip-gram 모델을 확장해 단어의 분산 벡터 표현을 효율적으로 학습하는 방법을 제시했다. 단어를 숫자 벡터로 바꿔 의미 관계를 담게 하는 시도다. 빈번한 단어를 부분표집하면 학습이 빨라지고 표현이 더 규칙적이 되며, 계층적 소프트맥스 대신 쓸 수 있는 간단한 대안으로 부정 표집을 제안했다. 눈여겨볼 것은 이 논문이 자기 한계를 분명히 적었다는 점이다. 단어 표현은 어순에 무관심하고 관용적 구를 표현하지 못한다 — "Canada"와 "Air"의 의미를 합친다고 "Air Canada"가 되지 않는다(DOI: 10.48550/arxiv.1310.4546). 어순을 다루지 못한다는 이 한계가 4년 뒤 트랜스포머가 정면으로 겨냥할 지점이다.

지각에서 행동으로. 같은 해 다른 프리프린트는 고차원 감각 입력에서 직접 제어 정책을 학습한 최초의 딥러닝 모델을 제시했다. 입력은 원시 픽셀이고 출력은 미래 보상을 추정하는 가치 함수이며, 구조는 합성곱 신경망에 Q-러닝 변형을 결합한 것이었다. 아케이드 학습 환경의 아타리 2600 게임 일곱 개에 아키텍처나 학습 알고리즘을 조정하지 않고 그대로 적용했다고 보고한다(DOI: 10.48550/arxiv.1312.5602). 이 두 편은 모두 동료심사를 거치지 않은 프리프린트이고, 다른 방법과의 성능 비교 역시 저자들이 스스로 보고한 것이다.

굴러가게 하는 것. 2014년의 Adam은 화려하지 않지만 계보에서 빠지면 안 되는 자리에 있다. 저차 모멘트의 적응적 추정에 기반한 1차 그래디언트 최적화 알고리즘으로, 구현이 간단하고 계산 효율이 높으며 메모리를 적게 쓰고, 그래디언트의 대각 재조정에 불변이며, 매개변수나 데이터가 큰 문제에 적합하다. 잡음이 많거나 희소한 그래디언트, 비정상 목적함수에도 잘 맞는다. 하이퍼파라미터는 직관적으로 해석되며 대체로 튜닝이 거의 필요 없다고 보고한다(DOI: 10.48550/arxiv.1412.6980, 역시 프리프린트). 새로운 아이디어라기보다 아이디어를 값싸게 시도하게 해 주는 도구였고, 계보에서 이런 자리는 대개 과소평가된다.

2016: 깊이의 벽을 정면으로

2016년의 잔차 신경망 논문은 첫 문장부터 이 시기의 병목을 명시한다. 더 깊은 신경망은 학습하기가 더 어렵다.

해법은 층이 하는 일을 다시 정의하는 것이었다. 층이 입력과 무관한 함수를 배우게 하는 대신, 층 입력을 기준으로 한 잔차 함수, 즉 "덧붙일 차이"만 배우도록 재정식화한다. 저자들은 이렇게 만든 잔차 네트워크가 최적화하기 더 쉽고 깊이를 크게 늘려도 정확도를 얻을 수 있다는 광범위한 실증 근거를 제시했다. ImageNet에서 최대 152층 — VGG의 8배 깊이면서 복잡도는 더 낮은 — 을 평가했고, 앙상블이 ImageNet 테스트셋에서 3.57% 오차를 기록해 ILSVRC 2015 분류 과제 1위를 차지했다. CIFAR-10에서는 100층과 1000층 분석도 제시했으며, COCO 객체 검출에서 28% 상대 개선을 얻었다고 보고한다(DOI: 10.1109/cvpr.2016.90).

이 수치들은 모두 저자들이 직접 보고한 벤치마크 성적이다. 다만 이 논문이 계보에서 갖는 지위는 등수가 아니라 진단에 있다. 이전 10년의 우회로가 "깊은 망을 어떻게든 초기화해서 학습시킨다"였다면, 잔차 학습은 깊이가 학습을 방해하는 구조 자체를 손봤다. 우회하지 않고 원인을 건드린 것이다.

그리고 이 논문의 참고문헌에도 1989년 역전파 논문이 있다. 27년을 건너뛴 인용이다.

2017: 순환을 버리다

2017년의 트랜스포머 논문은 당시의 지배적 구조를 정확히 지목하며 시작한다. 우세한 시퀀스 변환 모델은 인코더-디코더 구성의 복잡한 순환 또는 합성곱 신경망이며, 최고 성능 모델은 인코더와 디코더를 어텐션 메커니즘으로 연결한다는 것이다. 제안은 급진적이었다. 순환과 합성곱을 완전히 버리고 어텐션만으로 된 단순한 구조. 어텐션이란 입력의 어느 부분에 얼마나 주목할지를 그때그때 계산하는 장치다.

기계 번역 두 과제의 실험에서 이 모델은 품질이 더 나으면서 병렬화가 더 잘 되고 학습 시간이 훨씬 적게 든다고 보고되었다. WMT 2014 영어-독일어에서 28.4 BLEU로 앙상블을 포함한 기존 최고 결과를 2 BLEU 이상 앞섰고, 영어-프랑스어에서는 GPU 8장으로 3.5일 학습해 단일 모델 최고 기록인 41.8 BLEU를 세웠다 — 문헌의 최고 모델들의 학습 비용에 비하면 아주 작은 몫이다. 영어 구문 분석에도 성공적으로 적용해 일반화를 보였다(DOI: 10.65215/2q58a426). 이 성적 역시 저자 보고다.

여기서 계보의 관점이 중요하다. 널리 회자되는 것은 번역 점수지만, 뒤이은 10년을 결정한 것은 병렬화라는 단어다. 순환 구조는 계산을 시간 축에 묶어 둔다 — 앞 단어를 처리해야 다음 단어를 처리할 수 있다. 그 사슬을 끊는 순간, 학습은 늘어나는 하드웨어를 그대로 흡수할 수 있게 된다. 규모의 시대로 가는 문이 여기서 열린다.

그리고 이 논문의 참고문헌에 ResNet이 있다.

2020: 규모가 능력이 되다

2020년의 GPT-3 프리프린트는 그 문을 통과한 결과를 보고한다. 당시의 표준 방식은 큰 말뭉치로 사전학습한 뒤 과제별로 미세조정하는 것이었고, 이 방식은 아키텍처는 과제 불특정이어도 수천에서 수만 개 예제로 된 과제별 미세조정 데이터셋을 여전히 요구했다. 반면 인간은 몇 개의 예시나 간단한 지시만으로 새 언어 과제를 수행한다.

논문은 언어 모델의 규모를 키우면 과제 불특정 few-shot 성능이 크게 향상되며 때로는 기존 최고의 미세조정 접근과 경쟁할 만한 수준에 이른다고 보고한다(few-shot은 몇 개의 예시만 보고 과제를 수행하는 것을 말한다). 1750억 매개변수의 자기회귀 언어모델로, 이전의 어떤 비희소 모델보다 10배 크다. 그래디언트 갱신이나 미세조정 없이, 과제와 few-shot 시연을 순전히 텍스트 상호작용으로만 지정해 적용했다(DOI: 10.48550/arxiv.2005.14165).

주목할 것은 같은 초록이 한계도 함께 적었다는 점이다. few-shot 학습이 여전히 고전하는 데이터셋들이 있고, 웹 말뭉치 학습에서 비롯되는 방법론적 문제를 겪는 데이터셋들도 있다. 그리고 이 모델이 사람이 사람 글과 구별하기 어려워하는 뉴스 기사를 생성할 수 있으며 이것이 사회적 영향을 갖는다고 스스로 지적했다. 언어 모델 발전의 역사를 1990년대부터 짚은 한 개관은, 이 지점에서 규모 확대가 양적 변화가 아니라 질적 변화를 낳았고 그래서 새로운 이름이 필요해졌다고 정리한다(DOI: 10.1007/978-3-031-54827-7_1).

2021: 다른 분야의 50년

계보의 종착점은 인공지능 벤치마크가 아니라 생물학의 오래된 문제다.

알파폴드 논문은 문제를 이렇게 요약한다. 단백질 구조를 아는 것은 기능을 기계적으로 이해하는 데 도움이 되지만, 엄청난 실험적 노력에도 구조가 결정된 고유 단백질은 약 10만 개에 불과하고 이는 알려진 수십억 개 서열의 극히 일부다. 구조 하나를 결정하는 데 수개월에서 수년이 걸리기 때문이다. 아미노산 서열만으로 3차원 구조를 예측하는 문제는 50년 넘게 열려 있던 연구 문제였고, 기존 방법들은 특히 상동 구조가 없을 때 원자 수준 정확도에 한참 못 미쳤다.

논문이 제시한 것은 유사한 구조가 알려지지 않은 경우에도 원자 수준 정확도로 단백질 구조를 정기적으로 예측할 수 있는 최초의 계산 방법이었다. 검증은 자기 실험실이 아니라 제14회 단백질 구조 예측 평가(CASP14)에서 이루어졌고, 다수의 경우 실험 구조에 필적하는 정확도를 보였다. 핵심은 단백질 구조에 대한 물리적·생물학적 지식과 다중서열정렬을 딥러닝 알고리즘 설계에 통합한 것이다(DOI: 10.1038/s41586-021-03819-2).

여기서 앞의 벤치마크들과 결정적으로 다른 점이 있다. CASP는 참가자에게 구조가 아직 공개되지 않은 단백질의 서열만 주고, 독립 평가자가 채점하는 블라인드 시험이다. CASP14를 정리한 평가 논문은 한 연구 그룹의 딥러닝 방법이 실험 구조에 필적하는 정확도의 계산 구조를 일관되게 내놓았으며 이는 적어도 단일 단백질에 대해서는 고전적 단백질 접힘 문제의 해결에 해당한다고 적었다(DOI: 10.1002/prot.26237). 자기보고가 아니라 외부 채점이라는 점에서, 이 결과는 계보 전체에서 가장 단단한 검증을 받은 성취다.

그리고 알파폴드 논문의 참고문헌에는 ResNet과 트랜스포머가 모두 있다. 이미지 인식의 깊이 문제를 푼 아이디어와 번역의 순차성 문제를 푼 아이디어가, 반세기 묵은 생물학 문제 위에서 만난 셈이다.

계보가 말해주는 것

이제 사슬을 한 줄로 놓아 보자.

1989년 역전파와 아키텍처 제약 → 1998년 합성곱과 상업 배치 → 2013~2014년 표현·행동·최적화 부품들 → 2016년 잔차로 깊이의 벽 통과 → 2017년 순환을 버려 병렬성 확보 → 2020년 규모가 능력으로 → 2021년 다른 분야의 50년 문제.

각 단계는 앞 단계가 남긴 구체적 병목을 지목한다. 워드 임베딩은 어순을 못 다룬다고 스스로 적었고 어텐션이 그것을 풀었다. 깊은 망은 학습이 어렵다고 알려져 있었고 잔차가 그것을 풀었다. 순환은 병렬화를 막았고 트랜스포머가 그것을 풀었다. 규모는 미세조정 의존을 줄였고, 그 위에서 알파폴드는 상동 구조 없이도 접힘을 예측했다.

그러나 계보를 읽을 때 반드시 함께 기억할 것이 있다. 인용 그래프는 승자의 기록이다. 참고문헌은 살아남은 경로만 보여 준다. 같은 시기에 실패했거나 흡수된 수많은 갈래 — 데이터에서 상징적 고차 표현을 배우려던 오랜 전통도 그중 하나다(DOI: 10.24963/ijcai.2020/678) — 는 이 사슬에 나타나지 않는다. 그리고 여기 실린 열 편 남짓이 딥러닝의 모든 전환점도 아니다. 계보는 사후에 정리된 서사이지, 당대의 지형도가 아니다.

열린 질문

이 계보는 끝난 이야기가 아니다.

규모 법칙은 법칙이 아니다. 트랜스포머의 계산 최적 학습에 대한 한 리뷰 프리프린트는 매개변수 수·데이터 양·계산 예산이라는 세 자원의 규모에 따라 성능이 예측 가능하게 향상된다는 경험적·이론적 문헌을 정리하면서, 규모 법칙은 자연법칙이 아니라 예산 배분과 위험 감소를 위한 경험적 도구이며 그 계수는 상황에 따라 달라진다고 강조한다(DOI: 10.2139/ssrn.7142719).

창발은 아직 설명되지 않았다. 규모에서만 나타나는 것으로 보이는 능력들 — 다단계 추론, 문맥 내 학습 등 — 을 다룬 한 서베이 프리프린트는 이 현상이 예측하기 어렵고 잘 이해되지 않았으며, 더 엄밀한 연구가 필요하다고 정리한다(DOI: 10.36227/techrxiv.176784493.33333564/v1).

뇌와의 간극은 여전하다. 인공신경망은 인간 수준의 능력에 도달했지만 상징적 지식을 획득하는 방식이 근본적으로 다르며, 안정적인 내부 표현을 만들기까지 대개 방대한 학습을 요구한다. 반면 인간은 새 단어를 지시 대상에 즉각 대응시키는 "빠른 대응(fast mapping)"을 보인다. 이 능력을 재현하려는 계산 모형 연구는 아직 여러 면에서 부족하다(DOI: 10.1515/lingvan-2024-0249).

종착점조차 종착점이 아니다. CASP15를 정리한 프리프린트는 단일 단백질 구조에서 알파폴드2가 여전히 다른 접근보다 우수하지만, 표준 프로토콜과 기본 매개변수만으로는 표적의 약 3분의 2에서만 최고 품질 결과가 나오고 나머지는 더 광범위한 샘플링이 필요하다고 적는다. 이 회차의 가장 큰 진전은 계산된 단백질 복합체 정확도의 큰 향상이었다(DOI: 10.22541/au.169658651.11658182/v1). 알파폴드2의 한계를 체계적으로 정리한 리뷰 프리프린트는 같은 서열에 대한 다중 형태 예측, 점 돌연변이의 효과, 항원-항체 상호작용에서의 어려움과, 단백질-DNA·단백질-RNA 복합체·핵산 구조·리간드 및 이온 결합·번역후 변형·막 관통 도메인의 막 평면 예측 실패를 열거한다(DOI: 10.20944/preprints202601.0708.v1). 예측된 복합체 구조 약 0.7%에서 실험 구조에는 존재하지 않는 위상학적 얽힘이 발견되기도 했다(DOI: 10.1101/2022.09.14.507881).

동시에 영향은 실재한다. 사람 단백질의 구조 커버리지는 실험 구조와 주형 기반 모델만으로 48%였는데 알파폴드 예측을 포함하면 76%로 올라가고, "암흑 프로테옴"의 비율은 26%에서 10%로 줄어든다는 분석이 있다(DOI: 10.1101/2021.08.03.454980). 구조생물학 현장에서는 발현 구조체 설계, 단백질 신규 설계, 원자 모형을 통한 극저온전자현미경 데이터 해석에 쓰이지만, 학습 데이터에 매인 탓에 구조 변이와 접힘 유연성을 예측하는 데는 한계가 있고 보조인자·번역후 변형·올리고핵산과의 복합체가 빠져 있다는 점도 함께 지적된다(DOI: 10.1101/2022.04.07.487522). 이 문단과 앞 문단에서 인용한 알파폴드 후속 문헌 상당수는 동료심사 전 프리프린트임을 밝혀 둔다.

계보의 마지막 칸은 늘 비어 있다. 1989년의 우편번호 논문을 쓴 사람들도 자기 논문이 30여 년 뒤 단백질 구조 예측 논문의 참고문헌에 오르리라고는 알 수 없었다. 지금 우리가 사슬의 끝이라고 부르는 것도 아마 누군가의 중간 항일 것이다.

---

근거 논문

• "Backpropagation Applied to Handwritten Zip Code Recognition," Neural Computation (1989) — DOI: 10.1162/neco.1989.1.4.541 — 과제 영역의 제약을 아키텍처로 통합해 일반화 향상, 단일 네트워크가 정규화 이미지에서 최종 분류까지.
• "Gradient-based learning applied to document recognition," Proceedings of the IEEE (1998) — DOI: 10.1109/5.726791 — 역전파 다층 신경망, 2D 형태 변동성을 위한 합성곱 신경망의 우위, 그래프 변환 네트워크, 하루 수백만 장 수표 처리 상업 배치.
• "Distributed Representations of Words and Phrases and their Compositionality" (2013, 프리프린트) — DOI: 10.48550/arxiv.1310.4546 — skip-gram 확장, 부분표집·부정 표집, 어순 무관심과 관용구 표현 불가라는 자기 한계.
• "Playing Atari with Deep Reinforcement Learning" (2013, 프리프린트) — DOI: 10.48550/arxiv.1312.5602 — 원시 픽셀에서 제어 정책을 학습한 최초의 딥러닝 모델, CNN + Q-러닝.
• "Adam: A Method for Stochastic Optimization" (2014, 프리프린트) — DOI: 10.48550/arxiv.1412.6980 — 저차 모멘트의 적응적 추정, 구현 단순·메모리 효율·튜닝 최소.
• "Deep Residual Learning for Image Recognition," CVPR (2016) — DOI: 10.1109/cvpr.2016.90 — "더 깊은 신경망은 학습하기 더 어렵다", 잔차 함수로의 재정식화, 152층, ILSVRC 2015 1위(저자 보고).
• "Attention Is All You Need" (2017) — DOI: 10.65215/2q58a426 — 순환·합성곱을 완전히 배제한 어텐션 전용 구조, 병렬화와 학습 시간 절감, WMT14 결과(저자 보고).
• "Language Models are Few-Shot Learners" (2020, 프리프린트) — DOI: 10.48550/arxiv.2005.14165 — 1750억 매개변수, 미세조정 없는 few-shot, 웹 말뭉치 학습의 방법론적 문제와 사회적 영향에 대한 자기 지적.
• "Highly accurate protein structure prediction with AlphaFold," Nature (2021) — DOI: 10.1038/s41586-021-03819-2 — 상동 구조 없이도 원자 수준 정확도, CASP14 검증, 물리·생물학 지식과 다중서열정렬의 딥러닝 통합.
• "First draft of a report on the EDVAC," IEEE Annals of the History of Computing (1945) — DOI: 10.1109/85.238389 — 범용 디지털 컴퓨터 설계의 결정적 출처.
• "A Mathematical Theory of Communication," Bell System Technical Journal (1948) — DOI: 10.1002/j.1538-7305.1948.tb01338.x — 채널 잡음과 메시지의 통계적 구조를 포함한 통신의 일반 이론.
• "Artificial Intelligence Emerges," Poems That Solve Puzzles (2020) — DOI: 10.1093/oso/9780198853732.003.0005 — 1952년 스트래치의 체커 프로그램, 새뮤얼의 기계학습, 과장된 낙관과 첫 AI 겨울.
• "A History of the Early Years of Artificial Intelligence at the University of Edinburgh," European Journal on AI (2026) — DOI: 10.1177/30504554261417567 — 라이트힐 보고서가 촉발한 AI 겨울, 미치·롱게히긴스와 에든버러 거점.
• "The Deep Learning Revolution in AI," European Review (2025) — DOI: 10.1017/s1062798725100379 — 하드웨어·데이터 제약, GPU·TPU와 인터넷 데이터, 아키텍처 혁신이 만든 두 단계 전환.
• "Connectionism without Tears," Connectionism Theory and Practice (1992) — DOI: 10.1093/oso/9780195076653.003.0004 — 1980년대 연결주의에 대한 언어학계의 냉담과 그 이유.
• "An Efficient Learning Procedure for Deep Boltzmann Machines," Neural Computation (2012) — DOI: 10.1162/neco_a_00311 — 층별 사전학습을 통한 가중치 초기화, 피드포워드 은닉층 초기화 효과.
• "Deep Belief Networks Are Compact Universal Approximators," Neural Computation (2010) — DOI: 10.1162/neco.2010.08-09-1081 — 깊고 좁은 생성망이 얕은 것보다 많은 매개변수를 요구하지 않음.
• "From Deep Neural Language Models to LLMs," Large Language Models in Cybersecurity (2024) — DOI: 10.1007/978-3-031-54827-7_1 — 1990년대부터의 언어모델 역사, 자기어텐션의 기여, 규모가 낳은 질적 변화.
• "Critical assessment of methods of protein structure prediction (CASP)—Round XIV," Proteins (2021) — DOI: 10.1002/prot.26237 — 블라인드 시험과 독립 평가, 단일 단백질에 한해 고전적 접힘 문제의 해결.
• "Critical Assessment of Methods of Protein Structure Prediction (CASP) – Round XV" (2023, 프리프린트) — DOI: 10.22541/au.169658651.11658182/v1 — 기본 프로토콜로는 표적의 약 2/3만 최고 품질, 복합체 정확도의 큰 진전.
• "The Evolution of the AlphaFold Architecture" (2026, 프리프린트) — DOI: 10.20944/preprints202601.0708.v1 — 다중 형태·점 돌연변이·항원항체·핵산 복합체 등 한계의 체계적 정리.
• "Topological Links in Predicted Protein Complex Structures Reveal Limitations of AlphaFold" (2022, 프리프린트) — DOI: 10.1101/2022.09.14.507881 — 예측 복합체 약 0.7%에서 실험 구조에 없는 위상학적 얽힘.
• "The structural coverage of the human proteome before and after AlphaFold" (2021, 프리프린트) — DOI: 10.1101/2021.08.03.454980 — 커버리지 48%→76%, 암흑 프로테옴 26%→10%.
• "The impact of AlphaFold on experimental structure solution" (2022, 프리프린트) — DOI: 10.1101/2022.04.07.487522 — 발현 구조체 설계·신규 설계·극저온전자현미경 해석에서의 활용과 학습 데이터에 매인 한계.
• "Training Compute-Optimal Transformer Models: A Review of Scaling Laws, Allocation, and Practice" (2026, 프리프린트) — DOI: 10.2139/ssrn.7142719 — 규모 법칙은 자연법칙이 아니라 예산 배분을 위한 경험적 도구.
• "Emergent Abilities in Large Language Models: In-Context Learning, Chain-of-Thought Reasoning, and Scaling Laws" (2026, 프리프린트) — DOI: 10.36227/techrxiv.176784493.33333564/v1 — 창발 능력의 예측 불가능성과 더 엄밀한 연구의 필요.
• "From neural matter to rapid symbolic learning in brains and artificial neural networks," Linguistics Vanguard (2025) — DOI: 10.1515/lingvan-2024-0249 — 인공신경망과 뇌의 상징 획득 방식 차이, fast mapping 재현의 미달.
• "A Brief History of Learning Symbolic Higher-Level Representations from Data (And a Curious Look Forward)," IJCAI (2020) — DOI: 10.24963/ijcai.2020/678 — 데이터에서 상징적 고차 표현을 배우려 한 여러 접근의 계보.