Paperis 아티클
D램을 수직으로 쌓고 실리콘을 관통해 뚫어 프로세서 옆에 앉힌 HBM이 2014년부터 10년 동안 얻은 것과, 그 대가로 떠안은 열·전압 강하·자리마다 다른 신뢰성·용량
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
2014년의 한 반도체 회로 학술지에 D램을 수직으로 쌓아 만든 8기가비트짜리 메모리 한 덩어리가 보고됐다. 웨이퍼 위에 칩을 얹는 공정으로 만들어 고주파 웨이퍼 탐침으로 시험했고, 1.2 V 전원에서 초당 128기가바이트가 나왔다 (DOI: 10.1109/jssc.2014.2360379, 실측).
대역폭은 단위 시간에 실제로 옮길 수 있는 데이터의 양이다. 수도관으로 치면 관의 굵기 하나가 아니라 굵기와 물살을 곱한 것 — 1초에 실제로 쏟아져 나오는 물의 양이다. 그래서 '초당 몇 기가바이트'라고 적는다.
그 무렵 보통의 D램이 어디쯤 있었는지는 두 논문이 각각 적어 두었다. 2016년의 한 논문은 DDR4 DIMM이나 GDDR5 같은 통상적 D램 소자가 초당 30기가바이트 미만으로 대역폭이 묶여 있다고 썼다 (DOI: 10.1109/isscc.2016.7418034, 배경 진술). 2018년의 다른 논문은 DIMM형 메모리가 핀 수의 제약과 신호 무결성 문제 때문에 초당 50기가바이트를 넘기기 어렵다고 썼다 (DOI: 10.1109/isscc.2018.8310257, 배경 진술).
두 숫자가 서로 다른 것을 그냥 넘기지 말자. 대상이 다르고 시점이 다르며, 무엇보다 둘 다 그 논문이 실험으로 얻은 결과가 아니다. 자기가 딛고 선 형편을 적어 둔 문장이다. 이런 문장을 이 글에서는 「배경 진술」로 표시한다. 논문에서 가장 자주 오독되는 자리이기 때문이다.
이 글이 인용하는 논문은 크게 두 층위로 갈린다. 하나는 실제로 만든 소자를 보고한 논문이다. 스택이 몇 단인지, 핀 하나가 초당 몇 기가비트를 내는지, 전원 전압이 얼마인지 같은 숫자가 여기서 나온다. 다른 하나는 구조를 모의로 돌려 보거나 작업 부하를 분석한 논문이다. 두 층위는 같은 자로 잰 값이 아니다. 그래서 하중이 큰 자리마다 실측·시뮬레이션·모형·규격·리뷰·배경 진술 중 어느 쪽인지를 괄호 안에 적었다 — 층위 안에서 다시 갈리므로 라벨은 여섯이다. 라벨은 논문이 아니라 문장에 붙는다. 같은 논문이 한 자리에선 실측이고 다른 자리에선 배경 진술일 수 있다.
폰노이만 구조는 계산하는 부분과 데이터를 담아 두는 부분이 서로 떨어져 있고, 그 사이로 데이터를 실어 나르며 일하는 컴퓨터 구조다. 주방과 창고가 건물 양 끝에 있는 식당과 같다. 요리사가 아무리 빨라도 재료를 가지러 오가는 시간이 저녁 장사의 속도를 정한다.
이 구조에서 계산 장치만 계속 빨라지면 어떻게 되는지를 부르는 이름이 있다. 메모리 벽은 계산 장치는 계속 빨라지는데 메모리에서 데이터를 실어 오는 속도가 그만큼 따라오지 못해, 계산이 아니라 기다림이 성능을 정하게 된 상태를 가리킨다. 주방을 아무리 키워도 창고에서 재료를 실어 오는 수레가 한 대뿐이면 저녁 장사의 속도는 수레가 정한다. 요리사를 더 뽑는 일은 그 시점부터 헛돈이 된다.
어떤 작업이 그 벽에 부딪히는지를 가르는 눈금도 있다. 바이트당 연산량은 메모리에서 데이터를 1바이트 실어 올 때마다 그 데이터로 계산을 몇 번이나 하는지를 센 값이다. 재료 한 상자를 받아 요리를 스무 접시 만드는 식당과, 한 상자를 받아 한 접시만 만들고 다음 상자를 기다리는 식당의 차이다. 뒤쪽 식당은 주방을 넓혀도 소용이 없다.
이 값을 가로축에, 성능을 세로축에 놓고 그리면 어느 지점부터 성능이 대역폭에 막혀 평평해지는지가 한눈에 보인다. 2024년의 한 조사 논문은 이 그림을 공통 틀로 삼아 대형 언어모델 추론 기법들을 정리하면서, 이 틀이 왜 언어모델이 메모리에 묶이는지, 메모리와 계산이 각각 얼마나 필요한지, 어떤 하드웨어를 골라야 하는지를 설명해 준다고 적었다 (arXiv:2402.16363, 리뷰·분석틀).
2026년의 한 리뷰는 같은 틀을 써서 더 단정한 결론을 내놓는다. 언어모델 가속에서 결정적인 제약은 산술이 아니라 메모리라는 것이다. 자기회귀 방식으로 낱말을 하나씩 만들어 내는 단계가 대역폭에 묶이고, 문맥을 담아 두는 저장 공간이 모델 가중치에 맞먹는 크기까지 커질 수 있으며, 에너지는 계산보다 데이터 이동이 지배한다 (arXiv:2608.28048, 리뷰).
이 진단이 새것은 아니다. 이 글의 주인공인 HBM은 High Bandwidth Memory, 곧 고대역폭 메모리의 약자다. 2022년의 한 소자 논문은 첫 문장에서 HBM이 등장한 이래 이 기술이 메모리 벽 문제를 푸는 유력한 해법으로 꼽혀 왔다고 적었다. 그러면서 곧바로 단서를 달았다 — 그럼에도 슈퍼컴퓨터, 초대형 데이터센터, 기계학습 가속기 같은 고성능 시스템의 등장이 더 높은 성능의 메모리를 계속 요구하고 있다는 것이다 (DOI: 10.1109/isscc42614.2022.9731562, 배경 진술). 벽은 한 번 넘고 끝나는 것이 아니라 넘을 때마다 다시 올라온다.
"메모리에 묶여 있다"는 말은 검증하기 까다로운 주장처럼 들린다. 그런데 그것을 아주 직접적으로 보여 준 실험이 있다.
2025년, 한 연구진이 4기가바이트 D램을 단 소형 FPGA 보드 위에 70억 개 매개변수짜리 언어모델을 통째로 올렸다. 운영체제를 아예 올리지 않았는데, 모델 가중치와 중간 결과를 담을 용량을 한 바이트도 뺏기지 않기 위해서였다. 데이터가 오가는 흐름도 손으로 짜 맞춰, 연산을 묶어 한 줄기로 흘리고 데이터를 메모리가 좋아하는 배열로 다시 늘어놓았다. 결과는 초당 낱말 5개 남짓이었다. 중요한 것은 그 옆에 붙은 숫자다 — 메모리 용량의 93.3%를 쓰면서, 이론상 메모리 대역폭 한계의 85%에 해당하는 속도를 냈다 (arXiv:2502.10659, 실측).
이 말은 남은 15%를 빼면 더 짜낼 것이 없다는 뜻이다 — 계산 장치를 두 배로 키워도 소용이 없다. 관을 굵게 만들지 않는 한 그것이 끝이다. 참고로 이 논문이 전형적인 소형 기기는 대개 4기가바이트 용량에 초당 20기가바이트 미만의 대역폭을 가진다고 적은 대목은 그 논문이 딛고 선 형편이지 이 실험의 측정값이 아니다 (arXiv:2502.10659, 배경 진술).
병목이 어디인지는 같은 최적화가 기계마다 다르게 먹히는 데서도 드러난다. 2026년의 한 연구는 가중치를 16분의 1로 압축하면 대역폭에 묶인 CPU에서는 메모리 바운드 연산이 연산 바운드 쪽으로 옮겨 가면서 커널 속도가 29.6배 빨라지고 GPU에서는 이득이 거의 없다는 것을 보였다. 이 두 값은 실제로 돌려서 잰 것이 아니라 앞 절의 그 지붕 그림 분석에서 나온 값이다 (arXiv:2604.20913, 분석). 실제로 돌려서 잰 값은 따로 있다 — 인텔 제온 한 장에서 종단간 초당 32.4개 낱말을 냈고, llama.cpp의 4비트 양자화 구현 대비 1.24배였다 (arXiv:2604.20913, 실측).
같은 기법이 한쪽에서만 통한다는 것은 두 기계의 병목이 서로 다른 곳에 있다는 뜻이다. 2025년의 한 시뮬레이션 연구는 그 관계를 좀 더 일반화해서 적는다. 동작 주파수를 높이면 문맥을 한꺼번에 읽어 들이는 단계의 지연은 줄지만, 낱말을 하나씩 만들어 내는 단계에서는 그 효과가 외부 메모리 대역폭에 의해 상한이 걸린다. 저자들은 이것을 "대역폭이 성능의 천장으로 작동한다"고 표현했다 (arXiv:2512.22066, 시뮬레이션).
관을 굵게 만드는 방법은 원리적으로 둘이다. 하나는 선 하나하나를 더 빠르게 만드는 것이고, 다른 하나는 선을 더 많이 까는 것이다. 회로 기판 위에 선을 더 많이 깔면 소비 전력과 배선 혼잡이 함께 커진다 — 여러 개의 그래픽용 D램을 동시에 붙이는 방식의 문제점으로 2016년 논문이 지목한 것이 정확히 이 둘이었다 (DOI: 10.1109/isscc.2016.7418034, 배경 진술).
그래서 나온 답이 아예 거리를 없애는 것이었다. 실리콘 관통 전극은 칩을 위아래로 꿰뚫어 낸 수직 구멍에 구리 같은 전도성 금속을 채워 만든 배선이다. 영어 약자로는 TSV라고 부른다. 건물 옆면에 붙인 비상계단 대신 층마다 바닥을 뚫어 엘리베이터 통로를 낸 것과 같다. 위층에서 아래층으로 가는 길이 건물 둘레를 도는 대신 곧장 수직으로 뚫린다. 이 구조로 메모리와 프로세서를 잘 배치하면 칩 위의 데이터 통로가 크게 짧아진다는 것이 이 방식의 출발점이다 (DOI: 10.1002/9781118760475.ch06, 리뷰).
칩을 옆에 붙이는 쪽에는 따로 받침판이 필요하다. 인터포저는 여러 칩을 나란히 얹어 놓고 그 사이를 잇는 배선만 촘촘히 깔아 둔 얇은 판이다. 기기를 늘어놓고 케이블을 일일이 돌려 잇는 대신, 배선이 이미 깔린 받침판 위에 기기를 얹는 셈이다. 칩끼리의 거리가 회로 기판을 도는 것보다 훨씬 짧아진다.
여기서 갈림길이 하나 생긴다. 프로세서에 메모리를 붙이는 방식은 두 가지다. 프로세서와 메모리 스택을 인터포저 위에 나란히 앉히거나, 아니면 프로세서 위에 D램을 곧장 얹어 쌓거나. 2016년의 한 신뢰성 연구가 이 둘을 나란히 놓고 비교했는데, 답은 어느 한쪽의 승리가 아니었다. 위로 쌓는 쪽이 성능은 더 나오지만 더 높은 온도에서 동작해 수명이 짧고, 옆에 앉히는 쪽은 프로세서와 메모리 사이 대역폭이 더 낮은 대신 열로 인한 열화가 적어 수명이 현저히 길다. 그리고 저자들의 결론은 둘 중 하나를 고르라는 것이 아니었다 — 3차원으로 쌓은 시스템을 더 낮은 전압과 주파수로 돌리면 신뢰성과 성능의 균형점에 닿을 수도 있다는 것이었다 (DOI: 10.1109/irps.2016.7574618, 모델링·분석).
이 글이 인용한 HBM 소자·패키징 논문들이 한결같이 기술하는 구조는 옆에 앉히는 쪽이다 — 실리콘 인터포저 기술이 입출력 1024개를 가능하게 했다고 적은 소자 논문부터 (DOI: 10.1109/isscc19947.2020.9063110, 배경 진술), 인터포저 위에 연산 칩과 메모리 스택을 나란히 올린 시스템 보고까지 그렇다 (DOI: 10.1109/ectc.2016.246, 실측·제작). 그리고 그 스택의 맨 아래에는 D램이 아닌 다른 칩이 한 장 깔린다. 2014년 논문은 이 밑판 칩이 하는 일을 넷으로 적었다 — 입출력 용량 부담을 낮추고, 칩과 칩 사이 연결 실패를 고쳐 주고, 시험 가능성을 높이고, 신뢰성을 개선한다 (DOI: 10.1109/isscc.2014.6757501, 설계 논거). 그 위에 쌓인 D램 조각들은 조각마다 독립된 대역폭을 갖고, 밑판과는 미세 피치 마이크로범프로 이어진다 (DOI: 10.1109/jssc.2014.2360379, 실측).
실물이 얼마나 작은지도 적어 두자. 2016년 유기 인터포저 위에 만든 한 시스템에서 HBM 스택 하나의 크기는 5.5 × 7.7 × 0.48 밀리미터였고 그 안에 밑판 버퍼 다이 한 장과 D램 코어 다이 네 장이 들어 있었다. 같은 판 위의 주 연산 칩은 19.1 × 24 밀리미터였다 (DOI: 10.1109/ectc.2016.246, 실측·제작). 저자들이 실리콘 대신 유기 인터포저를 쓴 이유도 명확하다 — 실리콘 인터포저는 노광 장비가 한 번에 찍는 면적에 묶여 크기 상한이 있다. 리소그래피 편에서 다룬 그 제약이 여기서 패키지 크기의 벽으로 되돌아온다.
거리를 줄이면 뭐가 좋아지는가. 배선이 짧아지면 딸려 오는 기생 용량이 줄고, 그만큼 신호를 밀어내는 에너지가 줄어든다 (DOI: 10.5281/zenodo.17652880, 리뷰·설계 논의). 배선이 짧으면 그것을 구동하는 회로 자체를 작게 만들 수 있어서 배선 단계의 에너지 소모가 한 번 더 줄어든다는 지적도 있다 (DOI: 10.1115/1.4025531, 시뮬레이션·설계 연구).
그런데 진짜 이득은 다른 데 있다. 거리가 짧으면 선을 아주 많이 깔 수 있다. 2020년의 한 소자 논문은 이 점을 한 문장으로 요약했다 — HBM은 통상적 D램보다 핀 하나의 속도는 더 낮으면서 대역폭은 훨씬 높다 (DOI: 10.1109/isscc19947.2020.9062977, 배경 진술).
숫자로 보면 이렇다. HBM3 규격은 핀 하나당 초당 6.4기가비트를 지원하고, 입출력 핀을 1024개 쓴다. 곱하면 초당 819기가바이트다 (DOI: 10.1109/a-sscc58667.2023.10348011, 규격값). 이 숫자는 누가 잰 값이 아니라 규격서가 정해 둔 값이라는 점을 분명히 해 두자 — 뒤에 나올 소자 논문들의 대역폭은 실제로 만들어 시험한 값이고, 이 819는 그것과 성격이 다르다.
채널을 쪼개는 방식으로도 폭을 벌었다. 2016년 논문은 기존 채널 하나를 둘로 나눠 명령·주소 핀을 공유하게 함으로써 HBM 하나가 채널 8개 대신 유사 채널 16개를 갖게 하는 방식을 제안했다 (DOI: 10.1109/isscc.2016.7418034, 설계·실측).
이제 실제로 만들어 시험한 값들만 시간순으로 놓아 보자. 아래는 소자 논문이 보고한 값이고, 앞 절의 규격값과 섞어 읽으면 안 된다.
스택의 단수를 세는 방식도 알아 두자. 2020년의 한 적층 기술 논문은 4단·8단·12단 구조를 실제로 만들어 보이면서, 각각이 밑판 다이 한 장에 D램 다이 4·8·12장을 얹은 것이라고 적었다 (DOI: 10.1109/ted.2020.3021358, 실측). '16단'이라는 말은 D램 열여섯 장이라는 뜻이다.
이 흐름을 2022년의 한 튜토리얼은 이렇게 정리했다 — 진보된 패키징 기술과 함께 HBM은 지난 10년간 확장 가능한 유일한 D램 대역폭 해법이었고, 초당 128기가바이트에서 출발해 800기가바이트 너머까지 왔다 (DOI: 10.1109/isscc42614.2022.11005811, 튜토리얼). 2017년의 개관 논문은 같은 기술을 초당 256기가바이트를 넘기면서 전력 소비도 줄이는 해법으로 소개하면서, 신뢰성·방열 능력·허용 가능한 최대 패키지 크기·높은 처리량의 적층이 함께 풀어야 할 과제라고 적었다 (DOI: 10.1109/imw.2017.7939084, 개관).
그리고 여기에 한 가지 단서를 달아야 한다. 2020년의 한 논문은 당시 업계 추세를 "속도는 해마다 15~20% 개선되고 용량은 2년마다 1.5~2배가 된다"고 적었는데 (DOI: 10.1109/isscc19947.2020.9063110, 배경 진술), 이것은 그 논문이 관찰한 추세이지 물리 법칙도 측정 결과도 아니다. 같은 논문이 인용한 "HBM2는 8단 8기가바이트에 초당 341기가바이트"라는 값도 다른 논문의 결과를 대괄호로 끌어온 것이다.
이제 대가를 세어 볼 차례다. 첫 번째는 열이고, 이 문제는 처음부터 알려져 있었다. 실리콘 관통 전극으로 3차원 적층을 하면 방열·기계적 응력·열 응력이 따라온다는 것은 이 기술을 소개하는 문헌이 도전 과제로 나열하는 항목이다 (DOI: 10.1002/9781118760475.ch06, 리뷰). 3차원으로 쌓은 구조는 열 저항이 높아서, 열 관리가 부실하면 소자 신뢰성을 위협한다. 다만 그 논문이 내놓은 답은 경고가 아니라 처방이었다 — 코어 배치를 다시 짜고, 미세 유로로 냉각하고, 열을 빼는 용도의 실리콘 관통 전극을 따로 넣어 내부 열 저항을 낮추는 것 (DOI: 10.1115/1.4025531, 시뮬레이션·설계 연구).
소자 논문 안에서도 이 문제는 대역폭과 한 묶음으로 나온다. 2016년 논문은 대역폭이 늘면 전력 소비가 좁은 자리에 몰려 국소적으로 뜨거운 지점이 생기므로 능동적인 열 대책이 필요하다고 적고, 해법으로 온도 분포를 고려해 리프레시 주기를 바꾸는 방식을 제안했다 (DOI: 10.1109/isscc.2016.7418034, 설계·실측). 리프레시는 D램이 값을 잃지 않으려고 저장한 내용을 주기적으로 읽어 다시 채워 넣는 동작이다. 바닥에 금이 간 물통과 같아서, 통이 비기 전에 누군가 계속 물을 부어야 한다. 뜨거울수록 물은 더 빨리 샌다.
열을 낮추는 쪽으로도 연구가 있다. 2025년의 한 시뮬레이션 연구는 실리콘 대신 전기는 통하지 않고 열은 잘 통하는 육방정 질화붕소로 인터포저를 만들면 국소 고온 지점이 실리콘 인터포저 대비 20도 낮아진다고 계산했고, 그 정도 개선이면 칩의 누설 전력을 22% 줄일 수 있을 것이라고 덧붙였다 (arXiv:2510.11461, 시뮬레이션). 조건절이 붙은 추정이지 측정이 아니다.
열을 미리 예측하려는 시도도 있다. 2025년의 한 연구는 유한요소 해석으로 만든 1만 3494가지 조건 조합을 학습시켜, 3차원 HBM 구조의 접합부 온도와 고온 지점 위치를 빠르게 추정하는 대리 모형을 만들었다 (arXiv:2503.04049, 모형).
열을 어떻게 빼낼 것인가는 그 자체로 한 편의 주제이고, 이 시리즈에서는 후면 전력 공급과 3차원 열을 다루는 편이 그 자리다. 여기서는 쌓는 순간 이 청구서가 함께 온다는 것만 붙들어 두자.
두 번째 청구서는 눈에 덜 띄지만 더 집요하다.
2020년의 소자 논문은 3차원 적층 구조가 만들어 내는 문제를 먼저 두 가지로 적었다. 실리콘 관통 전극의 연결 실패, 그리고 전원 공급망에서 생기는 전압 강하가 층층이 누적되는 현상이다. 그리고 이 둘이 HBM의 총 비용을 올린다고 못 박았다. 초록은 여기서 끝나지 않는다 — 저자들은 「게다가」를 붙여 대역폭이 늘면 D램 구조상의 과제가 함께 생기고 소비 전력과 그에 딸린 열 문제도 커진다고 이었다 (DOI: 10.1109/isscc19947.2020.9062977, 배경·문제 진술). 목록은 둘로 닫혀 있지 않다.
전압이 흔들리면 무슨 일이 생기는지는 2023년의 전원 회로 논문이 자세히 적어 두었다. 밑판 다이에는 공간이 부족해서, HBM은 위에 쌓인 D램 코어 다이 안의 셀 커패시터를 실리콘 관통 전극 건너편의 잡음 완충 장치로 끌어다 쓴다. 그런데 코어 다이를 쌓을수록 그 경로의 등가 직렬 저항이 커지고, 저항이 커지면 완충 효과가 떨어져 전원 잡음이 늘고, 그 잡음은 클록 회로에서 신호가 흔들리는 형태로 나타나 타이밍 여유를 깎는다 (DOI: 10.1109/a-sscc58667.2023.10348011, 설계·문제 분석). 다만 이 논문은 문제를 진술하러 쓰인 글이 아니다. 제목부터 HBM3용 고속 전압 조정기이고, 저자들이 내놓은 것은 D램 구조에 맞춰 여러 동작 모드를 감당하도록 능동 인덕터와 자기적응 바이어스와 2단 기법을 쓴 소형 초고속 조정기다 (DOI: 10.1109/a-sscc58667.2023.10348011, 설계·제안).
전압에 얼마나 여유가 있는지를 실제 칩으로 잰 연구도 있다. 2021년, 한 연구진이 실제 HBM 칩을 정상보다 낮은 전압에서 돌려 봤다. 자기들이 시험한 칩에서 제조사가 남겨 둔 안전 여유는 공칭 전압의 19%였다. 그 여유 안에서 전압을 낮추면 대역폭 사용률과 무관하게 전력 소비가 1.5배 줄었고, 거기서 11%를 더 낮추면 총 2.3배까지 줄었지만 그 대가로 원치 않는 비트 뒤집힘이 나타났다 (DOI: 10.23919/date51398.2021.9474024, 실측).
"자기들이 시험한 칩에서"라는 단서를 지우면 이 문장은 모든 HBM에 대한 주장이 된다. 저자들이 그렇게 쓰지 않았다. 이 연구가 남긴 것은 절전 기법 하나가 아니라 전력과 용량과 오류율 사이의 삼자 맞바꿈을 눈으로 볼 수 있게 만든 지도였다 (DOI: 10.23919/date51398.2021.9474024, 실측).
세 번째는 쌓는다는 행위 자체가 만들어 낸, 조금 낯선 종류의 문제다.
로우해머는 D램의 한 줄을 반복해서 두드리면 옆줄의 데이터가 멋대로 뒤집히는 현상이고, 로우프레스는 한 줄을 오래 열어 두기만 해도 옆줄이 교란되는 현상이다. 둘 다 원래 평면 D램에서 알려진 문제다.
2024년, 한 연구진이 실제 HBM2 칩 여섯 개를 서로 다른 두 종류의 보드에 꽂고 이 현상을 자세히 특성화했다. 결과에서 눈에 띄는 것은 편차였다. 취약성이 칩마다 크게 달랐을 뿐 아니라, 한 칩 안에서도 수직으로 쌓인 채널마다 크게 달랐다. 뱅크의 끝과 가운데에 있는 줄이 더 잘 버텼고, 칩 안에는 문서에 없는 방어 기제가 이미 들어가 있어 여러 번 활성화된 줄을 추적하고 있었다 (DOI: 10.1109/dsn58291.2024.00022, 실측).
같은 연구 라인의 앞선 보고는 그 편차를 숫자로 적었다. HBM2 한 칩 안에서 수직으로 쌓인 채널들 사이의 비트 오류율이 최대 79%까지 차이 났다는 것이다 (arXiv:2305.17918, 실측).
이것이 왜 문제인가. 평면 D램에서는 칩 하나가 대체로 고른 성질을 가진다고 전제하고 여유를 설계할 수 있었다. 쌓아 올린 순간 같은 제품 안에서도 층에 따라 성질이 달라진다. 그러면 여유는 가장 약한 층에 맞춰야 하고, 나머지 층의 성능은 그만큼 버려진다.
다만 덧붙일 것이 있다. 이 두 연구의 목적은 신뢰성 여유를 어떻게 잡을지가 아니라 읽기 교란을 이용한 공격과 그 방어를 이해하는 것이었고, 저자들은 자기 발견이 더 강력한 공격과 더 효율적인 방어를 만드는 데 쓰일 수 있다고 적었다 (DOI: 10.1109/dsn58291.2024.00022, 실측). 층마다 성질이 다르다는 사실을 이 글은 설계의 문제로 읽었지만, 원 논문은 보안의 문제로 읽었다.
네 번째가 가장 크다. 이 방식은 대역폭을 벌어 주는 대신 용량을 제한한다.
2018년의 한 연구는 이 점을 정면으로 다뤘다. 패키지 안에 3차원으로 쌓아 넣은 메모리는 접근 에너지는 낮고 대역폭은 크지만 용량이 제한적이라는 것이다. 저자들은 D램 다이를 더 많이 쌓아 스택을 더 높이는 길의 과제들을 살폈고, 결론의 마지막 두 문장을 이렇게 맺었다 — 더 높은 스택은 용량을 늘리는 흥미로운 접근일 수 있지만, 대역폭을 함께 키우면서 고용량 스택을 가능하게 하려면 더 많은 연구가 필요하다. 그리고 그 열쇠가 될 수 있는 후보로 다른 방식의 접합·적층 기술을 지목했다 (DOI: 10.1145/3286475.3286484, 분석·전망).
마지막 문장은 그냥 넘길 말이 아니다. 이 시리즈에서 붙이는 방식 자체를 다루는 편이 따로 있는 이유가 여기 있다.
용량 제한이 실제로 어떻게 나타나는지는 2018년의 한 실측 연구가 보여 준다. 저자들은 당시 최신 HBM 탑재 GPU의 패키지 내 메모리 용량이 4기가바이트뿐이라는 점을 출발점으로 삼아, 신경망 학습을 소프트웨어 파이프라인으로 쪼개 용량 제약을 우회했다. 그 결과 시장에 나와 있는 최고 성능 GPU 대비 1.63배가 나왔고, 너비 우선 탐색에서는 두 가지 기법을 함께 써서 통상적 구현 대비 최대 24.5배(각각 9.8배와 2.5배)를 얻었다 (DOI: 10.1109/tvlsi.2018.2791442, 실측). 두 배수의 비교 대상이 서로 다르다는 점을 흘리면 안 된다.
용량과 대역폭 사이에서 아예 방향을 정해 버리자는 제안도 있다. 2026년의 한 구조 연구는 용량을 깎아 에너지와 비용을 얻는 형태의 고대역폭 메모리를 설계 요소로 삼고, 대역폭을 먼저 배분하는 칩렛 구조를 함께 제안했다. 모의실험 결과 특정 대형 모델에서 동일 열설계전력 조건의 기존 최상위 GPU 시스템 대비 최대 45.3배 낮은 지연과 18.6배 높은 처리량을 냈다고 보고했다 (arXiv:2602.18568, 시뮬레이션). 실제로 만든 소자가 아니라 모의실험 값이다.
비용도 있다. 2016년의 한 패키징 논문은 인터포저를 쓰는 방식의 채택이 느렸던 주된 원인으로 높은 소유 비용이 지목돼 왔다고 적으면서, 표준이 없어 공정 선택지가 여럿으로 갈렸고 각각이 규모의 경제에 닿지 못한 것이 그 비용의 배경이라고 진단했다. 그리고 진단에서 멈추지 않았다 — 네 가지 공정 선택지를 4년간 다뤄 본 끝에 저자들이 내놓은 것은 하나를 기준 공정으로 삼자는 제안이었고, 그 방식이 개발 중인 더 경제적인 TSV 없는 패키징 플랫폼으로도 확장된다고 봤다 (DOI: 10.1109/ectc.2016.148, 공정 개발 결론). 2017년의 개관 논문은 시험 기술과 시험 가능성을 별도 항목으로 두고, 검증을 마친 스택 낱개와 2.5D 시스템인패키지를 대상으로 그것을 논의한다 (DOI: 10.1109/imw.2017.7939084, 개관). 무엇을 어떻게 시험할 것인가가 이 구조에서는 따로 한 장을 차지한다는 뜻이다.
여기까지가 하드웨어 쪽 이야기다. 그런데 이 기술이 최근 몇 년 사이 갑자기 관심을 받게 된 이유는 소프트웨어 쪽에 있다.
키-값 캐시는 언어모델이 지금까지 읽은 낱말마다 계산해 둔 중간 결과를, 다음 낱말을 만들 때 다시 쓰려고 쌓아 두는 저장 공간이다. 대화가 길어질수록 이 창고는 계속 커진다. 그리고 새 낱말을 하나 만들 때마다 창고 전체를 다시 훑어야 한다 — 창고가 커질수록 훑는 데 드는 시간이 늘어난다.
앞서 인용한 2026년 리뷰의 진단이 정확히 이 지점을 짚는다. 낱말을 하나씩 만들어 내는 단계가 대역폭에 묶이고, 이 캐시가 모델 가중치에 맞먹는 크기까지 커질 수 있으며, 에너지는 데이터 이동이 지배한다 (arXiv:2608.28048, 리뷰).
같은 해의 다른 분석은 이것을 두 개의 지표로 나눠 본다. 바이트당 연산량과, 얼마나 많은 용량을 차지하는지를 함께 보면 고전적인 지붕 그림이 놓치는 국면이 설명된다는 것이다. 저자들은 대화·코딩·웹 사용 같은 작업들에 걸쳐 이 두 값이 크게 달라지며, 긴 문맥의 키-값 캐시가 낱말 생성 단계를 강하게 메모리 바운드로 만든다고 적었다 (arXiv:2601.22001, 분석).
여러 낱말을 미리 뽑아 두고 한꺼번에 확인하는 가속 기법에서도 같은 벽이 나온다. 2026년의 한 연구는 확인 단계가 모델 전체를 한 번 통과시켜야 하므로 엄격히 대역폭에 묶인다는 점을 출발점으로 삼아, 그 단계에만 낮은 비트 정밀도를 써서 메모리 트래픽을 사실상 절반으로 줄였고 종단간 처리량이 1.28배 개선됐다고 보고했다 (arXiv:2603.01399, 실험).
캐시를 다른 장치로 덜어 내는 시도도 있다. 2025년의 한 제안은 이 캐시를 별도 가속기 쪽 메모리로 옮기고 압축·해제 회로를 붙여 메모리 대역폭 요구를 최대 4배 낮췄고, GPU만 쓰는 기준 대비 최대 3.2배 처리량을 냈다고 보고했다 (arXiv:2512.11920, 제안·평가).
이 글이 정직하게 끝나려면 마지막 조각이 하나 필요하다.
2026년의 한 연구가 3차원으로 쌓은 메모리 곁에서 낱말 생성을 처리하는 구조를 분석하다가 이런 결론에 닿았다. 그런 구조가 주는 대역폭 이점이 많은 연산을 다시 연산 바운드 영역으로 되돌린다는 것이다. 대역폭이 넉넉해지는 순간 병목은 사라지는 것이 아니라 자리를 옮긴다 (arXiv:2604.04253, 분석·시뮬레이션).
병목이 옮겨 가는 자리는 하나가 아니다. 2018년, 한 연구진이 3차원 적층 메모리의 한 시제품을 가속기 보드에 꽂아 접근 지연과 대역폭을 특성화했다. 저자들이 이 작업을 한 목적은 성능 순위를 매기는 것이 아니라 그 거동이 시스템과 소프트웨어 설계에 무엇을 뜻하는지를 조사하는 것이었다. 그 결과는 대역폭 숫자 하나로 성능이 정해지지 않는다는 것이었다 — 스택 안에서 층들을 잇는 내부 통신망의 성질, 패킷 기반 규약, 내부 큐잉 특성, 트래픽 조건이 응용의 성능에 함께 영향을 준다 (DOI: 10.1109/ispass.2018.00018, 실측·특성화).
2026년의 한 전망 논문은 앞으로의 과제를 계산이 아니라 메모리와 연결로 규정하고 네 갈래의 연구 기회를 꼽았다 — HBM에 준하는 대역폭을 유지하면서 용량을 10배로 늘린 고대역폭 플래시, 메모리 가까이에서 처리하는 방식, 메모리와 로직의 3차원 적층, 그리고 지연이 낮은 연결이다 (arXiv:2601.05047, 전망·리뷰). 이 가운데 메모리 안에서 계산하는 길은 이 시리즈에서 따로 한 편을 받는 주제다.
지금 이 기술은 다음 세대를 앞에 두고 있다. 2025년의 한 설계 논의가 표준 규격을 그대로 쓰는 길과 시스템에 맞춰 고쳐 쓰는 길을 나란히 비교한다. 표준 쪽은 검증된 신뢰성, 공급망 접근성, 빠른 통합 일정, 예측 가능한 비용 구조를 주고, 고쳐 쓰는 쪽은 성능 차별화를 주는 대신 개발 복잡도가 크게 올라가고 일정이 길어지며 초기 개발 비용이 늘어난다 (DOI: 10.5281/zenodo.17652880, 리뷰·설계 논의).
같은 문헌이 나열하는 통합 과제는 이 글이 세어 온 청구서와 정확히 겹친다 — 패키지 기판 공동 설계, 순간 전류를 감당할 전원 공급망, 수직 적층 구조의 열전도, 설계 여유가 거의 없는 상태의 신호·전원 무결성 검증, 시험과 검증 절차 전반. 실리콘 관통 전극이 기존 방식을 넘는 수직 배선 밀도를 가능하게 하는 대신 기계적 응력과 주변에 아무것도 놓을 수 없는 금지 구역을 함께 가져온다는 지적도 같은 자리에 있다.
앞서 인용한 2026년 리뷰가 조사를 요약하며 남긴 문장은 이 글의 제목과 같은 말을 한다 — 대형 언어모델에서는 메모리 시스템이 곧 컴퓨터가 됐다. 다만 같은 저자들은 어느 구조도 모든 작업에서 최적은 아니라고 못 박고, 메모리 안에서 계산하는 방식은 이 벽에 대한 가장 유망한 단기 대응으로 이종 시스템의 보완재로 진입하는 중이며, 뉴로모픽과 광 컴퓨팅은 아직 최전선 규모의 양산 준비가 되어 있지 않다고 적었다 (arXiv:2608.28048, 리뷰). 이 한정어들이 이 분야를 읽는 온도계다.
2014년의 128과 2024년의 1280 사이에서 바뀐 것은 하나가 아니다. 1024개를 깔 수 있게 만든 것이 거리였고, 그 1024개 위에서 핀 하나를 계속 빠르게 만든 것이 회로였다.
핀의 개수부터 보자. 2020년 논문은 2.5D 인터포저 기술이 입출력 1024개를 가능하게 했다고 적었고 (DOI: 10.1109/isscc19947.2020.9063110, 배경 진술), HBM3 규격의 입출력 핀도 1024개다 (DOI: 10.1109/a-sscc58667.2023.10348011, 규격값). 2024년 논문은 채널과 입출력의 개수가 앞 세대와 동일하다고 못 박는다 (DOI: 10.1109/isscc49657.2024.10454440, 실측). 이 구간에서 핀의 개수는 상수였다 — 늘어난 것이 아니다.
움직인 것은 핀 하나의 속도다. 2020년 논문이 다른 논문에서 끌어와 배경으로 적은 앞 세대 값은 핀당 초당 2.7기가비트였고 (DOI: 10.1109/isscc19947.2020.9063110, 배경 진술), 그 논문이 스스로 보고한 값은 핀당 초당 5기가비트였다 (DOI: 10.1109/isscc19947.2020.9063110, 실측). HBM3 규격은 핀당 초당 6.4기가비트다 (DOI: 10.1109/a-sscc58667.2023.10348011, 규격값) — 앞의 둘은 소자가 낸 값이고 이 하나는 규격서가 정해 둔 값이라, 이 셋도 같은 자로 잰 값이 아니다. 그리고 앞에서 인용한 그 논문이 적어 둔 업계 추세가 바로 「속도는 해마다 15~20% 개선된다」였다.
트랜지스터도 그대로 있지 않았다. 이 글이 적은 것만 봐도 2014년 소자가 29 나노 공정이고 (DOI: 10.1109/isscc.2014.6757501, 실측), 2016년 소자는 20 나노 공정이며 (DOI: 10.1109/isscc.2016.7418034, 실측), 2020년의 16기가바이트 소자는 10 나노급 공정의 2세대에서 안정된 셀 동작을 확보했다고 보고했다 (DOI: 10.1109/isscc19947.2020.9063110, 실측). 미세화가 어려워진 자리에서 시작한 이야기지만, 이 기술 안에서 공정이 멈춰 서 있었던 것은 아니다.
그러니 이 이야기의 교훈은 "쌓으면 빨라진다"도, "트랜지스터를 그대로 두고도 된다"도 아니다. 쌓아서 거리를 없앤 것이 1024개의 선을 가능하게 했고, 그 위에서 회로와 공정이 각자의 몫을 계속 했다. 그리고 쌓는 순간 열이 갇히고, 전압이 층마다 흔들리고, 같은 제품 안에서도 자리에 따라 성질이 달라지고, 대역폭을 벌면 용량이 줄어든다. 그 넷을 하나씩 갚아 나간 10년이 이 기술의 실제 내용이다.
그리고 그 청구서를 갚는 방법들 — 어떻게 붙일 것인가, 어떻게 한 덩어리를 여러 조각으로 나눌 것인가, 전기 대신 무엇으로 나를 것인가, 열을 어디로 뺄 것인가, 아예 계산을 데이터 쪽으로 옮길 것인가 — 이 다음 이야기들이다.