병목은 계산이 아니었다 — 메모리를 쌓아 프로세서 옆에 붙인 10년

8기가비트 한 덩어리가 초당 128기가바이트

2014년, 한 반도체 회로 학술지에 D램을 수직으로 쌓아 만든 8기가비트짜리 메모리 한 덩어리가 보고됐습니다. 「계산보다 나르기가 느리다 — 메모리 병목과 HBM」의 정의로 D램은 컴퓨터가 일하는 동안 데이터를 담아 두는 메모리이고, 이 덩어리는 그 D램 칩을 여러 장 포갠 것입니다. 칩을 만드는 얇고 둥근 실리콘 판인 웨이퍼 위에 칩을 얹는 공정으로 만들었고, 웨이퍼 상태 그대로 탐침을 대고 빠른 신호로 시험했습니다. 1.2 V(볼트) 전원에서 초당 128기가바이트가 나왔습니다 (DOI: 10.1109/jssc.2014.2360379, 실측).

이 숫자는 대역폭입니다. 같은 첫걸음의 정의로 대역폭은 단위 시간에 실제로 옮길 수 있는 데이터의 양이고, 그래서 「초당 몇 기가바이트」로 적습니다.

그 무렵 보통의 D램이 어디쯤 있었는지는 두 논문이 각각 적어 두었습니다. 2016년 논문에 따르면 컴퓨터 기판에 꽂는 막대 모양 메모리(DDR4 DIMM)나 그래픽 칩용 D램(GDDR5) 같은 통상적 D램 소자는 대역폭이 초당 30기가바이트 미만으로 묶여 있었습니다 (DOI: 10.1109/isscc.2016.7418034, 배경 진술). 2018년 논문은 DIMM형 메모리가 초당 50기가바이트를 넘기기 어렵다고 썼고, 그 이유로 핀 수의 제약과 신호 무결성 문제를 들었습니다 (DOI: 10.1109/isscc.2018.8310257, 배경 진술). 핀은 칩과 바깥을 잇는 작은 연결 단자이고, 신호 무결성(signal integrity)은 신호가 흐트러지지 않고 제대로 전달되는 정도입니다.

두 숫자는 대상이 다르고 시점도 다릅니다. 무엇보다 둘 다 그 논문이 실험으로 얻은 결과가 아닙니다. 그 논문이 딛고 선 형편을 적어 둔 문장이고, 이 글은 이런 문장을 「배경 진술」로 표시합니다. 논문의 연구 결과로 잘못 읽히기 쉬운 자리이기 때문입니다.

이 글이 인용하는 논문은 크게 두 층위로 갈립니다. 하나는 실제로 만든 소자를 보고한 논문입니다. D램 칩을 포갠 덩어리, 곧 스택이 몇 단인지, 핀 하나가 초당 몇 기가비트를 내는지, 전원 전압이 얼마인지 같은 숫자가 여기서 나옵니다. 다른 하나는 구조를 모의로 돌려 보거나 작업 부하를 분석한 논문입니다. 두 층위는 같은 자로 잰 값이 아닙니다. 그래서 하중이 큰 자리마다 실측·시뮬레이션·모형·규격·리뷰·배경 진술 중 어느 쪽인지를 괄호 안에 적었습니다. 층위 안에서 다시 갈리므로 라벨은 실측·시뮬레이션·모형·규격·리뷰·배경 진술을 기본으로 하고, 필요한 자리에서는 더 자세히 적었습니다. 라벨은 논문이 아니라 문장에 붙습니다. 같은 논문이 한 자리에선 실측이고 다른 자리에선 배경 진술일 수 있습니다. 괄호 속 번호가 arXiv로 시작하는 글과 zenodo에 공개된 글은 동료 심사를 거치기 전에 공개된 자료이고, arXiv 쪽은 프리프린트라 부릅니다.

어떤 일이 메모리 벽에 부딪히나

계산 장치가 빨라질수록 데이터를 나르는 길이 속도를 정하게 되는 사정은 첫걸음 「계산보다 나르기가 느리다」가 식당 하나로 설명했습니다. 그 식당에서 요리사는 프로세서, 창고는 메모리, 창고와 주방 사이의 복도는 데이터가 오가는 길이고, 복도로 들어오는 상자 수가 대역폭입니다. 그 글의 정의로 메모리 벽은 계산 장치는 계속 빨라지는데 메모리에서 데이터를 실어 오는 속도가 그만큼 따라오지 못해, 계산이 아니라 기다림이 성능을 정하게 된 상태입니다.

어떤 일이 그 벽에 부딪히는지를 가르는 눈금이 있습니다. 바이트당 연산량(arithmetic intensity)은 메모리에서 데이터를 1바이트 실어 올 때마다 그 데이터로 계산을 몇 번이나 하는지를 센 값입니다. 첫걸음의 식당으로 치면 재료 한 상자로 접시를 몇 개 만드느냐입니다. 소금 한 통을 조리대, 곧 프로세서 곁의 작고 빠른 저장 공간인 캐시에 올려 두고 여러 접시에 나눠 쓰는 일은 이 값이 큽니다. 접시마다 창고에서 새 재료를 날라 와야 하는 일은 이 값이 작고, 요리사를 아무리 빠르게 바꿔도 복도에 막힙니다.

이 값을 가로축에, 성능을 세로축에 놓고 그리면 어느 지점부터 성능이 대역폭에 막혀 평평해지는지가 한눈에 보입니다. 이 그림을 루프라인 모형(roofline model), 곧 지붕선 그림이라 부릅니다. 2024년의 한 조사 논문은 이 그림을 공통 틀로 삼아 대형 언어모델로 답을 만드는 기법들을 정리했습니다. 저자들은 이 틀이 왜 언어모델이 메모리에 묶이는지, 메모리와 계산이 각각 얼마나 필요한지, 어떤 하드웨어를 골라야 하는지를 설명해 준다고 적었습니다 (arXiv:2402.16363, 리뷰·분석틀). 대형 언어모델은 대화형 인공지능의 바탕이 되는 모델입니다.

2026년의 한 리뷰는 같은 틀을 써서 더 단정한 결론을 내놓습니다. 대형 언어모델 가속에서 결정적인 제약은 산술이 아니라 메모리라는 것입니다. 근거는 셋입니다. 낱말을 하나씩 이어 붙여 만드는 자기회귀 단계가 대역폭에 묶이고, 문맥을 담아 두는 저장 공간이 모델 가중치에 맞먹는 크기까지 커질 수 있으며, 에너지는 계산보다 데이터 이동이 지배합니다 (arXiv:2608.28048, 프리프린트 리뷰). 모델 가중치는 모델이 배운 내용을 담은 숫자들입니다.

이 진단이 새것은 아닙니다. 첫걸음의 정의로 HBM은 계산하는 칩 바로 옆에 붙여 쓰는 메모리이고, 이름은 High Bandwidth Memory, 곧 고대역폭 메모리의 약자입니다. 2022년의 한 소자 논문은 첫 문장에서 HBM이 등장한 이래 이 기술이 메모리 벽 문제를 푸는 유력한 해법으로 꼽혀 왔다고 적었습니다. 그러면서 곧바로 단서를 달았습니다. 그럼에도 슈퍼컴퓨터, 초대형 데이터센터, 기계학습 가속기 같은 고성능 시스템의 등장이 더 높은 성능의 메모리를 계속 요구하고 있다는 것입니다 (DOI: 10.1109/isscc42614.2022.9731562, 배경 진술). 벽은 넘을 때마다 다시 올라옵니다.

천장에 닿았다는 걸 어떻게 아나

「메모리에 묶여 있다」는 주장은 측정으로 확인할 수 있습니다. 2025년, 한 연구진이 4기가바이트 D램을 단 소형 FPGA 보드 위에 70억 개 매개변수짜리 언어모델을 통째로 올렸습니다. FPGA는 만든 뒤에도 내부 회로를 다시 짜 넣을 수 있는 칩이고, 매개변수는 모델 가중치의 숫자 하나하나입니다. 운영체제는 아예 올리지 않았습니다. 모델 가중치와 중간 결과를 담을 용량을 한 바이트도 뺏기지 않기 위해서였습니다. 데이터가 오가는 흐름도 손으로 짜 맞춰, 연산을 묶어 한 줄기로 흘리고 데이터를 메모리가 읽기 좋은 배열로 다시 늘어놓았습니다. 결과는 초당 낱말 5개 남짓이었습니다. 핵심은 그 옆에 붙은 숫자입니다. 메모리 용량의 93.3%를 쓰면서, 이론상 메모리 대역폭 한계의 85%에 해당하는 속도를 냈습니다 (arXiv:2502.10659, 실측 — 보드 하나에서 잰 프리프린트 결과).

남은 15%를 빼면 이 보드의 복도에서 더 짜낼 것이 거의 없다는 뜻입니다. 이 보드에서는 계산 장치만 키워서는 속도를 크게 올리기 어렵고, 남은 길은 복도를 넓히거나 실어 올 양 자체를 줄이는 것입니다. 이 실험의 모델도 이미 숫자를 적은 비트로 줄여 담은 것이었습니다. 이 논문이 전형적인 소형 기기는 대개 4기가바이트 용량에 초당 20기가바이트 미만의 대역폭을 가진다고 적은 대목은 그 논문이 딛고 선 형편이고, 이 실험의 측정값이 아닙니다 (arXiv:2502.10659, 배경 진술).

병목이 어디인지는 같은 최적화가 기계마다 다르게 먹히는 데서도 드러납니다. 메모리 바운드는 성능이 대역폭에 묶인 상태이고, 연산 바운드(compute-bound)는 성능이 계산 능력에 묶인 상태입니다. 2026년의 한 연구는 가중치를 16분의 1로 압축했을 때를 루프라인 모형으로 분석했습니다. 대역폭에 묶인 중앙처리장치(CPU)에서는 메모리 바운드 연산이 연산 바운드 쪽으로 옮겨 가면서 핵심 연산 조각, 곧 커널의 속도가 29.6배 빨라지고, 그래픽 처리 장치(GPU)에서는 이득이 거의 없었습니다. 초록은 이 두 값을 루프라인 분석의 결론으로 함께 적었습니다 (arXiv:2604.20913, 분석). 처음부터 끝까지 돌려서 잰 값은 따로 있습니다. 인텔 제온 한 장에서 처음부터 끝까지, 곧 종단간 초당 32.4개 낱말을 냈고, 숫자를 더 적은 비트로 줄여 담는 llama.cpp의 4비트 양자화 구현 대비 1.24배였습니다 (arXiv:2604.20913, 실측).

같은 기법이 한쪽에서만 통한다는 것은 두 기계의 병목이 서로 다른 곳에 있다는 뜻입니다. 2025년의 한 시뮬레이션 연구는 이 관계를 더 일반적으로 적습니다. 계산 장치의 동작 주파수를 높이면 문맥을 한꺼번에 읽어 들이는 단계의 지연은 줄지만, 낱말을 하나씩 만들어 내는 단계에서는 그 효과가 외부 메모리 대역폭에 의해 상한이 걸립니다. 저자들은 이것을 「대역폭이 성능의 천장으로 작동한다」고 표현했습니다 (arXiv:2512.22066, 시뮬레이션).

선을 늘리는 대신 구멍을 뚫었다

첫걸음 「계산보다 나르기가 느리다」의 말로 복도를 넓히는 방법은 원리적으로 둘입니다. 선 하나하나를 더 빠르게 만들거나, 선을 더 많이 까는 것입니다. 회로 기판 위에 선을 더 많이 깔면 소비 전력과 배선 혼잡이 함께 커집니다. 그래픽용 D램 여러 개를 동시에 붙이는 방식의 문제로 2016년 논문이 지목한 것이 이 둘이었습니다 (DOI: 10.1109/isscc.2016.7418034, 배경 진술).

그래서 나온 답이 메모리를 위로 쌓고 층과 층을 수직으로 꿰는 방식이었습니다. 첫걸음의 정의로 실리콘 관통 전극은 칩을 위아래로 꿰뚫어 낸 수직 구멍에 구리 같은 전도성 금속을 채워 만든 배선이고, 영어 약자로 TSV라고 부릅니다. 이 구조로 메모리와 프로세서를 잘 배치하면 칩 위의 데이터 통로가 크게 짧아진다는 것이 이 방식의 출발점입니다 (DOI: 10.1002/9781118760475.ch06, 리뷰).

칩을 옆에 붙이는 쪽에는 받침판이 따로 필요합니다. 인터포저는 여러 칩을 나란히 얹어 놓고 그 사이를 잇는 배선만 촘촘히 깔아 둔 얇은 판입니다. 칩끼리의 거리가 회로 기판을 돌아가는 것보다 훨씬 짧아집니다.

여기서 갈림길이 하나 생깁니다. 프로세서와 메모리 스택을 인터포저 위에 나란히 앉힐 수도 있고, 프로세서 위에 D램을 곧장 얹어 쌓을 수도 있습니다. 2016년의 한 신뢰성 연구가 이 둘을 나란히 놓고 비교했습니다. 위로 쌓는 쪽은 성능이 더 나오지만 더 높은 온도에서 동작해 수명이 짧았습니다. 옆에 앉히는 쪽은 프로세서와 메모리 사이 대역폭이 더 낮은 대신 열로 인한 열화가 적어 수명이 현저히 길었습니다. 저자들은 어느 한쪽을 고르는 대신, 3차원으로 쌓은 시스템을 더 낮은 전압과 주파수로 돌리면 신뢰성과 성능의 균형점에 닿을 수도 있다고 결론지었습니다 (DOI: 10.1109/irps.2016.7574618, 모델링·분석).

이 글이 인용한 HBM 소자·패키징 논문들이 한결같이 기술하는 구조는 옆에 앉히는 쪽입니다. 실리콘 인터포저 기술이 입출력 1024개를 가능하게 했다고 적은 소자 논문이 그렇고 (DOI: 10.1109/isscc19947.2020.9063110, 배경 진술), 인터포저 위에 연산 칩과 메모리 스택을 나란히 올린 시스템 보고도 그렇습니다 (DOI: 10.1109/ectc.2016.246, 실측·제작). 그 스택의 맨 아래에는 D램이 아닌 밑판 칩이 한 장 깔립니다. 2014년 논문은 이 밑판 칩이 하는 일을 넷으로 적었습니다. 입출력 단자에 걸리는 전기적 부하를 낮추고, 칩과 칩 사이 연결 실패를 고쳐 주고, 시험하기 쉽게 만들고, 신뢰성을 개선합니다 (DOI: 10.1109/isscc.2014.6757501, 설계 논거). 그 위에 쌓인 D램 조각들은 조각마다 독립된 대역폭을 갖고, 밑판과는 아주 촘촘한 간격의 마이크로범프로 이어집니다 (DOI: 10.1109/jssc.2014.2360379, 실측). 마이크로범프는 두 칩 사이에 끼워 넣는, 끝에 땜납을 씌운 아주 작은 금속 기둥입니다. 이 끼우개를 없애고 두 면을 직접 붙이는 길은 「사이에 아무것도 끼우지 않는다 — 두 면을 직접 붙이는 일이 공정의 중심이 되기까지」가 다룹니다.

실물의 크기는 이렇습니다. 2016년 플라스틱 계열의 유기 인터포저 위에 만든 한 시스템에서 HBM 스택 하나는 5.5 × 7.7 × 0.48 밀리미터였고, 그 안에 밑판 버퍼 다이 한 장과 D램 코어 다이 네 장이 들어 있었습니다. 다이는 웨이퍼에서 잘라 낸 칩 한 조각입니다. 같은 판 위의 주 연산 칩은 19.1 × 24 밀리미터였습니다 (DOI: 10.1109/ectc.2016.246, 실측·제작). 저자들이 실리콘 대신 유기 인터포저를 쓴 이유는 크기였습니다. 실리콘 인터포저는 노광 장비가 한 번에 찍는 넓이에 묶여 크기 상한이 있습니다. 노광은 회로 그림을 빛으로 비춰 실리콘 위에 옮기는 일이고(「노광 — 빛의 붓으로 회로를 그리는 법」), 한 번에 찍는 넓이의 이 천장을 레티클 한계라 부릅니다. 이 천장이 칩을 조각내 만들게 한 사정은 「하나로 만들지 않기로 했다 — 칩을 조각내 붙인 뒤 남은 계산서」가 다룹니다.

핀을 1024개 깔면 핀 하나는 느려도 된다

거리를 줄이면 에너지가 줄어듭니다. 배선이 짧아지면 배선에 원치 않게 딸려 오는 전기 그릇, 곧 기생 용량이 줄고, 그만큼 신호를 밀어내는 에너지가 줄어듭니다 (DOI: 10.5281/zenodo.17652880, 심사 전 공개 리뷰·설계 논의). 배선이 짧으면 그것을 구동하는 회로 자체를 작게 만들 수 있어서 배선 단계의 에너지 소모가 한 번 더 줄어듭니다 (DOI: 10.1115/1.4025531, 시뮬레이션·설계 연구).

선을 아주 많이 깔 수 있게 한 것은 실리콘 관통 전극·마이크로범프·실리콘 인터포저 같은 패키징 기술이었습니다. 2020년의 한 소자 논문은 이 기술들의 진보 덕분에 생긴 결과를 한 문장으로 요약했습니다. HBM은 통상적 D램보다 핀 하나의 속도는 더 낮으면서 대역폭은 훨씬 높습니다 (DOI: 10.1109/isscc19947.2020.9062977, 배경 진술).

숫자로 보면 이렇습니다. HBM3 규격은 핀 하나당 초당 6.4기가비트를 지원하고, 입출력 핀을 1024개 씁니다. 둘을 곱하고 비트를 바이트로 바꾸면 초당 819기가바이트입니다 (DOI: 10.1109/a-sscc58667.2023.10348011, 규격값). 이 숫자는 누가 잰 값이 아니라 규격서가 정해 둔 값입니다. 다음 절의 소자 논문 대역폭은 실제로 만들어 시험한 값이라, 이 819와 성격이 다릅니다.

채널을 쪼개는 방식으로도 폭을 벌었습니다. 채널은 메모리가 따로따로 데이터를 주고받는 독립된 통로입니다. 2016년 논문은 기존 채널 하나를 둘로 나눠 명령·주소 핀을 함께 쓰게 해서, HBM 하나가 채널 8개 대신 유사 채널 16개를 갖게 하는 방식을 제안했습니다 (DOI: 10.1109/isscc.2016.7418034, 설계·실측).

10년의 숫자들

아래는 소자 논문이 실제로 만들어 시험해 보고한 값을 시간순으로 놓은 것입니다. 앞 절의 규격값과 섞어 읽으면 안 됩니다.

• 2014년 — 8기가비트, 채널 8개, 1.2 V에서 초당 128기가바이트 (DOI: 10.1109/jssc.2014.2360379, 실측).
• 2016년 — 20 나노 공정, 1.2 V, 초당 307기가바이트. 이 논문이 스스로 밝힌 목표는 「초당 128기가바이트를 256기가바이트 이상으로 두 배 만들기」였고, 8단 스택과 16기가비트~64기가비트의 가변 용량을 같은 대역폭으로 지원하는 구조를 함께 내놓았습니다 (DOI: 10.1109/isscc.2016.7418034, 실측).
• 2018년 — 64기가비트, 1.2 V, 초당 341기가바이트. 나선형 점대점 실리콘 관통 전극 구조를 썼습니다 (DOI: 10.1109/isscc.2018.8310257, 실측).
• 2020년 — 128기가비트, 8단, 초당 512기가바이트 (DOI: 10.1109/isscc19947.2020.9062977, 실측). 비트 여덟 개가 바이트 하나라서 이 용량은 16기가바이트와 같습니다. 같은 해 16기가바이트, 1.1 V, 초당 640기가바이트(핀당 초당 5기가비트)도 보고됐습니다. 여기엔 데이터 버스 창 확장, 고속용 전원 공급망, 다이 내 오류 정정, 대용량 고속 시험 회로가 함께 들어갔습니다 (DOI: 10.1109/isscc19947.2020.9063110, 실측).
• 2022년 — 192기가비트, 12단, 1.0 V에서 초당 896기가바이트. 전력 효율이 최대 15% 개선됐다고 보고했지만, 초록에는 무엇 대비 15%인지가 적혀 있지 않습니다 (DOI: 10.1109/jssc.2022.3193354, 실측).
• 2024년 — 48기가바이트, 16단, 초당 1280기가바이트. 이 논문이 강조한 대목은 연결 단자(범프)의 배치, 채널과 입출력의 개수, 동작 전압을 앞 세대와 동일하게 유지해서 시스템을 고치지 않고도 갈아 끼울 수 있게 했다는 것입니다 (DOI: 10.1109/isscc49657.2024.10454440, 실측).

스택의 단수는 D램 장수를 셉니다. 2020년의 한 적층 기술 논문은 4단·8단·12단 구조를 실제로 만들어 보이면서, 각각이 밑판 다이 한 장에 D램 다이 4·8·12장을 얹은 것이라고 적었습니다 (DOI: 10.1109/ted.2020.3021358, 실측). 그래서 「16단」은 D램 열여섯 장이라는 뜻입니다.

2022년의 한 튜토리얼은 이 흐름을 이렇게 정리했습니다. 진보된 패키징 기술과 함께 HBM은 지난 10년간 확장 가능한 유일한 D램 대역폭 해법이었고, 초당 128기가바이트에서 출발해 800기가바이트 너머까지 왔다는 것입니다 (DOI: 10.1109/isscc42614.2022.11005811, 튜토리얼). 2017년의 개관 논문은 같은 기술을 초당 256기가바이트를 넘기면서 전력 소비도 줄이는 해법으로 소개하면서, 신뢰성·방열 능력·허용 가능한 최대 패키지 크기·높은 처리량의 적층을 함께 풀어야 할 과제로 적었습니다 (DOI: 10.1109/imw.2017.7939084, 개관).

이 숫자들에는 단서가 하나 붙습니다. 2020년의 한 논문은 당시 업계 추세를 「속도는 해마다 15~20% 개선되고 용량은 2년마다 1.5~2배가 된다」고 적었습니다 (DOI: 10.1109/isscc19947.2020.9063110, 배경 진술). 이것은 그 논문이 관찰한 추세이고, 물리 법칙도 측정 결과도 아닙니다. 같은 논문이 적은 「HBM2는 8단 8기가바이트에 초당 341기가바이트」라는 값도 다른 논문의 결과를 인용 번호를 붙여 끌어온 것입니다.

청구서 ① 쌓으면 열이 갇힌다

쌓는 일에는 청구서가 따라옵니다. 첫걸음은 이 청구서를 열·비용·용량으로 간추렸고, 여기서는 열·전압·자리마다 다른 신뢰성·용량 넷을 논문의 숫자로 따라갑니다. 첫 번째는 열이고, 이 문제는 처음부터 알려져 있었습니다. 실리콘 관통 전극으로 3차원 적층을 하면 방열·기계적 응력·열 응력이 따라온다는 것은 이 기술을 소개하는 문헌이 도전 과제로 나열하는 항목입니다 (DOI: 10.1002/9781118760475.ch06, 리뷰). 2013년의 한 시뮬레이션 연구는 프로세서와 D램을 3차원으로 쌓은 구조가 열저항, 곧 열이 밖으로 빠져나가기 어려운 정도가 높아서, 열 관리가 부실하면 소자 신뢰성을 위협한다고 적고 경고와 함께 처방을 내놓았습니다. 코어 배치를 다시 짜고, 미세 유로로 냉각하고, 열을 빼는 용도의 실리콘 관통 전극을 따로 넣어 내부 열저항을 낮추는 것입니다 (DOI: 10.1115/1.4025531, 시뮬레이션·설계 연구).

소자 논문 안에서도 이 문제는 대역폭과 한 묶음으로 나옵니다. 대역폭이 늘면 전력 소비가 좁은 자리에 몰려 국소적으로 뜨거운 지점이 생기므로, 능동적인 열 대책이 필요합니다 (DOI: 10.1109/isscc.2016.7418034, 설계·실측). 같은 2016년 논문은 해법으로 온도 분포를 고려해 리프레시 주기를 바꾸는 방식을 제안했습니다. 「차세대 메모리 — D램의 벽과 '꿈의 메모리'를 향한 경쟁」의 정의로 리프레시는 D램이 값을 잃지 않으려고 저장한 내용을 주기적으로 읽어 다시 채워 넣는 동작입니다. D램은 뜨거울수록 담아 둔 값을 더 빨리 잃습니다.

열을 낮추는 쪽의 연구도 있습니다. 2025년의 한 시뮬레이션 연구는 실리콘 대신, 전기는 통하지 않고 열은 잘 통하는 육방정 질화붕소로 인터포저를 만들면 뜨거운 지점의 온도가 실리콘 인터포저 대비 섭씨 20도 낮아진다고 계산했습니다. 저자들은 그 정도 개선이면 칩의 누설 전력을 22% 줄일 수 있을 것이라고 덧붙였습니다 (arXiv:2510.11461, 시뮬레이션). 누설 전력은 트랜지스터가 꺼진 상태에서도 새어 나가는 전류로 잃는 전력입니다(「트랜지스터는 스위치다 — 전기로 여닫는 아주 작은 수도꼭지」). 조건절이 붙은 추정이고, 측정값이 아닙니다.

열을 미리 예측하려는 시도도 있습니다. 2025년의 한 연구는 구조를 잘게 쪼개 열의 흐름을 계산하는 시뮬레이션, 곧 유한요소 해석으로 1만 3494가지 조건 조합의 결과를 만들어 신경망에 학습시켰습니다. 그렇게 만든 대리 모형은 느린 시뮬레이션을 다시 돌리지 않고, 3차원 HBM 구조에서 회로가 실제로 겪는 접합부 온도와 가장 뜨거운 지점의 위치를 빠르게 추정합니다 (arXiv:2503.04049, 모형).

쌓는 순간 열이라는 청구서가 함께 옵니다. 층에 갇힌 열과 열저항, 뜨거운 지점(핫스팟)을 로직 칩 쪽에서 어떻게 다루는지는 「전기를 뒤로 돌렸더니 열이 갇혔다 — 트랜지스터 밑 실리콘을 갈아 없애고 받은 청구서」가 이어 갑니다.

청구서 ② 쌓으면 전압이 흔들린다

2020년의 소자 논문은 3차원 적층 구조가 만들어 내는 문제를 먼저 두 가지로 적었습니다. 실리콘 관통 전극의 연결 실패, 그리고 전원 공급망에서 생기는 전압 강하가 층층이 누적되는 현상입니다. 전압 강하는 전기가 저항이 있는 선을 지나며 힘을 잃어 출발할 때보다 낮은 전압으로 도착하는 것이고, 이 현상 자체는 로직 칩 전력망 쪽 이야기로 「전기를 뒤로 돌렸더니 열이 갇혔다」가 자세히 다룹니다. 저자들은 이 둘이 HBM의 총비용을 올린다고 적었습니다. 초록은 여기서 끝나지 않습니다. 저자들은 「게다가」를 붙여, 대역폭이 늘면 D램 구조상의 과제가 함께 생기고 소비 전력과 그에 딸린 열 문제도 커진다고 이었습니다 (DOI: 10.1109/isscc19947.2020.9062977, 배경·문제 진술). 목록은 둘로 닫혀 있지 않습니다.

전압이 흔들리면 무슨 일이 생기는지는 2023년의 전원 회로 논문이 자세히 적어 두었습니다. 밑판 다이에는 공간이 부족해서, HBM은 위에 쌓인 D램 코어 다이 안의 셀 커패시터를 실리콘 관통 전극 건너편의 잡음 완충 장치로 끌어다 씁니다. 셀 커패시터는 D램이 값을 담아 두는 작은 전기 그릇입니다. 그런데 코어 다이를 쌓을수록 그 경로의 저항, 곧 등가 직렬 저항이 커집니다. 저항이 커지면 완충 효과가 떨어져 전원 잡음이 늘어납니다. 그 잡음은 박자 신호를 나눠 주는 클록 회로에서 신호의 흔들림으로 나타나, 신호를 제때 읽을 시간 여유를 깎습니다 (DOI: 10.1109/a-sscc58667.2023.10348011, 설계·문제 분석). 이 논문은 문제를 진술하는 데서 멈추지 않습니다. 제목부터 HBM3용 고속 전압 조정기, 곧 흔들리는 전원을 받아 일정한 전압을 내주는 회로이고, 저자들이 내놓은 것은 D램 구조의 여러 동작 모드를 감당하도록 능동 인덕터와 자기적응 바이어스와 2단 기법을 쓴 소형 초고속 조정기입니다 (DOI: 10.1109/a-sscc58667.2023.10348011, 설계·제안).

전압에 얼마나 여유가 있는지는 실제 칩으로 잰 결과가 있습니다. 2021년, 한 연구진이 실제 HBM 칩을 정상보다 낮은 전압에서 돌려 봤습니다. 제조사는 어떤 환경에서도 바르게 동작하도록 전압에 안전 여유를 남겨 둡니다. 자기들이 시험한 칩에서 그 여유는 제조사가 정한 기준 전압, 곧 공칭 전압의 19%였습니다. 그 여유 안에서 전압을 낮추면 대역폭 사용률과 무관하게 전력 소비가 1.5배 줄었습니다. 거기서 11%를 더 낮추면 총 2.3배까지 줄었지만, 그 대가로 원치 않는 비트 뒤집힘이 나타났습니다 (DOI: 10.23919/date51398.2021.9474024, 실측).

「자기들이 시험한 칩에서」라는 단서를 지우면 이 문장은 모든 HBM에 대한 주장이 됩니다. 저자들은 그렇게 쓰지 않았습니다. 저자들은 낮춘 전압에서 생긴 비트 뒤집힘의 빈도와 종류를 특성화해 결함 지도를 내놓았고, 이 지도로 전력과 용량과 오류율 사이의 삼자 맞바꿈이 가능해진다고 적었습니다 (DOI: 10.23919/date51398.2021.9474024, 실측).

청구서 ③ 같은 부품인데 자리마다 다르다

세 번째는 쌓아 올린 구조에서 드러난, 조금 낯선 종류의 문제입니다.

「차세대 메모리」가 정의한 두 현상이 여기서 다시 나옵니다. 로우해머는 D램의 한 줄을 반복해서 열고 닫으면 물리적으로 가까운 옆줄의 비트가 멋대로 뒤집히는 현상이고, 로우프레스는 한 줄을 오래 열어 두기만 해도 옆줄이 교란되어 비트가 뒤집히는 현상입니다. 둘 다 원래 평면 D램에서 알려진 문제이고, 둘을 묶어 읽기 교란(read disturbance)이라고 부릅니다.

2024년, 한 연구진이 실제 HBM2 칩 여섯 개를 서로 다른 두 종류의 FPGA 보드에 꽂고 이 현상을 자세히 특성화했습니다. 결과에서 눈에 띄는 것은 편차였습니다. 취약성이 칩마다 크게 달랐을 뿐 아니라, 한 칩 안에서도 수직으로 쌓인 채널마다 크게 달랐습니다. D램 안의 셀 묶음인 뱅크의 끝과 가운데에 있는 줄이 더 잘 버텼습니다. 시험한 HBM2 칩에는 문서에 없는 방어 기제가 들어가 있어, 여러 번 활성화된 줄을 추적하고 있었습니다 (DOI: 10.1109/dsn58291.2024.00022, 실측).

같은 연구 라인의 앞선 보고는 그 편차를 숫자로 적었습니다. HBM2 칩 한 개 안에서 수직으로 쌓인 채널들 사이의 비트 오류율이 최대 79%까지 차이 났습니다 (arXiv:2305.17918, 실측).

같은 제품 안에서도 수직으로 쌓인 채널마다 성질이 크게 다릅니다. 설계 쪽에서 보면 이것은 부담일 수 있습니다. 채널마다 성질이 크게 다르면 여유를 가장 약한 채널에 맞춰야 할 수 있기 때문입니다. 이것은 이 글의 해석입니다.

다만 이 두 연구의 목적은 읽기 교란을 이용한 공격과 그 방어를 이해하는 것이었습니다. 신뢰성 여유를 어떻게 잡을지는 그 연구들의 질문이 아니었고, 저자들은 자기 발견이 더 강력한 공격과 더 효율적인 방어를 만드는 데 쓰일 수 있다고 적었습니다 (DOI: 10.1109/dsn58291.2024.00022, 실측). 채널마다 성질이 다르다는 사실을 이 글은 설계의 문제로 읽었고, 원 논문은 보안의 문제로 읽었습니다.

청구서 ④ 용량과 대역폭은 같이 크지 않는다

네 번째 청구서는 용량입니다. 이 방식은 대역폭을 벌어 주는 대신 용량을 제한합니다.

2018년의 한 연구는 이 점을 정면으로 다뤘습니다. 패키지 안에 3차원으로 쌓아 넣은 메모리는 접근 에너지는 낮고 대역폭은 크지만 용량이 제한적입니다. 저자들은 D램 다이를 더 많이 쌓아 스택을 더 높이는 길의 과제들을 살폈고, 결론의 마지막 두 문장을 이렇게 맺었습니다. 더 높은 스택은 용량을 늘리는 흥미로운 접근일 수 있지만, 대역폭을 함께 키우면서 고용량 스택을 가능하게 하려면 더 많은 연구가 필요합니다. 그 열쇠가 될 수 있는 후보로는 다른 방식의 접합·적층 기술을 지목했습니다 (DOI: 10.1145/3286475.3286484, 분석·전망). 다른 방식으로 붙이는 길은 「사이에 아무것도 끼우지 않는다」가 이어 갑니다.

용량 제한이 실제로 어떻게 나타나는지는 2018년의 한 실측 연구가 보여 줍니다. 출발점은 당시 최신 HBM 탑재 GPU의 패키지 안 메모리 용량이 4기가바이트뿐이라는 점이었습니다. 저자들은 신경망 학습을 소프트웨어 파이프라인으로 쪼개, 곧 일을 여러 단계로 나눠 차례로 흘려 이 제약을 우회했습니다. 그 결과 시장에 나와 있는 최고 성능 GPU 대비 1.63배 빨랐습니다. 그래프를 가까운 곳부터 차례로 훑는 너비 우선 탐색에서는 두 가지 기법을 함께 써서 통상적 구현 대비 최대 24.5배(각각 9.8배와 2.5배)를 얻었습니다 (DOI: 10.1109/tvlsi.2018.2791442, 실측). 앞의 배수는 시장의 GPU 대비이고 뒤의 배수는 통상적 구현 대비라, 두 배수는 비교 대상이 서로 다릅니다.

용량과 대역폭 사이에서 아예 방향을 정하자는 제안도 있습니다. 2026년의 한 구조 연구는 용량을 깎아 에너지와 비용을 얻는 형태의 고대역폭 메모리를 설계 요소로 삼고, 대역폭을 먼저 배분하는 칩렛 구조를 함께 제안했습니다. 칩렛은 칩을 여러 조각으로 따로 만들어 한 패키지 안에서 이어 붙이는 방식의 조각이고, 그 뜻과 값은 「하나로 만들지 않기로 했다」가 다룹니다. 모의실험 결과 특정 대형 모델에서, 같은 발열 한도(열설계전력) 조건의 기존 최상위 GPU 시스템 대비 최대 45.3배 낮은 지연과 18.6배 높은 처리량을 냈다고 보고했습니다 (arXiv:2602.18568, 시뮬레이션). 실제로 만든 소자가 아니라 모의실험 값입니다.

비용도 있습니다. 2016년의 한 패키징 논문에 따르면 인터포저를 쓰는 방식의 채택이 느렸던 주된 원인으로 높은 소유 비용이 꼽혀 왔습니다. 저자들은 그 배경으로, 표준이 없어 공정 선택지가 여럿으로 갈렸고 각 선택지가 규모의 경제에 닿지 못한 점을 들었습니다. 그리고 네 가지 공정 선택지를 4년간 다뤄 본 끝에 하나를 기준 공정으로 삼자고 제안했고, 그 방식이 개발 중인 더 경제적인 TSV 없는 패키징 플랫폼으로도 확장된다고 봤습니다 (DOI: 10.1109/ectc.2016.148, 공정 개발 결론). 2017년의 개관 논문은 시험 기술과 시험 가능성을 별도 항목으로 두고, 검증을 마친 스택 낱개와 여러 칩을 한 패키지에 담은 2.5D 시스템인패키지를 대상으로 그것을 논의합니다 (DOI: 10.1109/imw.2017.7939084, 개관). 이 구조에서는 무엇을 어떻게 시험할 것인가가 따로 한 장을 차지한다는 뜻입니다.

무엇이 대역폭에 목마른가 — 키-값 캐시

여기까지가 하드웨어 쪽 이야기입니다. 이 기술에 쏠린 수요의 이유는 소프트웨어 쪽에 있습니다. 2024년 소자 논문은 첫머리에서, 막대한 수의 모델 매개변수가 필요한 대형 언어모델과 생성형 인공지능이 등장하면서 고성능 시스템에 필요한 메모리 대역폭과 용량이 전례 없이 늘고 있다고 적었습니다 (DOI: 10.1109/isscc49657.2024.10454440, 배경 진술).

키-값 캐시(key-value cache, KV cache)는 언어모델이 지금까지 읽은 낱말마다 계산해 둔 중간 결과를, 다음 낱말을 만들 때 다시 쓰려고 쌓아 두는 저장 공간입니다. 이름에 캐시가 붙었지만 첫걸음이 말한 프로세서 곁의 작은 캐시와는 다르고, GPU의 메모리를 차지합니다 (arXiv:2512.11920, 제안·평가). 대화가 길어질수록 이 저장 공간은 계속 커지고, 새 낱말을 하나 만들 때마다 그 전체를 다시 읽어야 합니다. 저장 공간이 커질수록 메모리에서 실어 올 양이 늘어납니다.

앞서 인용한 2026년 리뷰의 진단이 이 지점에 닿습니다. 낱말을 하나씩 만들어 내는 단계가 대역폭에 묶이고, 이 캐시가 모델 가중치에 맞먹는 크기까지 커질 수 있으며, 에너지는 데이터 이동이 지배합니다 (arXiv:2608.28048, 프리프린트 리뷰).

같은 해의 다른 분석은 이것을 두 지표로 나눠 봅니다. 바이트당 연산량과, 얼마나 많은 용량을 차지하는지를 함께 보면 고전적인 루프라인 모형이 놓치는 국면이 설명된다는 것입니다. 저자들은 대화·코딩·웹 사용 같은 작업에 따라 이 두 값이 크게 달라진다고 적었고, 긴 문맥의 키-값 캐시가 낱말 생성 단계를 강하게 메모리 바운드로 만든다고 결론지었습니다 (arXiv:2601.22001, 분석).

여러 낱말을 미리 뽑아 두고 한꺼번에 확인하는 가속 기법에서도 같은 벽이 나옵니다. 확인 단계는 모델 전체를 한 번 통과시켜야 하므로 엄격히 대역폭에 묶입니다. 2026년의 한 연구는 이 점에서 출발해 확인 단계에만 낮은 비트 정밀도를 써서 메모리 트래픽을 사실상 절반으로 줄였고, 종단간 처리량이 1.28배 개선됐다고 보고했습니다 (arXiv:2603.01399, 실험).

캐시를 다른 장치로 덜어 내는 시도도 있습니다. 2025년의 한 제안은 이 캐시를 별도 가속기 쪽 메모리로 옮기고 압축·해제 회로를 붙여 메모리 대역폭 요구를 최대 4배 낮췄고, GPU만 쓰는 기준 대비 최대 3.2배 처리량을 냈다고 보고했습니다 (arXiv:2512.11920, 제안·평가).

대역폭을 주면 병목이 옮겨 간다

대역폭이 넉넉해지면 병목은 자리를 옮깁니다. 2026년의 한 연구는 3차원으로 쌓은 메모리 바로 곁에서 낱말 생성을 처리하는 구조를 분석하다가 이 결론에 닿았습니다. 그런 구조가 주는 대역폭 이점이 많은 연산을 다시 연산 바운드 영역으로 되돌린다는 것입니다 (arXiv:2604.04253, 분석·시뮬레이션 — 프리프린트). 메모리 곁이나 안에서 계산하는 방식은 「나르지 말고 그 자리에서 하자 — 메모리에 계산을 시켰더니 질문이 여섯 개 남았다」가 다룹니다.

병목이 옮겨 가는 자리는 하나가 아닙니다. 2018년, 한 연구진이 HBM과는 다른 방식의 3차원 적층 메모리인 하이브리드 메모리 큐브의 한 시제품을 가속기 보드에 꽂아 접근 지연과 대역폭을 특성화했습니다. 저자들의 목적은 성능 순위를 매기는 데 있지 않았고, 그 거동이 시스템과 소프트웨어 설계에 무엇을 뜻하는지를 조사하는 데 있었습니다. 결과는 대역폭 숫자 하나로 성능이 정해지지 않는다는 것이었습니다. 스택 안의 구성 요소들을 잇는 내부 통신망의 성질, 데이터를 꾸러미로 주고받는 패킷 기반 규약, 내부 대기열의 특성, 트래픽 조건이 응용 프로그램의 성능에 함께 영향을 줍니다 (DOI: 10.1109/ispass.2018.00018, 실측·특성화).

2026년의 한 전망 논문은 언어모델 추론의 주된 과제를 계산보다 메모리와 연결로 규정하고 네 갈래의 연구 기회를 꼽았습니다. HBM에 준하는 대역폭을 유지하면서 용량을 10배로 늘린 고대역폭 플래시, 메모리 가까이에서 처리하는 방식, 메모리와 로직의 3차원 적층, 그리고 지연이 낮은 연결입니다 (arXiv:2601.05047, 전망·리뷰). 플래시는 전원을 꺼도 내용이 남는 메모리입니다.

다음 세대 앞의 갈림길 — 표준이냐 맞춤이냐

2025년의 한 설계 논의는 다음 세대 HBM을 놓고, 표준 규격을 그대로 쓰는 길과 시스템에 맞춰 고쳐 쓰는 길을 나란히 비교합니다. 표준 쪽은 검증된 신뢰성, 공급망 접근성, 빠른 통합 일정, 예측 가능한 비용 구조를 줍니다. 고쳐 쓰는 쪽은 성능 차별화를 주는 대신 개발 복잡도가 크게 올라가고 일정이 길어지며 초기 개발 비용이 늘어납니다 (DOI: 10.5281/zenodo.17652880, 심사 전 공개 리뷰·설계 논의).

같은 문헌이 나열하는 통합 과제는 이 글이 세어 온 청구서와 겹칩니다. 패키지 기판 공동 설계, 순간 전류를 감당할 전원 공급망, 수직 적층 구조의 열전도, 설계 여유가 거의 없는 상태의 신호·전원 무결성 검증, 시험과 검증 절차 전반입니다. 같은 자리에서 이 문헌은 실리콘 관통 전극이 기존 방식을 넘는 수직 배선 밀도를 가능하게 하는 대신, 기계적 응력과 주변에 아무것도 놓을 수 없는 금지 구역을 함께 가져온다고 적습니다.

앞서 인용한 2026년 리뷰는 조사를 요약하며 이 글의 제목과 같은 말을 남겼습니다. 대형 언어모델에서는 메모리 시스템이 곧 컴퓨터가 됐다는 것입니다. 같은 저자들은 어느 구조도 모든 작업에서 최적은 아니라고 적었습니다. 메모리 안에서 계산하는 방식은 이 벽에 대한 가장 유망한 단기 대응으로 여러 종류의 칩을 섞어 쓰는 시스템에 보완재로 들어가는 중이고, 뇌의 신경 구조를 흉내 낸 뉴로모픽 칩과 빛으로 계산하는 광 컴퓨팅은 아직 최전선 규모의 양산 준비가 되어 있지 않다고 봤습니다 (arXiv:2608.28048, 프리프린트 리뷰). 모두 그 리뷰가 쓰인 시점의 판단입니다.

핀의 개수는 그대로, 핀 하나가 빨라졌다

2014년의 128과 2024년의 1280 사이에서 바뀐 것은 하나가 아닙니다. 1024개를 깔 수 있게 만든 것이 인터포저와 적층 같은 패키징 기술이었고, 그 1024개 위에서 핀 하나를 계속 빠르게 만든 것이 회로였습니다.

핀의 개수부터 보면, 2020년 논문은 2.5D 인터포저 기술이 입출력 1024개를 가능하게 했다고 적었고 (DOI: 10.1109/isscc19947.2020.9063110, 배경 진술), HBM3 규격의 입출력 핀도 1024개입니다 (DOI: 10.1109/a-sscc58667.2023.10348011, 규격값). 2024년 논문은 채널과 입출력의 개수가 앞 세대와 동일하다고 적습니다 (DOI: 10.1109/isscc49657.2024.10454440, 실측). 이 구간에서 핀의 개수는 늘지 않고 그대로였습니다.

움직인 것은 핀 하나의 속도입니다. 2020년 논문이 다른 논문에서 끌어와 배경으로 적은 앞 세대 값은 핀당 초당 2.7기가비트였고 (DOI: 10.1109/isscc19947.2020.9063110, 배경 진술), 그 논문이 스스로 보고한 값은 핀당 초당 5기가비트였습니다 (DOI: 10.1109/isscc19947.2020.9063110, 실측). HBM3 규격은 핀당 초당 6.4기가비트입니다 (DOI: 10.1109/a-sscc58667.2023.10348011, 규격값). 앞의 둘은 소자가 낸 값이고 마지막 하나는 규격서가 정해 둔 값이라, 이 셋도 같은 자로 잰 값이 아닙니다. 앞에서 인용한 그 논문이 적어 둔 업계 추세가 바로 「속도는 해마다 15~20% 개선된다」였습니다.

트랜지스터를 만드는 공정도 그대로 있지 않았습니다. 공정 세대에 붙이는 이름인 노드(「「3나노」는 무엇의 길이인가 — 34평형 집을 줄자로 재면」)로 보면, 이 글이 적은 것만 해도 2014년 소자가 29 나노 공정이고 (DOI: 10.1109/isscc.2014.6757501, 실측), 2016년 소자는 20 나노 공정이며 (DOI: 10.1109/isscc.2016.7418034, 실측), 2020년의 16기가바이트 소자는 10 나노급 공정의 2세대에서 안정된 셀 동작을 확보했다고 보고했습니다 (DOI: 10.1109/isscc19947.2020.9063110, 실측). 미세화가 어려워진 자리에서 시작한 이야기이지만, 이 기술 안에서 공정은 계속 움직였습니다.

그러니 이 이야기는 「쌓으면 빨라진다」 한 줄로도, 「트랜지스터를 그대로 두고도 된다」 한 줄로도 요약되지 않습니다. 쌓고 옆에 붙이는 패키징 기술이 1024개의 선을 가능하게 했고, 그 위에서 회로와 공정이 각자의 몫을 계속 했습니다. 그리고 쌓는 순간 열이 갇히고, 전압이 층마다 흔들리고, 같은 제품 안에서도 자리에 따라 성질이 달라지고, 대역폭을 벌면 용량이 묶입니다. 그 넷과 씨름해 온 10년, 그리고 아직 다 갚지 못한 몫이 이 기술의 실제 내용입니다.

그 청구서를 갚는 길은 이 시리즈의 형제편들이 이어 갑니다. 층과 층을 끼우개 없이 직접 붙이는 길은 「사이에 아무것도 끼우지 않는다」, 칩을 조각내 붙이는 길은 「하나로 만들지 않기로 했다」, 바닥을 유리로 바꾸고 빛을 칩 옆에 앉히는 길은 「판이 휘면 그 위는 소용없다 — 바닥을 유리로 바꾸고 빛을 칩 옆에 앉힌 값」, 갇힌 열과 전압 강하는 「전기를 뒤로 돌렸더니 열이 갇혔다」, 계산을 아예 메모리 쪽으로 옮기는 길은 「나르지 말고 그 자리에서 하자」가 다룹니다.

근거 논문

• "8Gb 8채널 128GB/s HBM 적층 D램" (2014) — DOI: 10.1109/jssc.2014.2360379 — 1.2 V에서 128 GB/s 실측, 조각별 독립 대역폭.
• "29nm 공정과 TSV를 쓴 8Gb HBM 적층 D램" (2014) — DOI: 10.1109/isscc.2014.6757501 — 밑판 로직 다이의 네 역할.
• "TSV를 이용한 RAM-프로세서 칩의 3차원 적층" (2014) — DOI: 10.1002/9781118760475.ch06 — TSV 정의, 방열·응력 과제.
• "20nm 307GB/s HBM D램과 적응형 리프레시" (2016) — DOI: 10.1109/isscc.2016.7418034 — 유사 채널 16개, 대역폭이 부르는 핫스팟.
• "2.5D와 3D 적층 D램의 신뢰성-성능 맞바꿈" (2016) — DOI: 10.1109/irps.2016.7574618 — 3D는 성능↑·수명↓, 저전압·저주파가 균형점일 수도.
• "유기 인터포저 3D SiP" (2016) — DOI: 10.1109/ectc.2016.246 — HBM 스택 5.5×7.7×0.48 mm, 리티클 한계 우회.
• "TSV 인터포저 다이 적층 방식 비교" (2016) — DOI: 10.1109/ectc.2016.148 — 높은 소유 비용·표준 부재, 기준 공정 제안.
• "HBM D램 기술과 아키텍처" (2017) — DOI: 10.1109/imw.2017.7939084 — 256 GB/s 초과와 저전력, 시험 기술은 별도 항목.
• "1.2V 64Gb 341GB/s HBM2 적층 D램" (2018) — DOI: 10.1109/isscc.2018.8310257 — 나선형 점대점 TSV. 50 GB/s 벽은 배경 진술.
• "HBM 탑재 GPU의 데이터 집약 응용 최적화" (2018) — DOI: 10.1109/tvlsi.2018.2791442 — 4 GB 제약, 1.63배·24.5배(분모 서로 다름).
• "3차원 적층 메모리의 내부 통신망 영향" (2018) — DOI: 10.1109/ispass.2018.00018 — 시제품 특성화, 대역폭만으론 성능이 안 정해진다.
• "고용량 D램 스택의 과제와 방향" (2018) — DOI: 10.1145/3286475.3286484 — 용량 제한, 다른 접합·적층 기술이 열쇠.
• "12·16단 HBM용 저온 SoIC 접합·적층" (2020) — DOI: 10.1109/ted.2020.3021358 — 4·8·12단 제작(밑판 1 + 코어 N).
• "128Gb 8단 512GB/s HBM2E D램" (2020) — DOI: 10.1109/isscc19947.2020.9062977 — 낮은 핀 속도로 더 높은 대역폭, TSV 실패·IR 누적이 비용을 올린다.
• "1.1V 16GB 640GB/s HBM2E D램" (2020) — DOI: 10.1109/isscc19947.2020.9063110 — 핀당 5 Gb/s, 10nm급 2세대. 업계 추세는 배경 진술.
• "저전압 구동에서 본 HBM의 전력과 신뢰성" (2021) — DOI: 10.23919/date51398.2021.9474024 — 시험한 칩에서 가드밴드 19%·1.5배·2.3배와 비트 뒤집힘.
• "192Gb 12단 896GB/s HBM3 D램" (2022) — DOI: 10.1109/jssc.2022.3193354 — 1.0 V 실측, 전력 효율 최대 15%(분모 미기재).
• "TSV 자동 보정을 쓴 HBM3" (2022) — DOI: 10.1109/isscc42614.2022.9731562 — 메모리 벽 해법으로 꼽혀 왔다는 배경 진술.
• "튜토리얼: HBM D램과 3차원 적층 메모리" (2022) — DOI: 10.1109/isscc42614.2022.11005811 — 10년간 유일한 확장 가능 해법, 128→800 GB/s 너머.
• "HBM3용 고속 LDO" (2023) — DOI: 10.1109/a-sscc58667.2023.10348011 — 규격 6.4 Gbps×1024핀=819 GB/s, ESR 증가가 부르는 잡음과 그 해법.
• "HBM2 칩의 읽기 교란 실험 연구" (2024) — DOI: 10.1109/dsn58291.2024.00022 — 실제 칩 6개, 채널 간 편차. 목적은 공격·방어 이해.
• "48GB 16단 1280GB/s HBM3E D램" (2024) — DOI: 10.1109/isscc49657.2024.10454440 — 채널·입출력 개수와 전압을 유지해 후방 호환.
• "3차원 적층 쿼드코어의 열 문제 해결" (2013) — DOI: 10.1115/1.4025531 — 짧은 배선의 이득과 높은 열 저항, 배치·미세유로·열 TSV가 처방.
• "표준 HBM4 대 커스텀 HBM4" (2025) — DOI: 10.5281/zenodo.17652880 (심사 전 공개) — 통합 과제 목록, TSV의 응력과 금지 구역.
• "LLM용 AI 가속기와 메모리 벽" (2026) — arXiv:2608.28048 (프리프린트) — 결정적 제약은 산술이 아니라 메모리. 어느 구조도 만능은 아님.
• "LLM 추론 조사와 루프라인 모형" (2024) — arXiv:2402.16363 (프리프린트) — 왜 언어모델이 메모리에 묶이는지의 공통 분석틀.
• "프리필 대 디코드 병목" (2025) — arXiv:2512.22066 (프리프린트) — 주파수를 올려도 생성 단계는 외부 대역폭이 상한.
• "임베디드 FPGA에서 대역폭·용량 이용의 한계" (2025) — arXiv:2502.10659 (프리프린트) — 용량 93.3%, 이론 대역폭 한계의 85% 실측.
• "융합 삼진 커널로 CPU에서 곱셈 없는 LLM 추론" (2026) — arXiv:2604.20913 (프리프린트) — 커널 29.6배(루프라인 분석과 함께 적은 값), 실측 종단간 1.24배.
• "3차원 HBM 칩렛의 접합부 온도 대리 모형" (2025) — arXiv:2503.04049 (프리프린트) — 유한요소 데이터 1만 3494조합 학습.
• "질화붕소 인터포저 3D 열 해석" (2025) — arXiv:2510.11461 (프리프린트) — 시뮬레이션, 실리콘 대비 고온 지점 20 °C 감소.
• "HBM2 칩의 로우해머 실험 분석" (2023) — arXiv:2305.17918 (프리프린트) — 채널 간 비트 오류율 최대 79% 차이.
• "추론 처리 장치" (2026) — arXiv:2602.18568 (프리프린트) — 용량을 깎아 에너지·비용을 얻는 메모리, 모의실험 최대 45.3배.
• "AI 에이전트 추론을 위한 이종 컴퓨팅" (2026) — arXiv:2601.22001 (프리프린트) — 긴 문맥 캐시가 생성 단계를 메모리 바운드로.
• "양자화 자기추측 가속" (2026) — arXiv:2603.01399 (프리프린트) — 검증 단계가 엄격히 대역폭 바운드, 종단간 1.28배.
• "분산 FPGA 추측 키-값 캐시" (2025) — arXiv:2512.11920 (프리프린트) — 대역폭 요구 최대 4배 감소, GPU 단독 대비 3.2배.
• "3차원 근접 메모리 디코딩의 연산 기판 재고" (2026) — arXiv:2604.04253 (프리프린트) — 대역폭 이점이 많은 연산을 다시 연산 바운드로.
• "LLM 추론 하드웨어의 과제와 연구 방향" (2026) — arXiv:2601.05047 (프리프린트) — 과제는 계산이 아니라 메모리와 연결.