HBM(고대역폭 메모리)은 3D 적층형 동기식 동적 랜덤 액세스 메모리(SDRAM)를 위한 컴퓨터 메모리 인터페이스로, 삼성, AMD, SK하이닉스가 초기에 개발했다. 이는 성능 지향 그래픽 가속기, 네트워크 장치, FPGA, ASIC과 함께 자주 사용되며, 일부 CPU는 NEC SX-Aurora TSUBASA와 후지쯔 A64FX와 같이 온패키지 캐시 또는 RAM으로 HBM을 활용한다. 최초의 HBM 메모리 칩은 2013년 SK하이닉스가 생산했으며, HBM을 탑재한 최초의 기기는 2015년 AMD의 파지(Fiji) GPU였다.
HBM은 2013년 10월 JEDEC에 의해 산업 표준으로 채택되었다. 2세대인 HBM2는 2016년 1월 JEDEC에 의해 승인되었다. JEDEC은 2022년 1월 27일 HBM3 표준을 공식 발표했고, 2025년 4월 HBM4 표준을 발표했다. 2025년 현재 세계 최대 HBM 제조업체로는 SK하이닉스, 삼성전자, 마이크론 테크놀로지가 있다. TSMC는 HBM용 베이스 다이를 생산하며 2026년 여러 HBM 기업의 파운드리가 될 예정이다.
기술
HBM은 DDR4 또는 GDDR5보다 더 높은 대역폭을 달성하면서도 전력을 덜 사용하고, 훨씬 더 작은 폼 팩터를 제공한다. 이는 최대 32개의 DRAM 다이와 버퍼 회로 및 테스트 로직을 포함할 수 있는 선택적 베이스 다이를 적층함으로써 달성된다. 스택은 실리콘 인터포저와 같은 기판을 통해 GPU 또는 CPU의 메모리 컨트롤러에 연결되는 경우가 많다. 대안적으로, 메모리 다이는 CPU 또는 GPU 칩에 직접 적층될 수 있다. 스택 내에서 다이는 실리콘 관통 비아(TSV)와 마이크로 범프로 수직 연결된다. HBM 기술은 원리적으로 마이크론 테크놀로지가 개발한 하이브리드 메모리 큐브(HMC) 인터페이스와 유사하지만 호환되지는 않는다.
HBM 메모리 버스는 DDR4나 GDDR5 같은 다른 DRAM 메모리에 비해 매우 넓다. 4개의 DRAM 다이(4-Hi)로 구성된 HBM1 스택은 다이당 2개의 128비트 채널을 가지며, 총 8개 채널과 총 1024비트 폭을 제공한다. 따라서 4개의 4-Hi HBM 스택을 가진 그래픽 카드나 GPU는 4096비트 폭의 메모리 버스를 갖게 된다. 비교하자면, GDDR 메모리의 버스 폭은 32비트이며, 512비트 메모리 인터페이스를 가진 그래픽 카드의 경우 16개 채널이 있다. HBM1은 패키지당 최대 4GB를 지원했다.
DDR4나 GDDR5에 비해 메모리 연결 수가 많기 때문에 HBM 메모리를 GPU나 다른 프로세서에 연결하는 새로운 방법이 필요했다. AMD와 엔비디아는 모두 인터포저라고 불리는 전용 반도체 장치를 사용하여 메모리와 GPU 다이를 연결했다. 이 인터포저는 메모리와 프로세서를 물리적으로 가깝게 배치해야 하므로 메모리 경로를 줄이는 추가 이점이 있다. 그러나 반도체 소자 제조는 인쇄 회로 기판 제조보다 훨씬 비싸기 때문에 최종 제품에 비용이 추가된다.
인터페이스
HBM DRAM은 분산 인터페이스를 통해 호스트 프로세서 다이에 밀접하게 결합된다. 인터페이스는 독립적인 채널로 나뉜다. 채널은 서로 완전히 독립적이며 반드시 서로 동기화될 필요는 없다. HBM DRAM은 고속, 저전력 동작을 달성하기 위해 와이드 인터페이스 아키텍처를 사용한다. HBM1 DRAM은 500MHz 차동 클록 CK_t / CK_c를 사용했다(여기서 접미사 "_t"는 차동 쌍의 "참" 또는 "양" 구성 요소를 나타내고, "_c"는 "보완" 구성 요소를 나타낸다). 명령은 CK_t와 CK_c의 상승 에지에서 등록된다. 각 채널 인터페이스는 이 이중 데이터 레이트(DDR)에서 작동하는 128비트 데이터 버스를 유지했다. HBM1은 핀당 1GT/s(1비트 전송)의 전송 속도를 지원하여 패키지 전체 대역폭이 128GB/s였다.
HBM2
2세대 고대역폭 메모리인 HBM2는 스택당 최대 8개 다이를 지정했으며 핀 전송 속도를 최대 2GT/s로 두 배로 늘렸다. 1024비트 폭 액세스를 유지하면서 HBM2는 패키지당 256GB/s 메모리 대역폭에 도달할 수 있었다. HBM2 사양은 패키지당 최대 8GB를 허용했다. HBM2는 가상 현실과 같은 성능에 민감한 소비자 애플리케이션에 특히 유용할 것으로 예측되었다.
2016년 1월 19일, 삼성은 스택당 최대 8GB의 HBM2 초기 양산을 발표했다. SK하이닉스는 2016년 8월 4GB 스택의 가용성도 발표했다.
HBM2E
2018년 말, JEDEC은 대역폭과 용량을 증가시키는 HBM2 사양 업데이트를 발표했다. 공식 사양에서는 스택당 최대 307GB/s(2.5Tbit/s 유효 데이터 속도)가 지원되었지만, 이 속도로 작동하는 제품은 이미 출시되어 있었다. 또한 이 업데이트는 12-Hi 스택(12개 다이) 지원을 추가하여 스택당 최대 24GB 용량을 가능하게 했다.
2019년 3월 20일, 삼성은 스택당 8개 다이, 전송 속도 3.2GT/s, 총 16GB 및 스택당 410GB/s를 제공하는 Flashbolt HBM2E를 발표했다. 2019년 8월 12일, SK하이닉스는 스택당 8개 다이, 전송 속도 3.6GT/s, 총 16GB 및 스택당 460GB/s를 제공하는 HBM2E를 발표했다. 2020년 7월 2일, SK하이닉스는 양산이 시작되었음을 발표했다. 2019년 10월, 삼성은 12층 HBM2E를 발표했다.
HBM3
2020년 말, 마이크론은 HBM2E 표준이 업데이트될 것임을 공개했으며, 동시에 HBMnext(이후 HBM3로 개명)로 알려진 다음 표준을 공개했다. 이는 HBM2에서 큰 세대 도약이자 HBM2E의 대체품이 될 예정이었다. 이 새로운 VRAM은 2022년 4분기에 시장에 출시될 예정이었다. 이름이 시사하듯 새로운 아키텍처를 도입했을 가능성이 높다.
아키텍처가 개편되었을 수 있지만, 유출 정보는 업데이트된 HBM2E 표준과 유사한 성능을 가리켰다. 이 RAM은 주로 데이터 센터 GPU에 사용될 가능성이 높았다. 2021년 중반, SK하이닉스는 HBM3 표준의 일부 사양을 공개했는데, 5.2Gbit/s I/O 속도와 패키지당 665GB/s 대역폭, 최대 16층 2.5D 및 3D 솔루션을 포함했다.
2021년 10월 20일, JEDEC HBM3 표준이 확정되기 전에 SK하이닉스는 HBM3 메모리 장치 개발을 완료했다고 발표한 최초의 메모리 공급업체가 되었다. SK하이닉스에 따르면, 이 메모리는 핀당 6.4Gbit/s로 작동했을 것이며, 이는 공식적으로 3.2Gbit/s로 정점을 찍은 JEDEC 표준 HBM2E의 데이터 속도의 두 배, 또는 SK하이닉스 자체 3.6Gbit/s HBM2E보다 78% 빠른 속도였다. 이 장치는 6.4Gbit/s 데이터 전송 속도를 지원했으며 따라서 단일 HBM3 스택은 최대 819GB/s 대역폭을 제공했을 수 있다. HBM3의 기본 버스 폭은 변경되지 않았으며, 단일 메모리 스택은 1024비트 폭이었다. SK하이닉스는 이 메모리를 8-Hi 및 12-Hi 스택에 맞춰 16GB와 24GB의 두 가지 용량으로 제공할 예정이었다.
AI 및 시장에 미치는 영향
HBM은 전례 없는 수요 증가를 겪었으며, 일반적으로 DRAM(DDR4, DDR, 플래시 메모리/NAND) 가격은 2026년 초에 "2025년 초 이후 일부는 200%를 초과하는 복합 상승을 경험했다 ... [왜냐하면] AI 부문에서 오는 전례 없는 수요 ... HBM이 범용 DRAM 용량을 밀어내고 있다. 마이크론은 HBM과 DDR5 웨이퍼 용량 간 3대 1 전환 비율을 언급했으며, 이는 모든 HBM 램프가 범용 메모리 공급을 직접 압축한다는 것을 의미한다."
이 수요는 방대한 메모리 대역폭을 요구하는 Artificial intelligence 및 Machine learning 워크로드, 특히 Large language model 훈련과 추론의 급속한 성장에 의해 주도된다. HBM은 Deep learning 작업에 사용되는 AMD 및 NVIDIA GPU의 핵심 구성 요소이며, Cerebras, Groq, SambaNova 같은 회사의 특수 가속기에서도 사용된다. 이 기술은 AWS Trainium 및 Google Cloud와 Microsoft Azure 같은 제공업체의 기타 클라우드 기반 AI 하드웨어에서도 사용된다. Generative AI 애플리케이션이 확장됨에 따라 고대역폭 메모리의 필요성은 계속 증가하며, Samsung Electronics, sk-hynix, micron-technology 같은 주요 반도체 제조업체의 전략에 영향을 미친다.