HBM(High Bandwidth Memory)은 3D 적층 동기식 동적 랜덤 액세스 메모리(SDRAM)용 컴퓨터 메모리 인터페이스로, 처음에 삼성, AMD, SK하이닉스가 개발했다. HBM은 성능 지향 그래픽 가속기, 네트워크 장치, FPGA, ASIC과 함께 자주 사용되며, 일부 CPU는 NEC SX-Aurora TSUBASA와 후지쯔 A64FX처럼 HBM을 온패키지 캐시 또는 RAM으로 활용한다. 최초의 HBM 메모리 칩은 2013년 SK하이닉스가 생산했으며, HBM을 탑재한 최초의 기기는 2015년 AMD 피지(Fiji) GPU였다.
HBM은 2013년 10월 JEDEC에 의해 산업 표준으로 채택되었다. 2세대인 HBM2는 2016년 1월 JEDEC에 승인되었다. JEDEC은 2022년 1월 27일 HBM3 표준을 공식 발표했고, 2025년 4월 HBM4 표준을 발표했다. 2025년 현재 세계 최대 HBM 제조업체로는 SK하이닉스, 삼성전자, 마이크론 테크놀로지가 있다. TSMC는 HBM용 베이스 다이를 생산하며 2026년에는 여러 HBM 업체의 파운드리로 계획되어 있다.
기술
HBM은 DDR4 또는 GDDR5보다 더 높은 대역폭을 달성하면서도 전력을 덜 소비하고, 형태 계수도 훨씬 작다. 이는 최대 32개의 DRAM 다이와 버퍼 회로 및 테스트 로직을 포함할 수 있는 선택적 베이스 다이를 적층하여 달성된다. 스택은 종종 실리콘 인터포저와 같은 기판을 통해 GPU 또는 CPU의 메모리 컨트롤러에 연결된다. 또는 메모리 다이를 CPU 또는 GPU 칩에 직접 적층할 수도 있다. 스택 내에서 다이는 관통 실리콘 비아(TSV)와 마이크로범프로 수직으로 상호 연결된다. HBM 기술은 원리적으로는 마이크론 테크놀로지가 개발한 HMC(Hybrid Memory Cube) 인터페이스와 유사하지만 호환되지는 않는다.
HBM 메모리 버스는 DDR4나 GDDR5 같은 다른 DRAM 메모리에 비해 매우 넓다. 4개의 DRAM 다이(4-Hi)로 구성된 HBM1 스택은 다이당 2개의 128비트 채널을 가져 총 8개 채널, 총 너비 1024비트를 갖는다. 4개의 4-Hi HBM 스택을 갖춘 그래픽 카드/GPU는 따라서 너비 4096비트의 메모리 버스를 갖게 된다. 비교하자면, GDDR 메모리의 버스 너비는 32비트이며, 512비트 메모리 인터페이스를 가진 그래픽 카드의 경우 16개 채널이 있다. HBM1은 패키지당 최대 4GB를 지원했다.
DDR4나 GDDR5에 비해 메모리 연결 수가 많기 때문에 HBM 메모리를 GPU(또는 다른 프로세서)에 연결하는 새로운 방법이 필요했다. AMD와 엔비디아는 모두 메모리와 GPU 다이를 연결하기 위해 인터포저라고 하는 특수 제작된 반도체 장치를 사용했다. 이 인터포저는 메모리와 프로세서를 물리적으로 가깝게 유지하여 메모리 경로를 줄여주는 추가 이점이 있다. 그러나 반도체 소자 제조는 인쇄 회로 기판 제조보다 훨씬 비싸므로 최종 제품에 비용을 추가한다.
인터페이스
HBM DRAM은 분산 인터페이스를 통해 호스트 프로세서 다이에 밀접하게 결합된다. 인터페이스는 독립적인 채널로 나뉜다. 채널은 서로 완전히 독립적이며 서로 동기화될 필요는 없다. HBM DRAM은 고속, 저전력 작동을 위해 넓은 인터페이스 아키텍처를 사용한다. HBM1 DRAM은 500MHz 차동 클록 CK_t / CK_c를 사용했다(여기서 접미사 "_t"는 차동 쌍의 "참" 또는 "양" 구성 요소를, "_c"는 "상보" 구성 요소를 나타낸다). 명령은 CK_t와 CK_c의 상승 에지에서 등록된다. 각 채널 인터페이스는 이 DDR(더블 데이터 레이트) 속도로 작동하는 128비트 데이터 버스를 유지했다. HBM1은 핀당 1GT/s(1비트 전송)의 전송 속도를 지원하여 패키지 전체 대역폭은 128GB/s였다.
HBM2
2세대 HBM인 HBM2는 스택당 최대 8개 다이를 지정했고 핀 전송 속도를 최대 2GT/s로 두 배로 늘렸다. 1024비트 폭 액세스를 유지하면서 HBM2는 패키지당 256GB/s 메모리 대역폭에 도달할 수 있었다. HBM2 사양은 패키지당 최대 8GB를 허용했다. HBM2는 가상 현실과 같은 성능에 민감한 소비자 애플리케이션에 특히 유용할 것으로 예측되었다.
2016년 1월 19일, 삼성은 스택당 최대 8GB의 HBM2 초기 양산을 발표했다. SK하이닉스는 2016년 8월 4GB 스택의 가용성도 발표했다.
#### HBM2E
2018년 말, JEDEC은 HBM2 사양에 대한 업데이트를 발표하여 대역폭과 용량을 늘렸다. 공식 사양에서는 스택당 최대 307GB/s(2.5Tbit/s 유효 데이터 속도)가 지원되었지만, 이 속도로 작동하는 제품은 이미 출시되어 있었다. 또한 이 업데이트는 12-Hi 스택(12개 다이) 지원을 추가하여 스택당 최대 24GB 용량을 가능하게 했다.
2019년 3월 20일, 삼성은 스택당 8개 다이, 전송 속도 3.2GT/s, 총 16GB 및 스택당 410GB/s를 제공하는 Flashbolt HBM2E를 발표했다. 2019년 8월 12일, SK하이닉스는 스택당 8개 다이, 전송 속도 3.6GT/s, 총 16GB 및 스택당 460GB/s를 제공하는 HBM2E를 발표했다. 2020년 7월 2일, SK하이닉스는 양산을 시작했다고 발표했다. 2019년 10월, 삼성은 12층 HBM2E를 발표했다.
HBM3
2020년 말, 마이크론은 HBM2E 표준이 업데이트될 것임을 공개하면서 당시 차세대 표준으로 알려진 HBMnext(나중에 HBM3로 개명)도 공개했다. 이는 HBM2에서 큰 세대 도약이자 HBM2E의 대체재가 될 예정이었다. 이 새로운 VRAM은 2022년 4분기에 시장에 출시될 예정이었다. 이름이 시사하듯 새로운 아키텍처를 도입했을 가능성이 높다.
아키텍처는 대대적으로 개편되었을 수 있지만, 유출 정보는 업데이트된 HBM2E 표준과 유사한 성능을 가리켰다. 이 RAM은 주로 데이터 센터 GPU에 사용될 가능성이 높았다. 2021년 중반, SK하이닉스는 HBM3 표준의 일부 사양을 공개했는데, 5.2Gbit/s I/O 속도와 패키지당 665GB/s 대역폭, 그리고 최대 16-Hi 2.5D 및 3D 솔루션을 제공했다.
2021년 10월 20일, HBM3에 대한 JEDEC 표준이 확정되기 전에 SK하이닉스는 HBM3 메모리 장치 개발을 완료했다고 발표한 최초의 메모리 공급업체가 되었다. SK하이닉스에 따르면 이 메모리는 핀당 6.4Gbit/s로 실행되었을 것이며, 이는 공식적으로 3.2Gbit/s/pin에서 최고치를 기록한 JEDEC 표준 HBM2E의 데이터 속도의 두 배, 또는 SK하이닉스 자체 3.6Gbit/s/pin HBM2E보다 78% 빠른 속도였다. 이 장치는 6.4Gbit/s의 데이터 전송 속도를 지원했으며 따라서 단일 HBM3 스택은 최대 819GB/s의 대역폭을 제공했을 수 있다. HBM3의 기본 버스 너비는 변경되지 않았으며, 단일 메모리 스택은 1024비트 너비였다. SK하이닉스는 이 메모리를 16GB와 24GB의 두 가지 용량으로 제공할 예정이었으며, 이는 8-Hi 및 12-Hi 스택에 해당한다.
시장 영향
HBM은 전례 없는 수요 증가를 겪었으며, 일반적으로 DRAM(DDR4, DDR, 플래시 메모리/NAND) 가격은 2026년 초에 "2025년 초 이후 일부는 200%를 초과하는 복합 증가를 경험했다 ... [그 이유는] AI 부문에서 오는 전례 없는 수요 때문이다 ... HBM은 범용 DRAM 용량을 밀어내고 있다. 마이크론은 HBM과 DDR5 웨이퍼 용량 간 3:1 전환 비율을 언급했는데, 이는 모든 HBM 램프가 범용 메모리 공급을 직접적으로 압축한다는 것을 의미한다."
이 수요는 주로 인공지능 및 머신러닝 워크로드, 특히 대규모 언어 모델 및 생성형 AI 시스템의 부상에 의해 주도된다. AMD, 엔비디아, 인텔 같은 회사는 가속기에 HBM을 통합하는 반면, 삼성전자와 SK하이닉스는 주요 공급업체이다. 이 기술은 HBM 스택용 베이스 다이를 생산하는 TSMC의 고급 패키징에도 중요하다.
향후 방향
2025년 4월에 발표된 HBM4 표준은 대역폭과 용량을 더욱 늘릴 것으로 예상되며, TSMC는 2026년 여러 HBM 업체의 파운드리가 될 계획이다. AI 모델의 크기와 복잡성이 커짐에 따라 고대역폭 메모리에 대한 수요는 계속 증가할 가능성이 높으며, 이는 메모리 적층 및 통합의 추가 혁신으로 이어질 수 있다.