高带宽内存（HBM）是一种用于3D堆叠同步动态随机存取存储器（SDRAM）的计算机内存接口，最初由三星、AMD和SK海力士开发。它通常与面向性能的图形加速器、网络设备、FPGA和ASIC配合使用；部分CPU将HBM用作封装内缓存或内存，例如NEC SX-Aurora TSUBASA和富士通A64FX。首块HBM内存芯片由SK海力士于2013年生产，首批搭载HBM的设备是2015年的AMD Fiji GPU。
HBM于2013年10月被JEDEC采纳为行业标准。第二代HBM2于2016年1月被JEDEC接受。JEDEC于2022年1月27日正式宣布HBM3标准，并于2025年4月宣布HBM4标准。2025年，全球最大的HBM制造商包括SK海力士、三星电子和美光科技。台积电生产HBM的基础裸片，并计划于2026年成为多家HBM公司的代工厂。
技术
HBM在比DDR4或GDDR5更低的功耗下实现更高带宽，且外形尺寸显著更小。这是通过堆叠多达32个DRAM裸片以及一个可选的基础裸片（可包含缓冲电路和测试逻辑）实现的。该堆叠通常通过基板（如硅中介层）连接到GPU或CPU上的内存控制器。或者，内存裸片可以直接堆叠在CPU或GPU芯片上。在堆叠内部，裸片通过硅通孔（TSV）和微凸块垂直互连。HBM技术在原理上与美光科技开发的混合内存立方体（HMC）接口类似，但不兼容。
HBM内存总线与其他DRAM内存（如DDR4或GDDR5）相比非常宽。一个由四个DRAM裸片（4-Hi）组成的HBM1堆叠每裸片有两个128位通道，共8个通道，总宽度为1024位。因此，配备四个4-Hi HBM堆叠的显卡/GPU将拥有4096位宽的内存总线。相比之下，GDDR内存的总线宽度为32位，具有512位内存接口的显卡有16个通道。HBM1每个封装最多支持4 GB。
与DDR4或GDDR5相比，HBM内存连接数量更多，这需要一种新方法将HBM内存连接到GPU（或其他处理器）。AMD和Nvidia都使用了专门构建的半导体设备（称为中介层）来连接内存和GPU裸片。这种中介层还有一个额外优势，即要求内存和处理器在物理上靠近，从而缩短内存路径。然而，由于半导体器件制造比印刷电路板制造昂贵得多，这增加了最终产品的成本。
接口
HBM DRAM通过分布式接口与主机处理器裸片紧密耦合。接口被划分为独立的通道。这些通道彼此完全独立，不必相互同步。HBM DRAM采用宽接口架构以实现高速、低功耗运行。HBM1 DRAM使用500 MHz差分时钟CK_t / CK_c（其中后缀“_t”表示差分对中的“真”或“正”分量，“_c”表示“互补”分量）。命令在CK_t和CK_c的上升沿被注册。每个通道接口维持128位数据总线，以双倍数据速率（DDR）运行。HBM1支持每引脚1 GT/s的传输速率（传输1位），产生每封装128 GB/s的整体带宽。
HBM2
第二代高带宽内存HBM2还规定每个堆叠最多八个裸片，并将引脚传输速率加倍至2 GT/s。保持1024位宽访问，HBM2能够达到每封装256 GB/s的内存带宽。HBM2规范允许每封装最多8 GB。HBM2预计对性能敏感的消费类应用（如虚拟现实）特别有用。
2016年1月19日，三星宣布HBM2早期批量生产，每个堆叠最高8 GB。SK海力士也于2016年8月宣布提供4 GB堆叠。
#### HBM2E
2018年底，JEDEC宣布对HBM2规范进行更新，提供更高的带宽和容量。官方规范当时支持每堆叠最高307 GB/s（有效数据速率为2.5 Tbit/s），尽管以该速度运行的产品已经上市。此外，该更新增加了对12-Hi堆叠（12层）的支持，使每个堆叠的容量可达24 GB。
2019年3月20日，三星宣布其Flashbolt HBM2E，每个堆叠八个裸片，传输速率为2 GT/s，总容量为16 GB，带宽为410 GB/s。2019年8月12日，SK海力士宣布其HBM2E，每个堆叠八个裸片，传输速率为3.6 GT/s，总容量为16 GB，带宽为460 GB/s。2020年7月2日，SK海力士宣布开始量产。2019年10月，三星宣布其12层HBM2E。
HBM3
2021年中，SK海力士透露了HBM3标准的一些规格，I/O速度为5.2 Gbit/s，每封装带宽为665 GB/s，以及高达16层高的2.5D和3D解决方案。
2021年10月20日，在JEDEC HBM3标准最终确定之前，SK海力士成为首家宣布完成HBM3内存设备开发的内存供应商。根据SK海力士的说法，该内存的引脚速度高达6.4 Gbit/s，是JEDEC标准HBM2E（正式最高3.2 Gbit/s引脚速度）数据速率的两倍，或比SK海力士自己的3.6 Gbit/s引脚速度HBM2E快78%。这些设备支持6.4 Gbit/s的数据传输速率，因此单个HBM3堆叠可能提供高达819 GB/s的带宽。HBM3的基本总线宽度保持不变，单个内存堆叠为1024位宽。SK海力士将提供16 GB和24 GB两种容量的该内存，分别对应8-Hi和12-Hi堆叠。
市场影响
HBM的需求出现了前所未有的增长，在2026年初，内存（DDR4、DDR和GDDR）以及闪存/NAND的“价格经历了复合上涨，部分涨幅超过200%……[因为]对人工智能的前所未有的需求……[导致]HBM挤占了通用DRAM的产能。美光指出，HBM和DDR5晶圆产能之间存在3比1的比率，这意味着HBM产能的增加会不成比例地减少通用内存供应。”
这一需求主要由工具使用和机器学习以及大型语言模型和生成式AI系统的兴起驱动。像AMD、Nvidia和Intel这样的公司将HBM集成到其加速器中，而三星电子和SK海力士是关键供应商。台积电对HBM生产至关重要，因为它生产HBM堆叠的基础裸片。
未来方向
HBM4标准于2025年4月发布，预计将进一步提高带宽和容量，台积电计划在2026年成为多家HBM公司的代工厂。随着AI模型规模和复杂性不断增长，对高带宽内存的需求可能会持续上升，可能导致内存架构和封装技术的进一步创新。业界也在探索HBM的替代品，如计算快速链路（CXL）和光互连，但这些技术仍处于早期阶段，在可预见的未来，HBM仍将是高性能计算的首选内存解决方案。