高带宽内存（HBM）是一种用于3D堆叠同步动态随机存取存储器（SDRAM）的计算机内存接口，最初由三星、AMD和SK海力士开发。它通常与面向性能的图形加速器、网络设备、FPGA和ASIC配合使用；一些CPU将HBM用作封装内缓存或内存，例如NEC SX-Aurora TSUBASA和富士通A64FX。首块HBM内存芯片由SK海力士于2013年生产，首批搭载HBM的设备是2015年的AMD Fiji GPU。
HBM于2013年10月被JEDEC采纳为行业标准。第二代HBM2于2016年1月被JEDEC接受。JEDEC于2022年1月27日正式宣布HBM3标准，并于2025年4月宣布HBM4标准。2025年，全球最大的HBM制造商包括SK海力士、三星电子和美光科技。台积电生产HBM的基础芯片，并计划于2026年成为多家HBM公司的代工厂。
技术
HBM在比DDR4或GDDR5更小的外形尺寸下，实现了更高带宽，同时功耗更低。这是通过堆叠多达32个DRAM芯片和一个可选的基础芯片来实现的，基础芯片可包含缓冲电路和测试逻辑。该堆叠通常通过基板（如硅中介层）连接到GPU或CPU上的内存控制器。或者，内存芯片可以直接堆叠在CPU或GPU芯片上。在堆叠内部，芯片通过硅通孔（TSV）和微凸块垂直互连。HBM技术在原理上类似于美光科技开发的混合内存立方体（HMC）接口，但与之不兼容。
与其他DRAM内存（如DDR4或GDDR5）相比，HBM内存总线非常宽。一个由四个DRAM芯片组成的HBM1堆叠（4-Hi）每个芯片有两个128位通道，总共8个通道，总宽度为1024位。因此，配备四个4-Hi HBM堆叠的显卡或GPU将拥有宽度为4096位的内存总线。相比之下，GDDR内存的总线宽度为32位，对于具有512位内存接口的显卡，则有16个通道。HBM1支持每封装最高4 GB容量。
与DDR4或GDDR5相比，HBM与内存的连接数量更多，这需要一种新方法将HBM内存连接到GPU或其他处理器。AMD和Nvidia都使用了专用半导体设备（称为中介层）来连接内存和GPU芯片。该中介层还具有额外优势，即要求内存和处理器物理上靠近，从而缩短内存路径。然而，由于半导体器件制造比印刷电路板制造昂贵得多，这增加了最终产品的成本。
接口
HBM DRAM通过分布式接口与主机处理器芯片紧密耦合。该接口分为独立通道。这些通道彼此完全独立，不一定相互同步。HBM DRAM采用宽接口架构以实现高速、低功耗运行。HBM1 DRAM使用500 MHz差分时钟CK_t / CK_c（其中后缀“_t”表示差分对中的“真”或“正”分量，而“_c”表示“互补”分量）。命令在CK_t和CK_c的上升沿被注册。每个通道接口保持128位数据总线，以双倍数据速率（DDR）运行。HBM1支持每引脚1 GT/s的传输速率（传输1位），从而产生128 GB/s的整体封装带宽。
HBM2
第二代高带宽内存HBM2，也规定每堆叠最多八个芯片，并将引脚传输速率翻倍至2 GT/s。保持1024位宽访问，HBM2能够达到每封装256 GB/s的内存带宽。HBM2规范允许每封装最高8 GB。预计HBM2对性能敏感的消费应用（如虚拟现实）特别有用。
2016年1月19日，三星宣布HBM2早期量产，每堆叠最高8 GB。SK海力士也于2016年8月宣布提供4 GB堆叠。
HBM2E
2018年底，JEDEC宣布对HBM2规范进行更新，提供更高的带宽和容量。官方规范随后支持每堆叠最高307 GB/s（有效数据速率2.5 Tbit/s），尽管以该速度运行的产品已经可用。此外，该更新增加了对12-Hi堆叠（12个芯片）的支持，使每堆叠容量最高可达24 GB。
2019年3月20日，三星宣布其Flashbolt HBM2E，每堆叠八个芯片，传输速率为3.2 GT/s，提供总计16 GB和每堆叠410 GB/s。2019年8月12日，SK海力士宣布其HBM2E，每堆叠八个芯片，传输速率为3.6 GT/s，提供总计16 GB和每堆叠460 GB/s。2020年7月2日，SK海力士宣布开始量产。2019年10月，三星宣布其12层HBM2E。
HBM3
2020年底，美光透露HBM2E标准将更新，并同时公布了当时的下一个标准，称为HBMnext（后来更名为HBM3）。这将是HBM2的重大代际飞跃，也是HBM2E的替代品。这种新VRAM原计划于2022年第四季度上市。正如命名所示，这可能会引入新架构。
虽然架构可能已彻底改革，但泄露信息表明其性能与更新后的HBM2E标准相似。这种内存可能主要用于数据中心GPU。2021年中，SK海力士公布了HBM3标准的一些规格，I/O速度为5.2 Gbit/s，每封装带宽为665 GB/s，以及高达16层高的2.5D和3D解决方案。
2021年10月20日，在JEDEC HBM3标准最终确定之前，SK海力士是首家宣布完成HBM3内存设备开发的内存供应商。据SK海力士称，该内存运行速度高达6.4 Gbit/s/引脚，是JEDEC标准HBM2E（正式最高3.2 Gbit/s/引脚）数据速率的两倍，或比SK海力士自己的3.6 Gbit/s/引脚HBM2E快78%。这些设备支持6.4 Gbit/s的数据传输速率，因此单个HBM3堆叠可能提供高达819 GB/s的带宽。HBM3的基本总线宽度保持不变，单个内存堆叠为1024位宽。SK海力士将提供两种容量的这种内存：16 GB和24 GB，分别对应8-Hi和12-Hi堆叠。
对AI和市场的影响
HBM的需求出现了前所未有的增长，而总体DRAM（DDR4、DDR和闪存/NAND）价格在2026年初“经历了复合增长，自2025年初以来有些涨幅超过200%……[因为]来自AI领域的空前需求……HBM正在挤占商品DRAM产能。美光指出HBM与DDR5晶圆产能的转换比为3比1，这意味着每一次HBM产能提升都会直接压缩通用内存供应。”
这种需求是由人工智能和机器学习工作负载的快速增长驱动的，特别是大型语言模型的训练和推理，这些任务需要巨大的内存带宽。HBM是用于深度学习任务的AMD和NVIDIA GPU中的关键组件，也是Cerebras、Groq和SambaNova等公司专用加速器中的关键组件。该技术还用于AWS Trainium以及来自谷歌云和Azure等提供商的其他基于云的AI硬件。随着生成式AI应用的扩展，对高带宽内存的需求持续增长，影响着三星电子、SK海力士和美光科技等主要半导体制造商的战略。