High Bandwidth Memory (HBM) ist eine Computerspeicher-Schnittstelle für dreidimensional gestapelten synchronen dynamischen Direktzugriffsspeicher (SDRAM), der ursprünglich von Samsung, AMD und SK Hynix entwickelt wurde. Er wird häufig in Verbindung mit leistungsorientierten Grafikbeschleunigern, Netzwerkgeräten, FPGAs und ASICs eingesetzt; einige CPUs nutzen HBM als On-Package-Cache oder RAM, wie beispielsweise der NEC SX-Aurora TSUBASA und der Fujitsu A64FX. Der erste HBM-Speicherchip wurde 2013 von SK Hynix produziert, und die ersten Geräte mit HBM waren die AMD-Fiji-GPUs im Jahr 2015.
HBM wurde im Oktober 2013 von JEDEC als Industriestandard übernommen. Die zweite Generation, HBM2, wurde im Januar 2016 von JEDEC akzeptiert. JEDEC gab den HBM3-Standard offiziell am 27. Januar 2022 bekannt, und den HBM4-Standard im April 2025. Im Jahr 2025 gehören zu den weltweit größten Herstellern von HBM SK Hynix, Samsung Electronics und Micron Technology. TSMC produziert den Basisdie für HBM und soll 2026 die Foundry für mehrere HBM-Unternehmen sein.
Technologie
HBM erreicht eine höhere Bandbreite als DDR4 oder GDDR5 bei gleichzeitig geringerem Stromverbrauch und in einem wesentlich kleineren Formfaktor. Dies wird durch das Stapeln von bis zu 32 DRAM-Dies und einem optionalen Basisdie erreicht, der Pufferschaltungen und Testlogik enthalten kann. Der Stapel ist oft über ein Substrat, wie beispielsweise einen Silizium-Interposer, mit dem Speichercontroller auf einer GPU oder CPU verbunden. Alternativ kann der Speicherdie direkt auf dem CPU- oder GPU-Chip gestapelt werden. Innerhalb des Stapels sind die Dies vertikal durch Through-Silicon-Vias (TSVs) und Mikrobumps miteinander verbunden. Die HBM-Technologie ist im Prinzip ähnlich, aber nicht kompatibel mit der Hybrid Memory Cube (HMC)-Schnittstelle, die von Micron Technology entwickelt wurde.
Der HBM-Speicherbus ist im Vergleich zu anderen DRAM-Speichern wie DDR4 oder GDDR5 sehr breit. Ein HBM1-Stapel aus vier DRAM-Dies (4-Hi) hat zwei 128-Bit-Kanäle pro Die, also insgesamt 8 Kanäle und eine Breite von insgesamt 1024 Bits. Eine Grafikkarte/GPU mit vier 4-Hi-HBM-Stapeln hätte daher einen Speicherbus mit einer Breite von 4096 Bits. Im Vergleich dazu beträgt die Busbreite von GDDR-Speichern 32 Bits, mit 16 Kanälen für eine Grafikkarte mit einer 512-Bit-Speicherschnittstelle. HBM1 unterstützte bis zu 4 GB pro Paket.
Die größere Anzahl von Verbindungen zum Speicher, relativ zu DDR4 oder GDDR5, erforderte eine neue Methode zur Verbindung des HBM-Speichers mit der GPU (oder einem anderen Prozessor). AMD und Nvidia haben beide speziell entwickelte Halbleiterbauelemente, sogenannte Interposer, verwendet, um den Speicher und die GPU-Dies zu verbinden. Dieser Interposer hat den zusätzlichen Vorteil, dass der Speicher und der Prozessor physisch nahe beieinander liegen müssen, was die Speicherpfade verkürzt. Da die Halbleiterfertigung jedoch deutlich teurer ist als die Herstellung von Leiterplatten, erhöht dies die Kosten des Endprodukts.
Schnittstelle
Der HBM-DRAM ist eng mit dem Host-Prozessordie über eine verteilte Schnittstelle gekoppelt. Die Schnittstelle ist in unabhängige Kanäle unterteilt. Die Kanäle sind vollständig unabhängig voneinander und nicht unbedingt synchron zueinander. HBM-DRAM verwendet eine Architektur mit breiter Schnittstelle, um einen Hochgeschwindigkeitsbetrieb mit geringem Stromverbrauch zu erreichen. HBM1-DRAM verwendete einen 500-MHz-Differenztakt CK_t / CK_c (wobei das Suffix "_t" die "wahre" oder "positive" Komponente des Differenzpaars bezeichnet und "_c" für die "komplementäre" steht). Befehle werden an den steigenden Flanken von CK_t und CK_c registriert. Jede Kanalschnittstelle unterhielt einen 128-Bit-Datenbus, der mit dieser doppelten Datenrate (DDR) arbeitete. HBM1 unterstützte Übertragungsraten von 1 GT/s pro Pin (Übertragung von 1 Bit), was eine Gesamtpaketbandbreite von 128 GB/s ergab.
HBM2
Die zweite Generation von High Bandwidth Memory, HBM2, spezifizierte ebenfalls bis zu acht Dies pro Stapel und verdoppelte die Pin-Übertragungsraten auf bis zu 2 GT/s. Unter Beibehaltung des 1024-Bit-breiten Zugriffs konnte HBM2 eine Speicherbandbreite von 256 GB/s pro Paket erreichen. Die HBM2-Spezifikation erlaubte bis zu 8 GB pro Paket. Es wurde vorhergesagt, dass HBM2 besonders nützlich für leistungsempfindliche Verbraucheranwendungen wie virtuelle Realität sein würde.
Am 19. Januar 2016 kündigte Samsung die frühe Massenproduktion von HBM2 mit bis zu 8 GB pro Stapel an. SK Hynix kündigte im August 2016 ebenfalls die Verfügbarkeit von 4-GB-Stapeln an.
#### HBM2E
Ende 2018 kündigte JEDEC ein Update der HBM2-Spezifikation an, das erhöhte Bandbreiten und Kapazitäten vorsah. Bis zu 307 GB/s pro Stapel (2,5 Tbit/s effektive Datenrate) wurden daraufhin in der offiziellen Spezifikation unterstützt, obwohl Produkte, die mit dieser Geschwindigkeit arbeiteten, bereits erhältlich waren. Darüber hinaus fügte das Update Unterstützung für 12-Hi-Stapel (12 Dies) hinzu, was Kapazitäten von bis zu 24 GB pro Stapel ermöglichte.
Am 20. März 2019 kündigte Samsung ihren Flashbolt HBM2E an, der acht Dies pro Stapel, eine Übertragungsrate von 3,2 GT/s, insgesamt 16 GB und 410 GB/s pro Stapel bietet. Am 12. August 2019 kündigte SK Hynix ihren HBM2E an, der acht Dies pro Stapel, eine Übertragungsrate von 3,6 GT/s, insgesamt 16 GB und 460 GB/s pro Stapel bietet. Am 2. Juli 2020 gab SK Hynix bekannt, dass die Massenproduktion begonnen hat. Im Oktober 2019 kündigte Samsung ihren 12-lagigen HBM2E an.
HBM3
Ende 2020 stellte Micron vor, dass der HBM2E-Standard aktualisiert würde, und stellte nebenbei den damals nächsten Standard namens HBMnext (später in HBM3 umbenannt) vor. Dies sollte ein großer Generationssprung gegenüber HBM2 und der Ersatz für HBM2E sein. Dieser neue VRAM sollte im vierten Quartal 2022 auf den Markt kommen. Dies hätte wahrscheinlich eine neue Architektur eingeführt, wie der Name vermuten lässt.
Während die Architektur möglicherweise überarbeitet worden wäre, deuteten Lecks auf eine Leistung hin, die dem aktualisierten HBM2E-Standard ähnelt. Dieser RAM würde wahrscheinlich hauptsächlich in Rechenzentrums-GPUs verwendet werden. Mitte 2021 enthüllte SK Hynix einige Spezifikationen des HBM3-Standards, mit 5,2 Gbit/s I/O-Geschwindigkeiten und einer Bandbreite von 665 GB/s pro Paket, sowie bis zu 16-hohen 2.5D- und 3D-Lösungen.
Am 20. Oktober 2021, bevor der JEDEC-Standard für HBM3 finalisiert wurde, war SK Hynix der erste Speicherhersteller, der bekannt gab, dass die Entwicklung von HBM3-Speichergeräten abgeschlossen sei. Laut SK Hynix hätte der Speicher mit bis zu 6,4 Gbit/s/Pin laufen können, die doppelte Datenrate des JEDEC-Standard-HBM2E, der formal bei 3,2 Gbit/s/Pin endete, oder 78 % schneller als SK Hynix' eigener 3,6 Gbit/s/Pin HBM2E. Die Geräte unterstützten eine Datenübertragungsrate von 6,4 Gbit/s, und daher könnte ein einzelner HBM3-Stapel eine Bandbreite von bis zu 819 GB/s bereitgestellt haben. Die grundlegenden Busbreiten für HBM3 blieben unverändert, wobei ein einzelner Speicherstapel 1024 Bits breit ist. SK Hynix würde diesen Speicher in zwei Kapazitäten anbieten: 16 GB und 24 GB, entsprechend den 8-Hi- und 12-Hi-Stapeln.
Marktauswirkungen
HBM hat eine beispiellose Nachfragesteigerung erlebt, und der allgemeine DRAM-Preis (DDR4, DDR und Flash-Speicher/NAND) hat Anfang 2026 "zusammengesetzte Steigerungen erfahren, einige über 200 %, seit Anfang 2025 ... [wegen] beispielloser Nachfrage aus dem KI-Sektor ... HBM verdrängt die DRAM-Kapazität für Massenware. Micron stellte ein Umrechnungsverhältnis von 3 zu 1 zwischen HBM- und DDR5-Waferkapazität fest, was bedeutet, dass jede HBM-Hochskalierung das allgemeine Speicherangebot direkt komprimiert."
Diese Nachfrage wird größtenteils durch den Aufstieg von künstlicher Intelligenz und maschinellem Lernen-Workloads getrieben, insbesondere bei großen Sprachmodellen und generativen KI-Systemen. Unternehmen wie AMD, Nvidia und Intel integrieren HBM in ihre Beschleuniger, während Samsung Electronics und SK Hynix wichtige Lieferanten sind. Die Technologie ist auch entscheidend für das fortschrittliche Packaging von TSMC, da sie den Basisdie für HBM-Stapel produziert.
Zukünftige Richtungen
Der HBM4-Standard, der im April 2025 angekündigt wurde, soll die Bandbreite und Kapazität weiter erhöhen, wobei TSMC voraussichtlich 2026 die Foundry für mehrere HBM-Unternehmen sein wird. Da KI-Modelle an Größe und Komplexität zunehmen, wird die Nachfrage nach High-Bandwidth-Speicher wahrscheinlich weiter steigen, was möglicherweise zu weiteren Innovationen beim Speicherstapeln und der Integration führen wird.