High Bandwidth Memory (HBM) ist eine Computerspeicher-Schnittstelle für 3D-gestapelte synchrone dynamische Direktzugriffsspeicher (SDRAM), die ursprünglich von Samsung, AMD und SK Hynix entwickelt wurde. Sie wird häufig in Verbindung mit leistungsorientierten Grafikbeschleunigern, Netzwerkgeräten, FPGAs und ASICs verwendet; einige CPUs nutzen HBM als On-Package-Cache oder RAM, wie etwa der NEC SX-Aurora TSUBASA und der Fujitsu A64FX. Der erste HBM-Speicherchip wurde 2013 von SK Hynix produziert, und die ersten Geräte mit HBM waren die AMD-Fiji-GPUs im Jahr 2015.
HBM wurde im Oktober 2013 von JEDEC als Industriestandard übernommen. Die zweite Generation, HBM2, wurde im Januar 2016 von JEDEC akzeptiert. JEDEC gab den HBM3-Standard offiziell am 27. Januar 2022 bekannt, und den HBM4-Standard im April 2025. Im Jahr 2025 gehören zu den weltweit größten Herstellern von HBM SK Hynix, Samsung Electronics und Micron Technology. TSMC produziert das Basisdie für HBM und soll 2026 als Foundry für mehrere HBM-Unternehmen dienen.
Technologie
HBM erreicht eine höhere Bandbreite als DDR4 oder GDDR5 bei geringerem Stromverbrauch und in einem wesentlich kleineren Formfaktor. Dies wird durch das Stapeln von bis zu 32 DRAM-Dies und einem optionalen Basisdie erreicht, das Pufferschaltungen und Testlogik enthalten kann. Der Stapel wird oft über ein Substrat, wie etwa einen Silizium-Interposer, mit dem Speichercontroller auf einer GPU oder CPU verbunden. Alternativ kann das Speicherdie direkt auf dem CPU- oder GPU-Chip gestapelt werden. Innerhalb des Stapels sind die Dies vertikal durch Through-Silicon-Vias (TSVs) und Mikrobumps verbunden. Die HBM-Technologie ähnelt im Prinzip der Hybrid Memory Cube (HMC)-Schnittstelle von Micron Technology, ist jedoch mit dieser inkompatibel.
Der HBM-Speicherbus ist im Vergleich zu anderen DRAM-Speichern wie DDR4 oder GDDR5 sehr breit. Ein HBM1-Stapel aus vier DRAM-Dies (4-Hi) hat zwei 128-Bit-Kanäle pro Die, insgesamt also 8 Kanäle und eine Breite von 1024 Bit. Eine Grafikkarte oder GPU mit vier 4-Hi-HBM-Stapeln hätte daher einen Speicherbus mit einer Breite von 4096 Bit. Im Vergleich dazu beträgt die Busbreite von GDDR-Speichern 32 Bit, mit 16 Kanälen für eine Grafikkarte mit einer 512-Bit-Speicherschnittstelle. HBM1 unterstützte bis zu 4 GB pro Paket.
Die größere Anzahl von Verbindungen zum Speicher, relativ zu DDR4 oder GDDR5, erforderte eine neue Methode, um den HBM-Speicher mit der GPU oder einem anderen Prozessor zu verbinden. AMD und Nvidia haben beide speziell entwickelte Halbleiterbauelemente, sogenannte Interposer, verwendet, um den Speicher und die GPU-Dies zu verbinden. Dieser Interposer hat den zusätzlichen Vorteil, dass Speicher und Prozessor physisch nahe beieinander liegen müssen, was die Speicherpfade verkürzt. Da die Halbleiterfertigung jedoch deutlich teurer ist als die Leiterplattenherstellung, erhöht dies die Kosten des Endprodukts.
Schnittstelle
Der HBM-DRAM ist eng mit dem Host-Prozessor-Die über eine verteilte Schnittstelle gekoppelt. Die Schnittstelle ist in unabhängige Kanäle unterteilt. Die Kanäle sind vollständig voneinander unabhängig und nicht notwendigerweise synchron zueinander. HBM-DRAM verwendet eine Architektur mit breiter Schnittstelle, um einen Hochgeschwindigkeitsbetrieb mit geringem Stromverbrauch zu erreichen. HBM1-DRAM verwendete einen 500-MHz-Differenztakt CK_t / CK_c (wobei das Suffix "_t" die "wahre" oder "positive" Komponente des Differenzpaars bezeichnet und "_c" für die "komplementäre" steht). Befehle werden an den steigenden Flanken von CK_t und CK_c registriert. Jede Kanalschnittstelle hielt einen 128-Bit-Datenbus aufrecht, der mit dieser doppelten Datenrate (DDR) arbeitete. HBM1 unterstützte Übertragungsraten von 1 GT/s pro Pin (Übertragung von 1 Bit), was eine Gesamtpaketbandbreite von 128 GB/s ergab.
HBM2
Die zweite Generation von High Bandwidth Memory, HBM2, spezifizierte ebenfalls bis zu acht Dies pro Stapel und verdoppelte die Pin-Übertragungsraten auf bis zu 2 GT/s. Mit einem 1024-Bit-breiten Zugriff konnte HBM2 eine Speicherbandbreite von 256 GB/s pro Paket erreichen. Die HBM2-Spezifikation erlaubte bis zu 8 GB pro Paket. HBM2 wurde als besonders nützlich für leistungssensitive Verbraucheranwendungen wie virtuelle Realität vorhergesagt.
Am 19. Januar 2016 kündigte Samsung die frühe Massenproduktion von HBM2 an, mit bis zu 8 GB pro Stapel. SK Hynix kündigte auch die Verfügbarkeit von 4-GB-Stapeln im August 2016 an.
HBM2E
Ende 2018 kündigte JEDEC ein Update der HBM2-Spezifikation an, das erhöhte Bandbreiten und Kapazitäten vorsah. Bis zu 307 GB/s pro Stapel (effektive Datenrate von 2,5 Tbit/s) wurden dann in der offiziellen Spezifikation unterstützt, obwohl Produkte mit dieser Geschwindigkeit bereits verfügbar waren. Zusätzlich fügte das Update Unterstützung für 12-Hi-Stapel (12 Dies) hinzu, was Kapazitäten von bis zu 24 GB pro Stapel ermöglichte.
Am 20. März 2019 kündigte Samsung ihren Flashbolt HBM2E an, mit acht Dies pro Stapel, einer Übertragungsrate von 3,2 GT/s, insgesamt 16 GB und 410 GB/s pro Stapel. Am 12. August 2019 kündigte SK Hynix ihren HBM2E an, mit acht Dies pro Stapel, einer Übertragungsrate von 3,6 GT/s, insgesamt 16 GB und 460 GB/s pro Stapel. Am 2. Juli 2020 gab SK Hynix bekannt, dass die Massenproduktion begonnen hat. Im Oktober 2019 kündigte Samsung ihren 12-schichtigen HBM2E an.
HBM3
Ende 2020 enthüllte Micron, dass der HBM2E-Standard aktualisiert werden würde, und gleichzeitig stellten sie den damals nächsten Standard namens HBMnext vor (später in HBM3 umbenannt). Dies sollte ein großer Generationssprung gegenüber HBM2 und der Ersatz für HBM2E sein. Dieser neue VRAM sollte im vierten Quartal 2022 auf den Markt kommen. Dies hätte wahrscheinlich eine neue Architektur eingeführt, wie der Name vermuten lässt.
Während die Architektur möglicherweise überarbeitet wurde, deuteten Leaks auf eine Leistung ähnlich dem aktualisierten HBM2E-Standard hin. Dieser RAM wurde wahrscheinlich hauptsächlich in Rechenzentrums-GPUs verwendet. Mitte 2021 enthüllte SK Hynix einige Spezifikationen des HBM3-Standards, mit 5,2 Gbit/s I/O-Geschwindigkeiten und einer Bandbreite von 665 GB/s pro Paket, sowie bis zu 16-hohen 2.5D- und 3D-Lösungen.
Am 20. Oktober 2021, bevor der JEDEC-Standard für HBM3 finalisiert wurde, war SK Hynix der erste Speicherhersteller, der bekannt gab, dass die Entwicklung von HBM3-Speicherbauelementen abgeschlossen sei. Laut SK Hynix hätte der Speicher mit bis zu 6,4 Gbit/s/Pin laufen können, der doppelten Datenrate des JEDEC-Standard-HBM2E, das formal bei 3,2 Gbit/s/Pin endete, oder 78 % schneller als SK Hynix' eigenes 3,6 Gbit/s/Pin HBM2E. Die Bauelemente unterstützten eine Datenübertragungsrate von 6,4 Gbit/s, und daher könnte ein einzelner HBM3-Stapel eine Bandbreite von bis zu 819 GB/s bieten. Die grundlegenden Busbreiten für HBM3 blieben unverändert, wobei ein einzelner Speicherstapel 1024 Bit breit war. SK Hynix würde diesen Speicher in zwei Kapazitäten anbieten: 16 GB und 24 GB, entsprechend 8-Hi- und 12-Hi-Stapeln.
Auswirkungen auf KI und Markt
HBM hat einen beispiellosen Nachfrageanstieg erlebt, und allgemein hat der DRAM-Preis (DDR4, DDR und Flash-Speicher/NAND) Anfang 2026 "zusammengesetzte Anstiege erfahren, einige über 200 %, seit Anfang 2025 ... [wegen] beispielloser Nachfrage aus dem KI-Sektor ... HBM verdrängt die Kapazität von Commodity-DRAM. Micron bemerkte ein Umwandlungsverhältnis von 3 zu 1 zwischen HBM- und DDR5-Waferkapazität, was bedeutet, dass jeder HBM-Hochlauf das allgemeine Speicherangebot direkt komprimiert."
Diese Nachfrage wird durch das schnelle Wachstum von künstlicher Intelligenz und maschinellem Lernen Arbeitslasten getrieben, insbesondere große Sprachmodelle Training und Inferenz, die massive Speicherbandbreite erfordern. HBM ist eine Schlüsselkomponente in AMD- und Nvidia-GPUs, die für Deep-Learning-Aufgaben verwendet werden, sowie in spezialisierten Beschleunigern von Unternehmen wie Cerebras, Groq und SambaNova. Die Technologie wird auch in AWS Trainium und anderer cloudbasierter KI-Hardware von Anbietern wie Google Cloud und Azure verwendet. Da generative KI-Anwendungen expandieren, wächst der Bedarf an High-Bandwidth-Speicher weiter, was die Strategien großer Halbleiterhersteller wie Samsung Electronics, SK Hynix und Micron Technology beeinflusst.