High Bandwidth Memory（HBM）は、3D積層型シンクロナスダイナミックランダムアクセスメモリ（SDRAM）用のコンピュータメモリインターフェースであり、当初はSamsung、AMD、SK Hynixによって開発された。これは、性能重視のグラフィックスアクセラレータ、ネットワークデバイス、FPGA、ASICと併用されることが多く、一部のCPUはHBMをオンパッケージキャッシュまたはRAMとして利用している（例：NEC SX-Aurora TSUBASAや富士通A64FX）。最初のHBMメモリチップは2013年にSK Hynixによって製造され、HBMを搭載した最初のデバイスは2015年のAMD Fiji GPUであった。
HBMは2013年10月にJEDECによって業界標準として採用された。第2世代のHBM2は2016年1月にJEDECによって承認された。JEDECは2022年1月27日にHBM3標準を正式に発表し、2025年4月にHBM4標準を発表した。2025年時点で、世界最大のHBMメーカーにはSK Hynix、Samsung Electronics、Micron Technologyが含まれる。TSMCはHBM用のベースダイを製造しており、2026年には複数のHBM企業のファウンドリとなる予定である。
技術
HBMは、DDR4やGDDR5よりも高い帯域幅を実現しつつ、消費電力が少なく、フォームファクタも大幅に小型化されている。これは、最大32個のDRAMダイと、バッファ回路やテストロジックを含むことができるオプションのベースダイを積層することで達成される。スタックは、シリコンインターポーザなどの基板を介して、GPUまたはCPU上のメモリコントローラに接続されることが多い。あるいは、メモリダイをCPUまたはGPUチップに直接積層することもできる。スタック内では、ダイはシリコン貫通ビア（TSV）とマイクロバンプによって垂直に相互接続される。HBM技術は原理的にはMicron Technologyが開発したHybrid Memory Cube（HMC）インターフェースと類似しているが、互換性はない。
HBMメモリバスは、DDR4やGDDR5などの他のDRAMメモリと比較して非常に幅が広い。4つのDRAMダイ（4-Hi）からなるHBM1スタックは、ダイあたり2つの128ビットチャネルを持ち、合計8チャネル、総幅1024ビットとなる。4つの4-Hi HBMスタックを搭載したグラフィックスカードまたはGPUは、したがって幅4096ビットのメモリバスを持つことになる。比較として、GDDRメモリのバス幅は32ビットであり、512ビットメモリインターフェースのグラフィックスカードでは16チャネルとなる。HBM1はパッケージあたり最大4 GBをサポートしていた。
DDR4やGDDR5と比較してメモリへの接続数が多いため、HBMメモリをGPUや他のプロセッサに接続する新しい方法が必要となった。AMDとNvidiaはどちらも、メモリとGPUダイを接続するためにインターポーザと呼ばれる専用の半導体デバイスを使用している。このインターポーザには、メモリとプロセッサを物理的に近接させる必要があり、メモリ経路が短縮されるという追加の利点がある。しかし、半導体デバイス製造はプリント基板製造よりも大幅に高価であるため、最終製品にコストが追加される。
インターフェース
HBM DRAMは、分散インターフェースを介してホストプロセッサダイに密結合されている。インターフェースは独立したチャネルに分割されている。チャネルは互いに完全に独立しており、必ずしも互いに同期しているわけではない。HBM DRAMは、高速・低消費電力動作を実現するためにワイドインターフェースアーキテクチャを使用している。HBM1 DRAMは500 MHzの差動クロックCK_t / CK_cを使用していた（接尾辞「_t」は差動ペアの「真」または「正」の成分を示し、「_c」は「相補」の成分を示す）。コマンドはCK_tとCK_cの立ち上がりエッジで登録される。各チャネルインターフェースは、このダブルデータレート（DDR）で動作する128ビットデータバスを維持していた。HBM1はピンあたり1 GT/sの転送レート（1ビット転送）をサポートし、パッケージ全体の帯域幅は128 GB/sとなった。
HBM2
第2世代のHigh Bandwidth MemoryであるHBM2は、スタックあたり最大8ダイまで指定され、ピン転送レートを最大2 GT/sに倍増させた。1024ビット幅のアクセスを維持しつつ、HBM2はパッケージあたり256 GB/sのメモリ帯域幅を達成できた。HBM2仕様ではパッケージあたり最大8 GBが許可された。HBM2は、仮想現実などの性能に敏感な消費者向けアプリケーションに特に有用であると予測された。
2016年1月19日、Samsungはスタックあたり最大8 GBのHBM2の早期量産開始を発表した。SK Hynixも2016年8月に4 GBスタックの提供を発表した。
HBM2E
2018年後半、JEDECはHBM2仕様の更新を発表し、帯域幅と容量の増加を提供した。スタックあたり最大307 GB/s（実効データレート2.5 Tbit/s）が公式仕様でサポートされるようになったが、この速度で動作する製品はすでに利用可能であった。さらに、この更新では12-Hiスタック（12ダイ）のサポートが追加され、スタックあたり最大24 GBの容量が可能となった。
2019年3月20日、SamsungはFlashbolt HBM2Eを発表し、スタックあたり8ダイ、転送レート3.2 GT/s、合計16 GBおよびスタックあたり410 GB/sを提供した。2019年8月12日、SK HynixはHBM2Eを発表し、スタックあたり8ダイ、転送レート3.6 GT/s、合計16 GBおよびスタックあたり460 GB/sを提供した。2020年7月2日、SK Hynixは量産開始を発表した。2019年10月、Samsungは12層HBM2Eを発表した。
HBM3
2020年後半、MicronはHBM2E標準が更新されることを明らかにし、それと同時にHBMnext（後にHBM3に改名）として知られる次世代標準を発表した。これはHBM2からの大きな世代飛躍であり、HBM2Eの後継となる予定であった。この新しいVRAMは2022年第4四半期に市場に登場する予定であった。名前が示すように、これは新しいアーキテクチャを導入する可能性が高かった。
アーキテクチャは刷新されたかもしれないが、リーク情報は更新されたHBM2E標準と同様の性能を示していた。このRAMは主にデータセンターGPUで使用される可能性が高かった。2021年半ば、SK HynixはHBM3標準のいくつかの仕様を公開し、5.2 Gbit/sのI/O速度とパッケージあたり665 GB/sの帯域幅、および最大16-Hiの2.5Dおよび3Dソリューションを提供した。
2021年10月20日、JEDECのHBM3標準が最終化される前に、SK HynixはHBM3メモリデバイスの開発を完了したことを発表した最初のメモリベンダーとなった。SK Hynixによると、このメモリは6.4 Gbit/s/ピンという速さで動作し、JEDEC標準のHBM2Eの正式な最大値である3.2 Gbit/s/ピンの2倍、SK Hynix自身の3.6 Gbit/s/ピンのHBM2Eより78%高速であった。デバイスは6.4 Gbit/sのデータ転送レートをサポートし、したがって単一のHBM3スタックは最大819 GB/sの帯域幅を提供する可能性があった。HBM3の基本バス幅は変更されておらず、単一スタックのメモリは1024ビット幅であった。SK Hynixはこのメモリを16 GBと24 GBの2つの容量で提供し、8-Hiおよび12-Hiスタックに対応していた。
AIと市場への影響
HBMは前例のない需要増加を経験しており、一般的にDRAM（DDR4、DDR、フラッシュメモリ/NAND）の価格は2026年初頭に「2025年初頭以来、複合的な上昇を経験しており、一部は200%を超えている……[それは]AIセクターからの前例のない需要によるものである……HBMは汎用DRAM容量を圧迫している。MicronはHBMとDDR5のウェーハ容量の間の3対1の変換比率を指摘しており、つまりHBMの各増産は汎用メモリ供給を直接圧縮する」とされている。
この需要は、人工知能および機械学習ワークロードの急速な成長によって推進されており、特に大規模言語モデルのトレーニングと推論には、大規模なメモリ帯域幅が必要である。HBMは、深層学習タスクに使用されるAMDおよびNVIDIA GPUの主要コンポーネントであり、Cerebras、Groq、SambaNovaなどの企業の専用アクセラレータでも使用されている。この技術は、AWS Trainiumや、Google CloudやAzureなどのプロバイダーからのクラウドベースのAIハードウェアでも使用されている。生成AIアプリケーションが拡大するにつれて、高帯域幅メモリの需要は成長し続けており、Samsung Electronics、SK Hynix、Micron Technologyなどの主要半導体メーカーの戦略に影響を与えている。