La mémoire à haute bande passante (HBM) est une interface mémoire informatique pour la mémoire vive dynamique synchrone (SDRAM) empilée en 3D, initialement développée par Samsung, AMD et SK Hynix. Elle est souvent utilisée en conjonction avec des accélérateurs graphiques orientés performance, des dispositifs réseau, des FPGA et des ASIC ; certains processeurs utilisent la HBM comme cache ou RAM sur puce, comme le NEC SX-Aurora TSUBASA et le Fujitsu A64FX. La première puce mémoire HBM a été produite par SK Hynix en 2013, et les premiers dispositifs équipés de HBM étaient les GPU AMD Fiji en 2015.
La HBM a été adoptée par la JEDEC comme norme industrielle en octobre 2013. La deuxième génération, HBM2, a été acceptée par la JEDEC en janvier 2016. La JEDEC a officiellement annoncé la norme HBM3 le 27 janvier 2022, et la norme HBM4 en avril 2025. En 2025, les plus grands fabricants mondiaux de HBM incluent SK Hynix, Samsung Electronics et Micron Technology. TSMC produit la puce de base pour la HBM et devrait être la fonderie pour plusieurs entreprises HBM en 2026.
Technologie
La HBM atteint une bande passante plus élevée que la DDR4 ou la GDDR5 tout en utilisant moins d'énergie, et dans un facteur de forme nettement plus petit. Cela est réalisé en empilant jusqu'à 32 dies DRAM et une puce de base optionnelle qui peut inclure des circuits tampons et une logique de test. L'empilement est souvent connecté au contrôleur mémoire d'un GPU ou d'un CPU via un substrat, tel qu'un interposeur en silicium. Alternativement, le die mémoire pourrait être empilé directement sur la puce CPU ou GPU. Au sein de l'empilement, les dies sont interconnectés verticalement par des traversées de silicium (TSV) et des micro-bosses. La technologie HBM est similaire en principe, mais incompatible, avec l'interface Hybrid Memory Cube (HMC) développée par Micron Technology.
Le bus mémoire HBM est très large par rapport à d'autres mémoires DRAM telles que la DDR4 ou la GDDR5. Un empilement HBM1 de quatre dies DRAM (4-Hi) possède deux canaux de 128 bits par die, pour un total de 8 canaux et une largeur de 1024 bits au total. Une carte graphique ou un GPU avec quatre empilements HBM 4-Hi aurait donc un bus mémoire d'une largeur de 4096 bits. En comparaison, la largeur de bus des mémoires GDDR est de 32 bits, avec 16 canaux pour une carte graphique avec une interface mémoire de 512 bits. La HBM1 supportait jusqu'à 4 Go par paquet.
Le plus grand nombre de connexions à la mémoire, par rapport à la DDR4 ou la GDDR5, a nécessité une nouvelle méthode de connexion de la mémoire HBM au GPU ou à un autre processeur. AMD et Nvidia ont tous deux utilisé des dispositifs semi-conducteurs spécialisés, appelés interposeurs, pour connecter la mémoire et les dies GPU. Cet interposeur présente l'avantage supplémentaire d'exiger que la mémoire et le processeur soient physiquement proches, réduisant ainsi les chemins mémoire. Cependant, comme la fabrication de dispositifs semi-conducteurs est nettement plus coûteuse que la fabrication de circuits imprimés, cela ajoute un coût au produit final.
Interface
La DRAM HBM est étroitement couplée au die du processeur hôte avec une interface distribuée. L'interface est divisée en canaux indépendants. Les canaux sont complètement indépendants les uns des autres et ne sont pas nécessairement synchrones entre eux. La DRAM HBM utilise une architecture à interface large pour atteindre un fonctionnement à haute vitesse et faible consommation. La DRAM HBM1 utilisait une horloge différentielle de 500 MHz CK_t / CK_c (où le suffixe « _t » désigne la composante « vraie », ou « positive », de la paire différentielle, et « _c » désigne la composante « complémentaire »). Les commandes sont enregistrées aux fronts montants de CK_t et CK_c. Chaque interface de canal maintenait un bus de données de 128 bits fonctionnant à ce taux de double débit (DDR). La HBM1 supportait des taux de transfert de 1 GT/s par broche (transférant 1 bit), offrant une bande passante globale de paquet de 128 Go/s.
HBM2
La deuxième génération de mémoire à haute bande passante, HBM2, spécifiait également jusqu'à huit dies par empilement et doublait les taux de transfert par broche jusqu'à 2 GT/s. Conservant un accès large de 1024 bits, la HBM2 pouvait atteindre une bande passante mémoire de 256 Go/s par paquet. La spécification HBM2 permettait jusqu'à 8 Go par paquet. La HBM2 était prédite comme étant particulièrement utile pour les applications grand public sensibles aux performances, telles que la réalité virtuelle.
Le 19 janvier 2016, Samsung a annoncé le début de la production de masse de la HBM2, avec jusqu'à 8 Go par empilement. SK Hynix a également annoncé la disponibilité d'empilements de 4 Go en août 2016.
HBM2E
Fin 2018, la JEDEC a annoncé une mise à jour de la spécification HBM2, prévoyant une bande passante et des capacités accrues. Jusqu'à 307 Go/s par empilement (taux de données effectif de 2,5 Tbit/s) était alors supporté dans la spécification officielle, bien que des produits fonctionnant à cette vitesse étaient déjà disponibles. De plus, la mise à jour ajoutait le support des empilements 12-Hi (12 dies), rendant possibles des capacités allant jusqu'à 24 Go par empilement.
Le 20 mars 2019, Samsung a annoncé son HBM2E Flashbolt, avec huit dies par empilement, un taux de transfert de 3,2 GT/s, offrant un total de 16 Go et 410 Go/s par empilement. Le 12 août 2019, SK Hynix a annoncé son HBM2E, avec huit dies par empilement, un taux de transfert de 3,6 GT/s, offrant un total de 16 Go et 460 Go/s par empilement. Le 2 juillet 2020, SK Hynix a annoncé que la production de masse avait commencé. En octobre 2019, Samsung a annoncé son HBM2E à 12 couches.
HBM3
Fin 2020, Micron a dévoilé que la norme HBM2E serait mise à jour et, parallèlement, a dévoilé la norme suivante connue sous le nom de HBMnext (plus tard renommée HBM3). Cela devait être un saut générationnel important par rapport à la HBM2 et le remplacement de la HBM2E. Cette nouvelle VRAM devait arriver sur le marché au quatrième trimestre de 2022. Cela aurait probablement introduit une nouvelle architecture, comme le suggère le nom.
Bien que l'architecture ait pu être révisée, des fuites indiquaient des performances similaires à la norme HBM2E mise à jour. Cette RAM était susceptible d'être utilisée principalement dans les GPU de centres de données. À la mi-2021, SK Hynix a dévoilé certaines spécifications de la norme HBM3, avec des vitesses d'E/S de 5,2 Gbit/s et une bande passante de 665 Go/s par paquet, ainsi que des solutions 2,5D et 3D jusqu'à 16 niveaux.
Le 20 octobre 2021, avant que la norme JEDEC pour la HBM3 ne soit finalisée, SK Hynix a été le premier fournisseur de mémoire à annoncer avoir terminé le développement de dispositifs mémoire HBM3. Selon SK Hynix, la mémoire aurait fonctionné à une vitesse allant jusqu'à 6,4 Gbit/s/broche, soit le double du taux de données de la HBM2E standard JEDEC, qui plafonnait officiellement à 3,2 Gbit/s/broche, ou 78 % plus rapide que la propre HBM2E de SK Hynix à 3,6 Gbit/s/broche. Les dispositifs supportaient un taux de transfert de données de 6,4 Gbit/s et, par conséquent, un seul empilement HBM3 pourrait avoir fourni une bande passante allant jusqu'à 819 Go/s. Les largeurs de bus de base pour la HBM3 sont restées inchangées, avec un seul empilement de mémoire étant large de 1024 bits. SK Hynix proposerait cette mémoire en deux capacités : 16 Go et 24 Go, correspondant aux empilements 8-Hi et 12-Hi.
Impact sur l'IA et le marché
La HBM a connu une augmentation de demande sans précédent, et en général, le prix de la DRAM (DDR4, DDR et mémoire flash/NAND) a, début 2026, « connu des augmentations composées, certaines dépassant 200 %, depuis début 2025 ... [en raison d'] une demande sans précédent provenant du secteur de l'IA ... La HBM évince la capacité DRAM de base. Micron a noté un ratio de conversion de 3 pour 1 entre la capacité de plaquettes HBM et DDR5, ce qui signifie que chaque montée en puissance de la HBM comprime directement l'offre de mémoire à usage général. »
Cette demande est motivée par la croissance rapide des charges de travail d'intelligence artificielle et de apprentissage automatique, en particulier l'entraînement et l'inférence de modèles de langage de grande taille, qui nécessitent une bande passante mémoire massive. La HBM est un composant clé des GPU AMD et Nvidia utilisés pour les tâches de apprentissage profond, ainsi que dans des accélérateurs spécialisés de sociétés comme Cerebras, Groq et Samba Nova. La technologie est également utilisée dans AWS Trainium et d'autres matériels d'IA cloud de fournisseurs comme Google Cloud et Azure. Alors que les applications d'IA générative se développent, le besoin de mémoire à haute bande passante continue de croître, influençant les stratégies des grands fabricants de semi-conducteurs comme Samsung Electronics, sk-hynix et micron-technology.