La mémoire à large bande passante (HBM) est une interface de mémoire informatique pour la mémoire dynamique synchrone à accès aléatoire (SDRAM) empilée en 3D, initialement développée par Samsung, AMD et SK Hynix. Elle est souvent utilisée en conjonction avec des accélérateurs graphiques orientés performance, des dispositifs réseau, des FPGA et des ASIC ; certains processeurs utilisent la HBM comme cache ou RAM sur boîtier, tels que le NEC SX-Aurora TSUBASA et le Fujitsu A64FX. La première puce mémoire HBM a été produite par SK Hynix en 2013, et les premiers dispositifs expédiés avec HBM étaient les GPU AMD Fiji en 2015.
La HBM a été adoptée par JEDEC comme norme industrielle en octobre 2013. La deuxième génération, HBM2, a été acceptée par JEDEC en janvier 2016. JEDEC a officiellement annoncé la norme HBM3 le 27 janvier 2022, et la norme HBM4 en avril 2025. En 2025, les plus grands fabricants mondiaux de HBM incluent SK Hynix, Samsung Electronics et Micron Technology. TSMC produit la puce de base pour la HBM et est prévu pour être la fonderie de plusieurs entreprises HBM en 2026.
Technologie
La HBM atteint une bande passante plus élevée que la DDR4 ou la GDDR5 tout en utilisant moins d'énergie, et dans un facteur de forme considérablement plus petit. Cela est réalisé en empilant jusqu'à 32 puces DRAM et une puce de base optionnelle qui peut inclure des circuits de tampon et une logique de test. L'empilement est souvent connecté au contrôleur mémoire sur un GPU ou un CPU via un substrat, tel qu'un interposeur en silicium. Alternativement, la puce mémoire pourrait être empilée directement sur la puce CPU ou GPU. Dans l'empilement, les puces sont interconnectées verticalement par des vias traversants en silicium (TSV) et des microbosses. La technologie HBM est similaire en principe, mais incompatible avec, l'interface Hybrid Memory Cube (HMC) développée par Micron Technology.
Le bus mémoire HBM est très large par rapport à d'autres mémoires DRAM telles que la DDR4 ou la GDDR5. Un empilement HBM1 de quatre puces DRAM (4-Hi) a deux canaux de 128 bits par puce pour un total de 8 canaux et une largeur de 1024 bits au total. Une carte graphique/GPU avec quatre empilements HBM 4-Hi aurait donc un bus mémoire d'une largeur de 4096 bits. En comparaison, la largeur de bus des mémoires GDDR est de 32 bits, avec 16 canaux pour une carte graphique avec une interface mémoire de 512 bits. HBM1 supportait jusqu'à 4 Go par boîtier.
Le plus grand nombre de connexions à la mémoire, par rapport à la DDR4 ou la GDDR5, a nécessité une nouvelle méthode de connexion de la mémoire HBM au GPU (ou autre processeur). AMD et Nvidia ont tous deux utilisé des dispositifs semi-conducteurs spécialisés, appelés interposeurs, pour connecter la mémoire et les puces GPU. Cet interposeur a l'avantage supplémentaire d'exiger que la mémoire et le processeur soient physiquement proches, réduisant les chemins mémoire. Cependant, comme la fabrication de dispositifs semi-conducteurs est considérablement plus coûteuse que la fabrication de cartes de circuits imprimés, cela ajoute du coût au produit final.
Interface
La DRAM HBM est étroitement couplée à la puce du processeur hôte avec une interface distribuée. L'interface est divisée en canaux indépendants. Les canaux sont complètement indépendants les uns des autres et ne sont pas nécessairement synchrones entre eux. La DRAM HBM utilise une architecture à interface large pour atteindre un fonctionnement à haute vitesse et faible consommation. La DRAM HBM1 utilisait une horloge différentielle de 500 MHz CK_t / CK_c (où le suffixe "_t" désigne la composante "vraie", ou "positive", de la paire différentielle, et "_c" signifie la composante "complémentaire"). Les commandes sont enregistrées sur les fronts montants de CK_t et CK_c. Chaque interface de canal maintenait un bus de données de 128 bits fonctionnant à ce taux de double débit de données (DDR). HBM1 supportait des taux de transfert de 1 GT/s par broche (transférant 1 bit), donnant une bande passante globale de boîtier de 128 Go/s.
HBM2
La deuxième génération de mémoire à large bande passante, HBM2, spécifiait également jusqu'à huit puces par empilement et doublait les taux de transfert par broche jusqu'à 2 GT/s. En conservant un accès de 1024 bits de large, HBM2 pouvait atteindre une bande passante mémoire de 256 Go/s par boîtier. La spécification HBM2 permettait jusqu'à 8 Go par boîtier. HBM2 était prédite pour être particulièrement utile pour les applications grand public sensibles à la performance, telles que la réalité virtuelle.
Le 19 janvier 2016, Samsung a annoncé une production de masse précoce de HBM2, jusqu'à 8 Go par empilement. SK Hynix a également annoncé la disponibilité d'empilements de 4 Go en août 2016.
#### HBM2E
Fin 2018, JEDEC a annoncé une mise à jour de la spécification HBM2, prévoyant une bande passante et des capacités accrues. Jusqu'à 307 Go/s par empilement (taux de données effectif de 2,5 Tbit/s) était alors supporté dans la spécification officielle, bien que des produits fonctionnant à cette vitesse étaient déjà disponibles. De plus, la mise à jour ajoutait le support des empilements 12-Hi (12 puces), rendant possibles des capacités allant jusqu'à 24 Go par empilement.
Le 20 mars 2019, Samsung a annoncé son Flashbolt HBM2E, avec huit puces par empilement, un taux de transfert de 3,2 GT/s, fournissant un total de 16 Go et 410 Go/s par empilement. Le 12 août 2019, SK Hynix a annoncé son HBM2E, avec huit puces par empilement, un taux de transfert de 3,6 GT/s, fournissant un total de 16 Go et 460 Go/s par empilement. Le 2 juillet 2020, SK Hynix a annoncé que la production de masse avait commencé. En octobre 2019, Samsung a annoncé son HBM2E à 12 couches.
HBM3
Fin 2020, Micron a dévoilé que la norme HBM2E serait mise à jour et, parallèlement, a dévoilé la norme suivante alors connue sous le nom de HBMnext (plus tard renommée HBM3). Cela devait être un grand saut générationnel par rapport à HBM2 et le remplacement de HBM2E. Cette nouvelle VRAM serait arrivée sur le marché au quatrième trimestre de 2022. Cela aurait probablement introduit une nouvelle architecture comme le suggère le nom.
Bien que l'architecture ait pu être révisée, des fuites indiquaient des performances similaires à la norme HBM2E mise à jour. Cette RAM était susceptible d'être utilisée principalement dans les GPU de centres de données. Mi-2021, SK Hynix a dévoilé certaines spécifications de la norme HBM3, avec des vitesses d'E/S de 5,2 Gbit/s et une bande passante de 665 Go/s par boîtier, ainsi que des solutions 2.5D et 3D jusqu'à 16 hauteurs.
Le 20 octobre 2021, avant que la norme JEDEC pour HBM3 ne soit finalisée, SK Hynix a été le premier fournisseur de mémoire à annoncer qu'il avait terminé le développement de dispositifs mémoire HBM3. Selon SK Hynix, la mémoire aurait fonctionné aussi vite que 6,4 Gbit/s/broche, soit le double du taux de données de la HBM2E standard JEDEC, qui plafonnait officiellement à 3,2 Gbit/s/broche, ou 78 % plus rapide que la propre HBM2E de SK Hynix à 3,6 Gbit/s/broche. Les dispositifs supportaient un taux de transfert de données de 6,4 Gbit/s et donc un seul empilement HBM3 pourrait avoir fourni une bande passante allant jusqu'à 819 Go/s. Les largeurs de bus de base pour HBM3 restaient inchangées, avec un seul empilement de mémoire étant de 1024 bits de large. SK Hynix offrirait cette mémoire en deux capacités : 16 Go et 24 Go, correspondant aux empilements 8-Hi et 12-Hi.
Impact sur le marché
La HBM a connu une augmentation de demande sans précédent, et en général, le prix de la DRAM (DDR4, DDR et mémoire flash/NAND) a, début 2026, "connu des augmentations composées, certaines dépassant 200 %, depuis début 2025 ... [en raison de] la demande sans précédent provenant du secteur de l'IA ... La HBM évince la capacité DRAM de base. Micron a noté un ratio de conversion de 3 pour 1 entre la capacité de plaquettes HBM et DDR5, ce qui signifie que chaque montée en puissance de HBM comprime directement l'offre de mémoire à usage général."
Cette demande est largement motivée par la montée des charges de travail d'intelligence artificielle et de apprentissage automatique, en particulier dans les grands modèles de langage et les systèmes d'IA générative. Des entreprises comme AMD, Nvidia et Intel intègrent la HBM dans leurs accélérateurs, tandis que Samsung Electronics et SK Hynix sont des fournisseurs clés. La technologie est également critique pour l'emballage avancé de TSMC, car elle produit la puce de base pour les empilements HBM.
Orientations futures
La norme HBM4, annoncée en avril 2025, devrait encore augmenter la bande passante et la capacité, avec TSMC prévu pour être la fonderie de plusieurs entreprises HBM en 2026. Alors que les modèles d'IA croissent en taille et en complexité, la demande de mémoire à large bande passante est susceptible de continuer à augmenter, conduisant potentiellement à d'autres innovations dans l'empilement et l'intégration de la mémoire.