High Bandwidth Memory (HBM) es una interfaz de memoria para memoria dinámica de acceso aleatorio síncrona (SDRAM) apilada en 3D, desarrollada inicialmente por Samsung, AMD y SK Hynix. Se utiliza a menudo junto con aceleradores gráficos orientados al rendimiento, dispositivos de red, FPGA y ASIC; algunas CPU utilizan HBM como caché o RAM en el paquete, como la NEC SX-Aurora TSUBASA y la Fujitsu A64FX. El primer chip de memoria HBM fue producido por SK Hynix en 2013, y los primeros dispositivos que se enviaron con HBM fueron las GPU AMD Fiji en 2015.
HBM fue adoptado por JEDEC como estándar de la industria en octubre de 2013. La segunda generación, HBM2, fue aceptada por JEDEC en enero de 2016. JEDEC anunció oficialmente el estándar HBM3 el 27 de enero de 2022, y el estándar HBM4 en abril de 2025. En 2025, los mayores fabricantes de HBM del mundo incluyen a SK Hynix, Samsung Electronics y Micron Technology. TSMC produce el dado base para HBM y está previsto que sea la fundición para varias empresas de HBM en 2026.
Tecnología
HBM logra un mayor ancho de banda que DDR4 o GDDR5 utilizando menos energía y en un factor de forma sustancialmente más pequeño. Esto se logra apilando hasta 32 dados DRAM y un dado base opcional que puede incluir circuitos de búfer y lógica de prueba. La pila a menudo se conecta al controlador de memoria en una GPU o CPU a través de un sustrato, como un interposer de silicio. Alternativamente, el dado de memoria podría apilarse directamente sobre el chip de la CPU o GPU. Dentro de la pila, los dados se interconectan verticalmente mediante vías de silicio (TSV) y microbumps. La tecnología HBM es similar en principio, pero incompatible, con la interfaz Hybrid Memory Cube (HMC) desarrollada por Micron Technology.
El bus de memoria HBM es muy ancho en comparación con otras memorias DRAM como DDR4 o GDDR5. Una pila HBM1 de cuatro dados DRAM (4-Hi) tiene dos canales de 128 bits por dado, para un total de 8 canales y un ancho de 1024 bits en total. Una tarjeta gráfica o GPU con cuatro pilas HBM de 4-Hi tendría, por tanto, un bus de memoria con un ancho de 4096 bits. En comparación, el ancho del bus de las memorias GDDR es de 32 bits, con 16 canales para una tarjeta gráfica con una interfaz de memoria de 512 bits. HBM1 admitía hasta 4 GB por paquete.
El mayor número de conexiones a la memoria, en comparación con DDR4 o GDDR5, requirió un nuevo método para conectar la memoria HBM a la GPU u otro procesador. AMD y Nvidia han utilizado ambos dispositivos semiconductores especialmente diseñados, llamados interposers, para conectar la memoria y los dados de la GPU. Este interposer tiene la ventaja añadida de requerir que la memoria y el procesador estén físicamente cerca, disminuyendo las rutas de memoria. Sin embargo, dado que la fabricación de dispositivos semiconductores es significativamente más cara que la fabricación de placas de circuito impreso, esto añade coste al producto final.
Interfaz
La DRAM HBM está estrechamente acoplada al dado del procesador anfitrión con una interfaz distribuida. La interfaz se divide en canales independientes. Los canales son completamente independientes entre sí y no son necesariamente síncronos entre ellos. La DRAM HBM utiliza una arquitectura de interfaz ancha para lograr un funcionamiento de alta velocidad y bajo consumo. La DRAM HBM1 utilizaba un reloj diferencial de 500 MHz CK_t / CK_c (donde el sufijo "_t" denota el componente "verdadero" o "positivo" del par diferencial, y "_c" significa el "complementario"). Los comandos se registran en los flancos ascendentes de CK_t y CK_c. Cada interfaz de canal mantenía un bus de datos de 128 bits que operaba a esta tasa de datos doble (DDR). HBM1 admitía tasas de transferencia de 1 GT/s por pin (transfiriendo 1 bit), lo que resultaba en un ancho de banda total del paquete de 128 GB/s.
HBM2
La segunda generación de High Bandwidth Memory, HBM2, también especificaba hasta ocho dados por pila y duplicaba las tasas de transferencia por pin hasta 2 GT/s. Manteniendo un acceso de 1024 bits de ancho, HBM2 fue capaz de alcanzar un ancho de banda de memoria de 256 GB/s por paquete. La especificación HBM2 permitía hasta 8 GB por paquete. Se predijo que HBM2 sería especialmente útil para aplicaciones de consumo sensibles al rendimiento, como la realidad virtual.
El 19 de enero de 2016, Samsung anunció la producción en masa temprana de HBM2, con hasta 8 GB por pila. SK Hynix también anunció la disponibilidad de pilas de 4 GB en agosto de 2016.
HBM2E
A finales de 2018, JEDEC anunció una actualización de la especificación HBM2, que proporcionaba un mayor ancho de banda y capacidades. Hasta 307 GB/s por pila (tasa de datos efectiva de 2,5 Tbit/s) se admitían entonces en la especificación oficial, aunque los productos que operaban a esta velocidad ya estaban disponibles. Además, la actualización añadió soporte para pilas de 12-Hi (12 dados), lo que hace posibles capacidades de hasta 24 GB por pila.
El 20 de marzo de 2019, Samsung anunció su HBM2E Flashbolt, con ocho dados por pila, una tasa de transferencia de 3,2 GT/s, que proporciona un total de 16 GB y 410 GB/s por pila. El 12 de agosto de 2019, SK Hynix anunció su HBM2E, con ocho dados por pila, una tasa de transferencia de 3,6 GT/s, que proporciona un total de 16 GB y 460 GB/s por pila. El 2 de julio de 2020, SK Hynix anunció que la producción en masa había comenzado. En octubre de 2019, Samsung anunció su HBM2E de 12 capas.
HBM3
A finales de 2020, Micron reveló que el estándar HBM2E se actualizaría y, junto con ello, reveló el siguiente estándar conocido como HBMnext (más tarde renombrado a HBM3). Esto iba a ser un gran salto generacional desde HBM2 y el reemplazo de HBM2E. Esta nueva VRAM habría llegado al mercado en el cuarto trimestre de 2022. Esto probablemente habría introducido una nueva arquitectura, como sugiere el nombre.
Aunque la arquitectura podría haber sido revisada, las filtraciones apuntaban a un rendimiento similar al estándar HBM2E actualizado. Esta RAM probablemente se utilizaría principalmente en GPU de centros de datos. A mediados de 2021, SK Hynix reveló algunas especificaciones del estándar HBM3, con velocidades de E/S de 5,2 Gbit/s y un ancho de banda de 665 GB/s por paquete, así como soluciones 2.5D y 3D de hasta 16 capas.
El 20 de octubre de 2021, antes de que el estándar JEDEC para HBM3 se finalizara, SK Hynix fue el primer proveedor de memoria en anunciar que había terminado el desarrollo de dispositivos de memoria HBM3. Según SK Hynix, la memoria habría funcionado a una velocidad de hasta 6,4 Gbit/s/pin, el doble de la tasa de datos del HBM2E estándar JEDEC, que formalmente alcanzaba un máximo de 3,2 Gbit/s/pin, o un 78% más rápido que el HBM2E propio de SK Hynix de 3,6 Gbit/s/pin. Los dispositivos admitían una tasa de transferencia de datos de 6,4 Gbit/s y, por lo tanto, una sola pila HBM3 podría haber proporcionado un ancho de banda de hasta 819 GB/s. Los anchos de bus básicos para HBM3 permanecieron sin cambios, con una sola pila de memoria de 1024 bits de ancho. SK Hynix ofrecería esta memoria en dos capacidades: 16 GB y 24 GB, alineándose con pilas de 8-Hi y 12-Hi.
Impacto en la IA y el Mercado
HBM ha tenido un aumento de demanda sin precedentes, y en general el precio de la DRAM (DDR4, DDR y memoria flash/NAND) ha "experimentado aumentos compuestos, algunos superando el 200%, desde principios de 2025 ... [debido a] una demanda sin precedentes proveniente del sector de la IA ... HBM está desplazando la capacidad de DRAM de productos básicos. Micron señaló una relación de conversión de 3 a 1 entre la capacidad de obleas de HBM y DDR5, lo que significa que cada aumento de HBM comprime directamente el suministro de memoria de propósito general".
Esta demanda está impulsada por el rápido crecimiento de las cargas de trabajo de inteligencia artificial y aprendizaje automático, particularmente el entrenamiento e inferencia de modelos de lenguaje grandes, que requieren un ancho de banda de memoria masivo. HBM es un componente clave en las GPU de AMD y Nvidia utilizadas para tareas de aprendizaje profundo, así como en aceleradores especializados de empresas como Cerebras, Groq y SambaNova. La tecnología también se utiliza en AWS Trainium y otro hardware de IA basado en la nube de proveedores como Google Cloud y Azure. A medida que las aplicaciones de IA generativa se expanden, la necesidad de memoria de alto ancho de banda continúa creciendo, influyendo en las estrategias de los principales fabricantes de semiconductores como Samsung Electronics, sk-hynix y micron-technology.