NVLink es un enlace de comunicación serial basado en cables, de múltiples carriles y de corto alcance, desarrollado por Nvidia para conectar procesadores en sistemas de computación de alto rendimiento. A diferencia de PCI Express, un dispositivo puede consistir en múltiples NVLinks, y los dispositivos pueden usar redes en malla para comunicarse en lugar de un concentrador o conmutador central. El protocolo se anunció por primera vez en marzo de 2014 y utiliza una interconexión de señalización de alta velocidad propietaria (NVHS). Se utiliza principalmente para transferir datos y código de control entre CPU y GPU, y entre GPU y GPU, lo que permite comunicación de alta velocidad y baja latencia para cargas de trabajo intensivas en cómputo, como inteligencia artificial y aprendizaje automático.
NVLink especifica una conexión punto a punto con velocidades de datos de 20, 25 y 50 Gbit/s por par diferencial para las versiones 1.0, 2.0 y 3.0 y superiores, respectivamente. Para NVLink 1.0 y 2.0, ocho pares diferenciales forman un sub-enlace, y dos sub-enlaces (uno para cada dirección) forman un enlace. A partir de NVLink 3.0, solo cuatro pares diferenciales forman un sub-enlace. Para NVLink 2.0 y superiores, la velocidad total de datos para un sub-enlace es de 25 GB/s, y la velocidad total de datos para un enlace es de 50 GB/s. Cada GPU V100 admite hasta seis enlaces, proporcionando hasta 300 GB/s de ancho de banda bidireccional total. Anunciado el 14 de mayo de 2020, NVLink 3.0 aumentó la velocidad de datos por par diferencial de 25 Gbit/s a 50 Gbit/s, mientras que redujo el número de pares por enlace de 8 a 4. Con 12 enlaces para una GPU A100 basada en Ampere, esto eleva el ancho de banda total a 600 GB/s. La microarquitectura de GPU Hopper, anunciada en marzo de 2022, tiene 18 enlaces NVLink 4.0, lo que permite un ancho de banda total de 900 GB/s. NVLink 6, utilizado en la plataforma Vera Rubin NVL72 de Nvidia, proporciona 3.6 TB/s de ancho de banda bidireccional por GPU, y un rack NVL72 utiliza nueve conmutadores NVLink 6 para proporcionar 260 TB/s de ancho de banda total de escalado.
Topología y conmutación
Para números pequeños de GPU, los carriles NVLink en un solo dispositivo son suficientes para una conectividad de malla de todos a todos. Para acomodar recuentos más altos de GPU, NVLink desde 2018 utiliza una arquitectura de conmutación de paquetes, donde un conmutador central puede servir hasta 32 puertos de dos carriles. El NVSwitch para NVLink 4.0 puede realizar algunos cálculos simples propios (por ejemplo, suma, difusión) para reducir la necesidad de comunicación, gracias al acelerador SHARP. Esto permite escalar más allá de las conexiones directas GPU a GPU, habilitando sistemas más grandes como la serie DGX y los racks NVL72.
Características de rendimiento
El rendimiento en el mundo real se determina aplicando diferentes costos de sobrecarga de transmisión de datos, como el código de línea 128b/130b, caracteres de control de enlace, encabezados de transacción, capacidades de almacenamiento en búfer y uso de DMA en el lado de la computadora. Estas limitaciones físicas generalmente reducen la velocidad de datos a entre el 90 y el 95 por ciento de la velocidad de transferencia. Los puntos de referencia de NVLink muestran una velocidad de transferencia alcanzable de aproximadamente 35.3 Gbit/s (de host a dispositivo) para una conexión NVLink de 40 Gbit/s (2 sub-carriles de enlace ascendente) hacia una GPU P100 en un sistema impulsado por CPUs IBM POWER8.
Uso con tarjetas de expansión
Para varias versiones de tarjetas de expansión, un pequeño número de tarjetas gráficas de gama alta para juegos y profesionales exponen conectores adicionales para unirlas en un grupo NVLink. Existe un número similar de enchufes de interconexión basados en PCB, relativamente compactos y ligeramente variables. Típicamente, solo las tarjetas del mismo tipo se acoplarán entre sí debido al diseño físico y lógico. Para algunas configuraciones, se necesitan aplicar dos enchufes idénticos para lograr la velocidad de datos completa. El enchufe típico tiene forma de U con un conector de borde de rejilla fina en cada extremo orientado hacia afuera del espectador. El ancho del enchufe determina cuán separadas deben estar las tarjetas de expansión, con anchos de enchufe conocidos de 3 a 5 ranuras según el tipo de tarjeta. La interconexión a menudo se denomina Interfaz de Enlace Escalable (SLI) desde 2004 por su diseño estructural, aunque los diseños modernos basados en NVLink son técnicamente diferentes. Los dispositivos reportados incluyen Quadro GP100 (hasta 2 puentes, 160 GB/s), Quadro GV100 (hasta 2 puentes, 200 GB/s), GeForce RTX 2080 y 2080 Ti con puentes individuales, GeForce RTX 3090 con un puente único, y Quadro RTX 5000, 6000 y 8000 con puentes individuales que logran hasta 100 GB/s.
Software de servicio y programación
Para las líneas de productos Tesla, Quadro y Grid, la API NVML (API de Biblioteca de Gestión de Nvidia) ofrece funciones para controlar programáticamente aspectos de NVLink en Windows y Linux, como evaluación de componentes, consulta de estado/errores y monitoreo de rendimiento. La biblioteca NCCL (Biblioteca de Comunicaciones Colectivas de Nvidia) permite a los desarrolladores implementar aplicaciones potentes de aprendizaje profundo y con alta demanda de cómputo sobre NVLink. La página "Configuración 3D" del panel de control de Nvidia y la aplicación de muestra CUDA "simpleP2P" utilizan tales API. En Linux, la aplicación de línea de comandos con el sub-comando "nvidia-smi nvlink" proporciona información avanzada y control.
Historia
El 5 de abril de 2016, Nvidia anunció que NVLink se implementaría en la GPU GP100 basada en la microarquitectura Pascal, como se usa en los productos Nvidia Tesla P100. Con la introducción de la computadora de alto rendimiento DGX-1, se hizo posible tener hasta ocho módulos P100 en un solo sistema de rack conectados a hasta dos CPUs host. La placa portadora permite una placa dedicada para enrutar conexiones NVLink, con cada P100 requiriendo 800 pines (400 para PCIe más alimentación, y otros 400 para NVLink). Desde entonces, NVLink ha evolucionado a través de múltiples generaciones, con cada iteración aumentando el ancho de banda y el número de enlaces, y sigue siendo un componente clave en la infraestructura de entrenamiento de IA generativa y modelos de lenguaje grandes de Nvidia.