NVLink est un lien de communication série basé sur des fils, multi-voies et à courte portée, développé par Nvidia pour les transferts de données et de codes de contrôle entre les CPU et les GPU et entre les GPU. Contrairement à PCI Express, un périphérique peut être composé de plusieurs NVLinks, et les périphériques peuvent utiliser une mise en réseau maillée pour communiquer au lieu d'un concentrateur central ou d'un commutateur. Le protocole a été annoncé pour la première fois en mars 2014 et utilise une interconnexion de signalisation haute vitesse propriétaire (NVHS. NVLink est conçu pour répondre aux demandes croissantes de bande passante du calcul haute performance, de l'intelligence artificielle et des charges de travail de apprentissage automatique, offrant une alternative à faible latence et à haut débit aux architectures de bus traditionnelles
Architecture et Versions
NVLink spécifie une connexion point-à-point avec des débits de données de 20, 25 et 50 Gbit/s par paire différentielle pour les versions 1.0, 2.0 et 3.0 et supérieures, respectivement. Pour NVLink 1.0 et 2.0, huit paires différentielles forment un sous-lien, et deux sous-liens(une pour chaque direction) forment un lien. À partir de NVLink 3.0, seulement quatre paires différentielles forment un sous-lien. Pour NVLink 2.0 et supérieures, le débit total de données pour un sous-lien est de 25 GB/s, et le débit total de données pour un lien est de 50 GB/s. Chaque GPU V100 prend en charge jusqu'à six liens, fournissant jusqu'à 300 GB/s de bande passante bidirectionnelle totale. Annoncé le 14 mai 2020, NVLink 3.0 a augmenté le débit par paire à 50 Gbit/s tout en réduisant de moitié le nombre de paires par lien. Avec 12 liens sur le GPU A100 basé sur Ampere, la bande passante totale a atteint 600 GB/s. La microarchitecture Hopper, annoncée en mars 2022, présente 18 liens NVLink 4.0, permettant 900 GB/s. NVLink 6, utilisé dans la plateforme Vera Rubin NVL72 de Nvidia, fournit 3.6 TB/s de bande passante bidirectionnelle par GPU, avec neuf commutateurs NVLink 6 délivrant 260 TB/s de bande passante totale de mise à l'échelle par rack
Évolutivité et Commutation
Pour de petits nombres de GPU, les voies NVLink sur un seul périphérique sont suffisantes pour une connectivité maillée tout-à-tout. Pour accueillir des nombres plus élevés de GPU, NVLink a utilisé une architecture à commutation de paquets depuis 2018, où un commutateur central peut servir jusqu'à 32 ports à deux voies. Le NVSwitch pour NVLink 4.0 peut effectuer des calculs simples(par exemple, somme, diffusion) pour réduire les frais de communication via l'accélérateur SHARP. Cette approche basée sur des commutateurs permet de construire de grands clusters de GPU, tels que ceux utilisés dans l'entraînement de apprentissage profond et l'inférence de grand modèle de langage, où une mise à l'échelle efficace est critique
Caractéristiques de Performance
La performance réelle est affectée par des frais généraux tels que le codage de ligne 128b/130b, les caractères de contrôle de lien, les en-têtes de transaction, les capacités de mise en tampon et l'utilisation de DMA côté hôte. Ces facteurs réduisent généralement le débit à 90-95% du taux de transfert théorique. Les benchmarks montrent un taux de transfert réalisable d'environ 35.3 Gbit/s(hôte vers périphérique) pour une connexion NVLink de 40 Gbit/s vers un GPU P100 dans un système piloté par des CPU IBM POWER8. Le tableau ci-dessous compare les métriques de base entre les versions:
| Version | Débit par paire | Paires par sous-lien | Liens par GPU | Bande passante totale |
|---|---|---|---|---|
| 1.0 | 20 Gbit/s | 8 | 4 (P100) | 160 GB/s |
| 2.0 | 25 Gbit/s | 8 | 6 (V100) | 300 GB/s |
| 3.0 | 50 Gbit/s | 4 | 12 (A100) | 600 GB/s |
| 4.0 | 50 Gbit/s | 4 | 18 (H100) | 900 GB/s |
| 6.0 | - | - | - | 3.6 TB/s |
Utilisation avec des Cartes d'Extension
NVLink est également disponible sur certaines cartes graphiques haut de gamme, qui présentent des connecteurs physiques pour joindre des cartes en un groupe NVLink. Ces connecteurs sont généralement en forme de U avec des connecteurs de bord à grille fine, et la largeur détermine l'espacement des slots requis(communément 3 à 5 slots. L'interconnexion est souvent appelée Scalable Link Interface (SLI) en raison de sa conception structurelle, bien que le NVLink moderne soit techniquement différent. Les périphériques rapportés incluent Quadro GP100(jusqu'à 160 GB/s avec deux ponts, Quadro GV100(jusqu'à 200 GB/s, GeForce RTX 2080 et 2080 Ti (pont unique, GeForce RTX 3090(pont unique, et Quadro RTX 5000/6000/8000(jusqu'à 100 GB/s
Logiciel et Programmation
Pour les gammes de produits Tesla, Quadro et Grid, l'API NVML(Nvidia Management Library API) fournit des fonctions pour contrôler les interconnexions NVLink sur Windows et Linux, y compris l'évaluation des composants, la requête de statut/d'erreur et la surveillance de performance. La bibliothèque NCCL(Nvidia Collective Communications Library) permet aux développeurs d'implémenter de puissantes applications d'IA et à forte intensité de calcul au-dessus de NVLink. La page "3D Settings" du panneau de contrôle Nvidia et l'échantillon CUDA "simpleP2P" utilisent ces API. Sur Linux, l'outil de ligne de commande nvidia-smi nvlink offre des informations avancées similaires et un contrôle
Histoire
Le 5 avril 2016, Nvidia a annoncé que NVLink serait implémenté dans le GPU GP100 basé sur Pascal, utilisé dans des produits comme le Tesla P100. Le calculateur haute performance DGX-1 permettait jusqu'à huit modules P100 dans un seul rack, connectés à jusqu'à deux CPU hôtes via une carte porteuse dédiée pour router les connexions NVLink. Chaque P100 nécessitait 800 broches(400 pour PCIe et alimentation, et 400 autres pour NVLink. Les générations suivantes(Volta, Ampere, Hopper et ultérieures) ont continué à augmenter les nombres de liens et la bande passante, consolidant NVLink comme une technologie clé pour l'IA générative et le calcul haute performance.