NVLink-C2C est une interconnexion de puce à puce développée par NVIDIA pour connecter des processeurs, des GPU et d'autres accélérateurs au sein d'un même système. Elle est basée sur le protocole NVLink, qui a été annoncé pour la première fois en mars 2014 comme une liaison de communication série, multi-voies et à courte portée, basée sur des câbles. Contrairement à PCI Express, NVLink permet aux appareils d'utiliser plusieurs liaisons et une mise en réseau maillée, permettant une communication directe de pair à pair sans concentrateur central. NVLink-C2C étend cette technologie pour fournir des connexions à haute bande passante et à faible latence entre différents types de puces, comme un CPU et un GPU, ou entre plusieurs GPU dans un système étroitement couplé. Cette interconnexion est essentielle pour les charges de travail modernes d'IA et de machine learning, où des transferts de données massifs entre éléments de calcul sont nécessaires.
NVLink-C2C prend en charge le partage de mémoire cohérent, permettant aux appareils connectés d'accéder à un espace mémoire unifié. Cela simplifie la programmation et réduit la duplication des données, améliorant les performances pour des applications comme le deep learning et les grands modèles de langage. La technologie est utilisée dans les architectures Grace CPU et Hopper GPU de NVIDIA, permettant des systèmes comme le Grace Hopper Superchip, qui associe un CPU et un GPU via NVLink-C2C pour le calcul accéléré.
Spécifications techniques
NVLink-C2C exploite la couche physique de NVLink, qui spécifie des connexions point à point avec des débits de données de 20, 25 et 50 Gbit/s par paire différentielle pour les versions 1.0, 2.0 et 3.0+ respectivement. Pour NVLink 1.0 et 2.0, huit paires différentielles forment une sous-liaison, et deux sous-liaisons (une pour chaque direction) forment une liaison. À partir de NVLink 3.0, seules quatre paires différentielles forment une sous-liaison. Le débit total par sous-liaison est de 25 Go/s pour NVLink 2.0 et supérieur, et le total par liaison est de 50 Go/s. NVLink-C2C utilise une signalisation haute vitesse similaire, mais est optimisé pour les connexions de puce à puce au sein d'un boîtier ou sur une carte, plutôt qu'entre des modules séparés.
Par exemple, le Grace CPU dispose de 18 liaisons NVLink-C2C, fournissant jusqu'à 900 Go/s de bande passante bidirectionnelle vers un GPU Hopper. Cette bande passante élevée permet un déplacement efficace des données pour les modèles de IA générative et transformers, qui nécessitent de grandes empreintes mémoire et des communications fréquentes entre les unités de calcul.
Architecture et conception
NVLink-C2C est conçu pour prendre en charge une variété de topologies, y compris les connexions point à point, maillées et basées sur des commutateurs. Pour un petit nombre d'appareils, des liaisons directes fournissent une connectivité de tous à tous. Pour des systèmes plus grands, les commutateurs NVLink (introduits en 2018) utilisent une architecture à commutation de paquets, chaque commutateur prenant en charge jusqu'à 32 ports à deux voies. Le NVSwitch pour NVLink 4.0 inclut l'accélérateur SHARP, qui peut effectuer des calculs simples comme la somme et la diffusion dans le réseau, réduisant ainsi la surcharge de communication.
NVLink-C2C intègre également des fonctionnalités de fiabilité et d'efficacité énergétique. Il utilise un code de ligne 128b/130b, similaire à PCI Express 3.0 et supérieur, ce qui réduit la surcharge par rapport aux anciens schémas de codage. La couche physique comprend des caractères de contrôle de liaison et des en-têtes de transaction, qui ajoutent une certaine surcharge, mais les benchmarks montrent des taux de transfert réalisables d'environ 90 à 95 % du maximum théorique. Par exemple, une connexion NVLink de 40 Gbit/s vers un GPU P100 a atteint environ 35,3 Gbit/s dans des tests réels.
Applications et cas d'utilisation
NVLink-C2C est principalement utilisé dans le calcul haute performance et les centres de données d'IA. C'est un composant clé des systèmes DGX de NVIDIA, qui intègrent plusieurs GPU pour l'entraînement et l'inférence de grands modèles. L'interconnexion est également utilisée dans le Grace Hopper Superchip, qui combine un Grace CPU à 72 cœurs avec un GPU H100, offrant jusqu'à 900 Go/s de bande passante entre eux. Cette conception est particulièrement efficace pour les charges de travail limitées par la mémoire, comme les réseaux de neurones et les grands modèles de langage, où la vitesse de transfert des données est un goulot d'étranglement.
En plus de l'IA, NVLink-C2C est utilisé dans le calcul scientifique, où les simulations et l'analyse de données nécessitent une communication à haut débit. La technologie est également adoptée par des fournisseurs de cloud comme Amazon Web Services et Google Cloud pour leur infrastructure d'IA, ainsi que par des puces fabriquées par TSMC dans des systèmes d'AMD et Intel qui intègrent NVLink-C2C pour le calcul hétérogène.
Comparaison avec d'autres interconnexions
NVLink-C2C concurrence d'autres interconnexions haute vitesse telles que PCI Express, CXL et InfiniBand. Comparé à PCIe, NVLink-C2C offre une bande passante plus élevée et une latence plus faible, car il est spécifiquement conçu pour la communication de puce à puce plutôt que pour l'extension périphérique. Par exemple, PCIe 5.0 fournit 32 GT/s par voie, tandis que NVLink 4.0 offre 50 Gbit/s par paire différentielle, et avec plus de liaisons, la bande passante totale est significativement plus élevée. CXL, qui est basé sur PCIe, prend en charge le partage de mémoire cache-cohérent mais a généralement une bande passante inférieure à celle de NVLink-C2C.
NVLink-C2C diffère également des interconnexions réseau comme InfiniBand, qui sont utilisées pour la communication de système à système. NVLink-C2C est destiné aux connexions intra-système, offrant une latence plus faible et une bande passante plus élevée que les solutions réseau. Cela le rend idéal pour les nœuds de calcul étroitement couplés dans un seul serveur ou rack.
Développements futurs
NVIDIA continue de faire évoluer la technologie NVLink. NVLink 6, utilisé dans la plateforme Vera Rubin NVL72, fournit 3,6 To/s de bande passante bidirectionnelle par GPU. Un rack NVL72 utilise neuf commutateurs NVLink 6 pour délivrer 260 To/s de bande passante totale de mise à l'échelle. Ces avancées devraient prendre en charge des modèles d'IA encore plus grands et des simulations plus complexes, maintenant la position de NVLink-C2C comme interconnexion de puce à puce leader dans l'industrie.
En 2025, NVLink-C2C est un facilitateur essentiel pour l'infrastructure d'IA, et son adoption croît dans les offres d'AWS, Azure et Oracle Cloud. La technologie est également explorée pour une utilisation dans les appareils de périphérie et les applications automobiles, où des interconnexions à haute bande passante et à faible consommation sont essentielles.