NVLink-C2C ist eine Chip-zu-Chip-Verbindungstechnologie, die von NVIDIA für die Verbindung von Prozessoren, GPUs und anderen Beschleunigern innerhalb eines einzelnen Systems entwickelt wurde. Sie basiert auf dem NVLink-Protokoll, das erstmals im März 2014 als drahtgebundene, serielle, mehrspurige Kommunikationsverbindung für kurze Distanzen angekündigt wurde. Im Gegensatz zu PCI Express ermöglicht NVLink Geräten die Nutzung mehrerer Verbindungen und Mesh-Netzwerke, wodurch eine direkte Peer-to-Peer-Kommunikation ohne zentralen Hub möglich wird. NVLink-C2C erweitert diese Technologie, um Hochbandbreiten- und Niedriglatenzverbindungen zwischen verschiedenen Chip-Typen bereitzustellen, beispielsweise zwischen einer CPU und einer GPU oder zwischen mehreren GPUs in einem eng gekoppelten System. Diese Verbindungstechnologie ist entscheidend für moderne KI- und maschinelles Lernen-Workloads, bei denen ein massiver Datentransfer zwischen Rechenelementen erforderlich ist.
NVLink-C2C unterstützt kohärenten Speicheraustausch, wodurch verbundene Geräte auf einen einheitlichen Speicherraum zugreifen können. Dies vereinfacht die Programmierung und reduziert Datenredundanz, was die Leistung für Anwendungen wie Deep Learning und große Sprachmodelle verbessert. Die Technologie wird in NVIDIAs Grace-CPU- und Hopper-GPU-Architekturen eingesetzt und ermöglicht Systeme wie den Grace-Hopper-Superchip, der eine CPU und eine GPU über NVLink-C2C für beschleunigtes Rechnen koppelt.
Technische Spezifikationen
NVLink-C2C nutzt die physikalische Schicht von NVLink, die Punkt-zu-Punkt-Verbindungen mit Datenraten von 20, 25 und 50 Gbit/s pro Differenzialpaar für die Versionen 1.0, 2.0 bzw. 3.0+ spezifiziert. Bei NVLink 1.0 und 2.0 bilden acht Differenzialpaare eine Unterverbindung, und zwei Unterverbindungen (eine für jede Richtung) bilden eine Verbindung. Ab NVLink 3.0 bilden nur noch vier Differenzialpaare eine Unterverbindung. Die Gesamtdatenrate pro Unterverbindung beträgt 25 GB/s für NVLink 2.0 und höher, und die Gesamtrate pro Verbindung beträgt 50 GB/s. NVLink-C2C verwendet ähnliche Hochgeschwindigkeitssignalisierung, ist jedoch für Chip-zu-Chip-Verbindungen innerhalb eines Gehäuses oder auf einer Platine optimiert, anstatt zwischen separaten Modulen.
Beispielsweise verfügt die Grace-CPU über 18 NVLink-C2C-Verbindungen, die eine bidirektionale Bandbreite von bis zu 900 GB/s zu einer Hopper-GPU bereitstellen. Diese hohe Bandbreite ermöglicht einen effizienten Datentransfer für generative KI- und Transformer-Modelle, die große Speicheranforderungen und häufige Kommunikation zwischen Recheneinheiten erfordern.
Architektur und Design
NVLink-C2C ist so konzipiert, dass es eine Vielzahl von Topologien unterstützt, darunter Punkt-zu-Punkt-, Mesh- und Switch-basierte Verbindungen. Für eine kleine Anzahl von Geräten bieten direkte Verbindungen eine All-to-All-Konnektivität. Für größere Systeme verwenden NVLink-Switches (2018 eingeführt) eine paketvermittelte Architektur, wobei jeder Switch bis zu 32 Zweispur-Ports unterstützt. Der NVSwitch für NVLink 4.0 enthält den SHARP-Beschleuniger, der einfache Berechnungen wie Summe und Broadcast im Netzwerk durchführen kann, wodurch der Kommunikationsaufwand reduziert wird.
NVLink-C2C integriert auch Funktionen für Zuverlässigkeit und Energieeffizienz. Es verwendet einen 128b/130b-Leitungscode, ähnlich wie PCI Express 3.0 und höher, was den Overhead im Vergleich zu älteren Kodierungsschemata reduziert. Die physikalische Schicht enthält Verbindungssteuerzeichen und Transaktionsheader, die einen gewissen Overhead hinzufügen, aber Benchmarks zeigen erreichbare Übertragungsraten von etwa 90-95 % des theoretischen Maximums. Beispielsweise erreichte eine 40-Gbit/s-NVLink-Verbindung zu einer P100-GPU in realen Tests etwa 35,3 Gbit/s.
Anwendungen und Einsatzgebiete
NVLink-C2C wird hauptsächlich im Hochleistungsrechnen und in KI-Rechenzentren eingesetzt. Es ist eine Schlüsselkomponente von NVIDIAs DGX-Systemen, die mehrere GPUs für das Training und die Inferenz großer Modelle integrieren. Die Verbindungstechnologie wird auch im Grace-Hopper-Superchip verwendet, der eine 72-Kern-Grace-CPU mit einer H100-GPU kombiniert und eine Bandbreite von bis zu 900 GB/s zwischen ihnen liefert. Dieses Design ist besonders effektiv für speichergebundene Workloads wie neuronale Netze und große Sprachmodelle, bei denen die Datenübertragungsgeschwindigkeit ein Engpass ist.
Neben KI wird NVLink-C2C im wissenschaftlichen Rechnen eingesetzt, wo Simulationen und Datenanalysen eine hohe Durchsatzkommunikation erfordern. Die Technologie wird auch von Cloud-Anbietern wie Amazon Web Services und Google Cloud für ihre KI-Infrastruktur übernommen sowie von TSMC-gefertigten Chips in Systemen von AMD und Intel, die NVLink-C2C für heterogenes Rechnen integrieren.
Vergleich mit anderen Verbindungstechnologien
NVLink-C2C konkurriert mit anderen Hochgeschwindigkeits-Verbindungstechnologien wie PCI Express, CXL und InfiniBand. Im Vergleich zu PCIe bietet NVLink-C2C eine höhere Bandbreite und geringere Latenz, da es speziell für die Chip-zu-Chip-Kommunikation und nicht für die Peripherieerweiterung entwickelt wurde. Beispielsweise bietet PCIe 5.0 32 GT/s pro Lane, während NVLink 4.0 50 Gbit/s pro Differenzialpaar bietet, und mit mehr Verbindungen ist die Gesamtbandbreite deutlich höher. CXL, das auf PCIe basiert, unterstützt cache-kohärenten Speicheraustausch, hat jedoch typischerweise eine geringere Bandbreite als NVLink-C2C.
NVLink-C2C unterscheidet sich auch von Netzwerk-Verbindungstechnologien wie InfiniBand, die für die System-zu-System-Kommunikation verwendet werden. NVLink-C2C ist für Intra-System-Verbindungen gedacht und bietet eine geringere Latenz und höhere Bandbreite als Netzwerklösungen. Dies macht es ideal für eng gekoppelte Rechenknoten in einem einzelnen Server oder Rack.
Zukünftige Entwicklungen
NVIDIA entwickelt die NVLink-Technologie weiter. NVLink 6, das in der Vera-Rubin-NVL72-Plattform verwendet wird, bietet 3,6 TB/s bidirektionale Bandbreite pro GPU. Ein NVL72-Rack verwendet neun NVLink-6-Switches, um eine gesamte Scale-up-Bandbreite von 260 TB/s zu liefern. Diese Fortschritte werden voraussichtlich noch größere KI-Modelle und komplexere Simulationen unterstützen und NVLink-C2Cs Position als führende Chip-zu-Chip-Verbindungstechnologie in der Branche festigen.
Ab 2025 ist NVLink-C2C ein entscheidender Wegbereiter für die KI-Infrastruktur, und seine Adoption wächst in den Angeboten von AWS, Azure und Oracle Cloud. Die Technologie wird auch für den Einsatz in Edge-Geräten und Automobilanwendungen erforscht, wo Hochbandbreiten- und Niedrigenergie-Verbindungen unerlässlich sind.