NVLink-C2Cは、NVIDIAが開発したチップ間相互接続技術であり、単一システム内でプロセッサ、GPU、その他のアクセラレータを接続するために使用される。これは、2014年3月に初めて発表されたNVLinkプロトコルに基づいており、ワイヤベースのシリアル、マルチレーン、近距離通信リンクとして設計されている。PCI Expressとは異なり、NVLinkはデバイスが複数のリンクとメッシュネットワークを使用することを可能にし、中央ハブなしで直接のピアツーピア通信を実現する。NVLink-C2Cはこの技術を拡張し、CPUとGPUのような異なる種類のチップ間、または密結合システム内の複数のGPU間で、高帯域幅かつ低遅延の接続を提供する。この相互接続は、計算要素間での大規模なデータ転送が要求される現代のAIおよび機械学習ワークロードにとって重要である。
NVLink-C2Cはコヒーレントメモリ共有をサポートしており、接続されたデバイスが統一されたメモリ空間にアクセスできるようにする。これによりプログラミングが簡素化され、データの重複が削減され、深層学習や大規模言語モデルなどのアプリケーションのパフォーマンスが向上する。この技術はNVIDIAのGrace CPUおよびHopper GPUアーキテクチャで使用されており、CPUとGPUをNVLink-C2Cでペアリングして高速コンピューティングを実現するGrace Hopper Superchipなどのシステムを可能にしている。
技術仕様
NVLink-C2CはNVLinkの物理層を活用しており、バージョン1.0、2.0、3.0+でそれぞれ差動ペアあたり20、25、50 Gbit/sのデータレートを持つポイントツーポイント接続を規定している。NVLink 1.0および2.0では、8つの差動ペアがサブリンクを形成し、2つのサブリンク（各方向に1つ）がリンクを形成する。NVLink 3.0以降では、4つの差動ペアのみがサブリンクを形成する。サブリンクあたりの総データレートはNVLink 2.0以降で25 GB/s、リンクあたりの総データレートは50 GB/sである。NVLink-C2Cは同様の高速シグナリングを使用するが、別々のモジュール間ではなく、パッケージ内またはボード上のチップ間接続に最適化されている。
例えば、Grace CPUは18のNVLink-C2Cリンクを備え、Hopper GPUに対して最大900 GB/sの双方向帯域幅を提供する。この高帯域幅により、大きなメモリフットプリントと計算ユニット間の頻繁な通信を必要とする生成AIおよびトランスフォーマーモデルの効率的なデータ移動が可能になる。
アーキテクチャと設計
NVLink-C2Cは、ポイントツーポイント、メッシュ、スイッチベースの接続を含むさまざまなトポロジをサポートするように設計されている。少数のデバイスでは、直接リンクが全対全接続を提供する。より大規模なシステムでは、NVLinkスイッチ（2018年に導入）がパケット交換アーキテクチャを使用し、各スイッチは最大32の2レーンポートをサポートする。NVLink 4.0用のNVSwitchにはSHARPアクセラレータが含まれており、ネットワーク内で合計やブロードキャストなどの単純な計算を実行して通信オーバーヘッドを削減できる。
NVLink-C2Cはまた、信頼性と電力効率のための機能も組み込んでいる。PCI Express 3.0以降と同様の128b/130bラインコードを使用しており、古いエンコーディング方式と比較してオーバーヘッドを削減する。物理層にはリンク制御文字とトランザクションヘッダが含まれており、これらはある程度のオーバーヘッドを追加するが、ベンチマークでは理論上の最大値の約90〜95%の達成可能な転送レートが示されている。例えば、P100 GPUへの40 Gbit/s NVLink接続は、実世界のテストで約35.3 Gbit/sを達成した。
アプリケーションと使用例
NVLink-C2Cは主にハイパフォーマンスコンピューティングおよびAIデータセンターで使用されている。これは、大規模モデルのトレーニングと推論のために複数のGPUを統合するNVIDIAのDGXシステムの主要コンポーネントである。この相互接続はGrace Hopper Superchipでも使用されており、72コアのGrace CPUとH100 GPUを組み合わせ、それらの間で最大900 GB/sの帯域幅を提供する。この設計は、データ転送速度がボトルネックとなるニューラルネットワークや大規模言語モデルなどのメモリバウンドなワークロードに特に効果的である。
AIに加えて、NVLink-C2Cはシミュレーションやデータ分析に高スループットの通信を必要とする科学計算でも使用されている。この技術はまた、Amazon Web ServicesやGoogle CloudなどのクラウドプロバイダーがAIインフラストラクチャに採用しており、TSMC製造のチップをAMDやIntelのシステムに組み込んで、ヘテロジニアスコンピューティングにNVLink-C2Cを活用している。
他の相互接続との比較
NVLink-C2Cは、PCI Express、CXL、InfiniBandなどの他の高速相互接続と競合する。PCIeと比較すると、NVLink-C2Cは周辺機器拡張ではなくチップ間通信専用に設計されているため、より高い帯域幅と低いレイテンシを提供する。例えば、PCIe 5.0はレーンあたり32 GT/sを提供する一方、NVLink 4.0は差動ペアあたり50 Gbit/sを提供し、より多くのリンクにより総帯域幅は大幅に高くなる。PCIeベースのCXLはキャッシュコヒーレントメモリ共有をサポートするが、通常NVLink-C2Cよりも帯域幅が低い。
NVLink-C2Cはまた、システム間通信に使用されるInfiniBandなどのネットワーク相互接続とは異なる。NVLink-C2Cはシステム内接続用であり、ネットワークソリューションよりも低いレイテンシと高い帯域幅を提供する。これにより、単一サーバーまたはラック内の密結合コンピュートノードに最適である。
将来の開発
NVIDIAはNVLink技術の進化を続けている。Vera Rubin NVL72プラットフォームで使用されるNVLink 6は、GPUあたり3.6 TB/sの双方向帯域幅を提供する。NVL72ラックは9つのNVLink 6スイッチを使用して、合計260 TB/sのスケールアップ帯域幅を提供する。これらの進歩により、さらに大規模なAIモデルとより複雑なシミュレーションがサポートされ、NVLink-C2Cが業界をリードするチップ間相互接続としての地位を維持することが期待されている。
2025年時点で、NVLink-C2CはAIインフラストラクチャの重要な実現要因であり、その採用はAWS、Azure、Oracle Cloudの各サービスで拡大している。この技術はまた、高帯域幅かつ低消費電力の相互接続が不可欠なエッジデバイスや自動車アプリケーションでの使用も検討されている。