NVLink एक वायर-आधारित सीरियल, मल्टी-लेन, निकट-सीमा संचार लिंक है जिसे Nvidia द्वारा CPU और GPU के बीच तथा GPU के बीच डेटा और नियंत्रण कोड स्थानांतरण के लिए विकसित किया गया है। PCI Express के विपरीत, एक डिवाइस में कई NVLink हो सकते हैं, और डिवाइस केंद्रीय हब या स्विच के बजाय मेश नेटवर्किंग का उपयोग करके संचार कर सकते हैं। यह प्रोटोकॉल पहली बार मार्च 2014 में घोषित किया गया था और यह एक स्वामित्व वाले उच्च-गति सिग्नलिंग इंटरकनेक्ट (NVHS) का उपयोग करता है। NVLink को उच्च-प्रदर्शन कंप्यूटिंग, कृत्रिम बुद्धिमत्ता, और मशीन लर्निंग कार्यभार की बढ़ती बैंडविड्थ मांगों को संबोधित करने के लिए डिज़ाइन किया गया है, जो पारंपरिक बस आर्किटेक्चर के लिए कम-विलंबता, उच्च-थ्रूपुट विकल्प प्रदान करता है।
आर्किटेक्चर और संस्करण
NVLink एक पॉइंट-टू-पॉइंट कनेक्शन निर्दिष्ट करता है जिसमें संस्करण 1.0, 2.0, और 3.0 और उच्चतर के लिए प्रति डिफरेंशियल पेयर डेटा दर 20, 25, और 50 Gbit/s है। NVLink 1.0 और 2.0 के लिए, आठ डिफरेंशियल पेयर एक सब-लिंक बनाते हैं, और दो सब-लिंक (प्रत्येक दिशा के लिए एक) एक लिंक बनाते हैं। NVLink 3.0 से शुरू करके, केवल चार डिफरेंशियल पेयर एक सब-लिंक बनाते हैं। NVLink 2.0 और उच्चतर के लिए, एक सब-लिंक की कुल डेटा दर 25 GB/s है, और एक लिंक की कुल डेटा दर 50 GB/s है। प्रत्येक V100 GPU छह लिंक तक समर्थन करता है, जो कुल 300 GB/s द्विदिश बैंडविड्थ प्रदान करता है। 14 मई, 2020 को घोषित, NVLink 3.0 ने प्रति-पेयर डेटा दर को 50 Gbit/s तक बढ़ा दिया, जबकि प्रति लिंक पेयर की संख्या आधी कर दी। Ampere-आधारित A100 GPU पर 12 लिंक के साथ, कुल बैंडविड्थ 600 GB/s तक पहुंच गई। मार्च 2022 में घोषित Hopper माइक्रोआर्किटेक्चर में 18 NVLink 4.0 लिंक हैं, जो 900 GB/s सक्षम करते हैं। NVLink 6, जो Nvidia के Vera Rubin NVL72 प्लेटफॉर्म में उपयोग किया जाता है, प्रति GPU 3.6 TB/s द्विदिश बैंडविड्थ प्रदान करता है, जिसमें नौ NVLink 6 स्विच प्रति रैक कुल 260 TB/s स्केल-अप बैंडविड्थ वितरित करते हैं।
स्केलेबिलिटी और स्विचिंग
कम संख्या में GPU के लिए, एकल डिवाइस पर NVLink लेन सभी-से-सभी मेश कनेक्टिविटी के लिए पर्याप्त हैं। उच्च GPU संख्याओं को समायोजित करने के लिए, NVLink ने 2018 से पैकेट-स्विच्ड आर्किटेक्चर का उपयोग किया है, जहां एक केंद्रीय स्विच 32 दो-लेन पोर्ट तक सेवा कर सकता है। NVLink 4.0 के लिए NVSwitch SHARP एक्सेलेरेटर के माध्यम से संचार ओवरहेड को कम करने के लिए सरल गणनाएं (जैसे, योग, प्रसारण) कर सकता है। यह स्विच-आधारित दृष्टिकोण बड़े GPU क्लस्टर बनाने में सक्षम बनाता है, जैसे कि डीप लर्निंग प्रशिक्षण और बड़े भाषा मॉडल अनुमान में उपयोग किए जाने वाले, जहां कुशल स्केलिंग महत्वपूर्ण है।
प्रदर्शन विशेषताएं
वास्तविक-विश्व प्रदर्शन 128b/130b लाइन कोडिंग, लिंक नियंत्रण वर्ण, ट्रांजैक्शन हेडर, बफरिंग क्षमताओं, और होस्ट पक्ष पर DMA उपयोग जैसे ओवरहेड्स से प्रभावित होता है। ये कारक आमतौर पर डेटा दर को सैद्धांतिक स्थानांतरण दर के 90-95% तक कम कर देते हैं। बेंचमार्क IBM POWER8 CPU द्वारा संचालित सिस्टम में P100 GPU की ओर 40 Gbit/s NVLink कनेक्शन के लिए लगभग 35.3 Gbit/s (होस्ट से डिवाइस) की प्राप्त स्थानांतरण दर दिखाते हैं। नीचे दी गई तालिका संस्करणों में बुनियादी मेट्रिक्स की तुलना करती है:
| संस्करण | प्रति पेयर डेटा दर | प्रति सब-लिंक पेयर | प्रति GPU लिंक | कुल बैंडविड्थ |
|---|---|---|---|---|
| 1.0 | 20 Gbit/s | 8 | 4 (P100) | 160 GB/s |
| 2.0 | 25 Gbit/s | 8 | 6 (V100) | 300 GB/s |
| 3.0 | 50 Gbit/s | 4 | 12 (A100) | 600 GB/s |
| 4.0 | 50 Gbit/s | 4 | 18 (H100) | 900 GB/s |
| 6.0 | - | - | - | 3.6 TB/s |
प्लग-इन बोर्ड के साथ उपयोग
NVLink कुछ उच्च-अंत ग्राफिक्स कार्डों पर भी उपलब्ध है, जिनमें कार्डों को NVLink समूह में जोड़ने के लिए भौतिक कनेक्टर होते हैं। ये कनेक्टर आमतौर पर बारीक ग्रिड एज कनेक्टर के साथ U-आकार के होते हैं, और चौड़ाई आवश्यक स्लॉट स्पेसिंग (आमतौर पर 3 से 5 स्लॉट) निर्धारित करती है। इस इंटरकनेक्ट को अक्सर इसकी संरचनात्मक डिज़ाइन के कारण स्केलेबल लिंक इंटरफेस (SLI) के रूप में संदर्भित किया जाता है, हालांकि आधुनिक NVLink तकनीकी रूप से अलग है। रिपोर्ट किए गए डिवाइसों में Quadro GP100 (दो ब्रिज के साथ 160 GB/s तक), Quadro GV100 (200 GB/s तक), GeForce RTX 2080 और 2080 Ti (एकल ब्रिज), GeForce RTX 3090 (अद्वितीय ब्रिज), और Quadro RTX 5000/6000/8000 (100 GB/s तक) शामिल हैं।
सॉफ्टवेयर और प्रोग्रामिंग
Tesla, Quadro, और Grid उत्पाद लाइनों के लिए, NVML-API (Nvidia प्रबंधन लाइब्रेरी API) Windows और Linux पर NVLink इंटरकनेक्ट को नियंत्रित करने के लिए फ़ंक्शन प्रदान करता है, जिसमें घटक मूल्यांकन, स्थिति/त्रुटि क्वेरी, और प्रदर्शन निगरानी शामिल है। NCCL लाइब्रेरी (Nvidia सामूहिक संचार लाइब्रेरी) डेवलपर्स को NVLink के शीर्ष पर शक्तिशाली AI और गणना-भारी अनुप्रयोगों को लागू करने में सक्षम बनाती है। Nvidia नियंत्रण पैनल का "3D सेटिंग्स" पृष्ठ और CUDA नमूना "simpleP2P" इन API का उपयोग करते हैं। Linux पर, कमांड-लाइन टूल nvidia-smi nvlink समान उन्नत जानकारी और नियंत्रण प्रदान करता है।
इतिहास
5 अप्रैल, 2016 को, Nvidia ने घोषणा की कि NVLink को Pascal-आधारित GP100 GPU में लागू किया जाएगा, जिसका उपयोग Tesla P100 जैसे उत्पादों में किया जाता है। DGX-1 उच्च-प्रदर्शन कंप्यूटर ने एक ही रैक में आठ P100 मॉड्यूल तक की अनुमति दी, जो NVLink कनेक्शन को रूट करने के लिए समर्पित कैरियर बोर्ड के माध्यम से दो होस्ट CPU तक जुड़े थे। प्रत्येक P100 को 800 पिन की आवश्यकता थी (400 PCIe और बिजली के लिए, और अन्य 400 NVLink के लिए)। बाद की पीढ़ियों (Volta, Ampere, Hopper, और बाद में) ने लिंक संख्या और बैंडविड्थ को बढ़ाना जारी रखा है, जिससे NVLink जनरेटिव AI और उच्च-प्रदर्शन कंप्यूटिंग के लिए एक प्रमुख तकनीक के रूप में मजबूत हुआ है।