NVLink एक तार-आधारित सीरियल, मल्टी-लेन, निकट-रेंज संचार लिंक है जिसे Nvidia ने उच्च-प्रदर्शन कंप्यूटिंग सिस्टम में प्रोसेसर को जोड़ने के लिए विकसित किया है। PCI Express के विपरीत, एक डिवाइस में कई NVLinks हो सकते हैं, और डिवाइस केंद्रीय हब या स्विच के बजाय मेश नेटवर्किंग का उपयोग करके संचार कर सकते हैं। यह प्रोटोकॉल पहली बार मार्च 2014 में घोषित किया गया था और एक स्वामित्व उच्च-गति सिग्नलिंग इंटरकनेक्ट (NVHS) का उपयोग करता है। इसका उपयोग मुख्य रूप से CPU और GPU के बीच, और GPU और GPU के बीच डेटा और नियंत्रण कोड स्थानांतरित करने के लिए किया जाता है, जिससे कृत्रिम बुद्धिमत्ता और मशीन लर्निंग जैसे कंप्यूट-गहन कार्यभार के लिए उच्च-बैंडविड्थ, कम-विलंबता संचार सक्षम होता है।
NVLink संस्करण 1.0, 2.0, और 3.0 और उच्चतर के लिए क्रमशः 20, 25, और 50 Gbit/s की डेटा दरों के साथ एक पॉइंट-टू-पॉइंट कनेक्शन निर्दिष्ट करता है। NVLink 1.0 और 2.0 के लिए, आठ डिफरेंशियल पेयर एक सब-लिंक बनाते हैं, और दो सब-लिंक (प्रत्येक दिशा के लिए एक) एक लिंक बनाते हैं। NVLink 3.0 से शुरू करके, केवल चार डिफरेंशियल पेयर एक सब-लिंक बनाते हैं। NVLink 2.0 और उच्चतर के लिए, एक सब-लिंक की कुल डेटा दर 25 GB/s है, और एक लिंक की कुल डेटा दर 50 GB/s है। प्रत्येक V100 GPU छह लिंक तक का समर्थन करता है, जो कुल द्विदिश बैंडविड्थ में 300 GB/s तक प्रदान करता है। 14 मई, 2020 को घोषित, NVLink 3.0 ने प्रति डिफरेंशियल पेयर डेटा दर 25 Gbit/s से 50 Gbit/s तक बढ़ा दी, जबकि प्रति लिंक पेयर की संख्या 8 से घटाकर 4 कर दी। Ampere-आधारित A100 GPU के लिए 12 लिंक के साथ, यह कुल बैंडविड्थ 600 GB/s तक लाता है। मार्च 2022 में घोषित होपर GPU माइक्रोआर्किटेक्चर में 18 NVLink 4.0 लिंक हैं, जो 900 GB/s कुल बैंडविड्थ सक्षम करते हैं। Nvidia के Vera Rubin NVL72 प्लेटफॉर्म में उपयोग किया जाने वाला NVLink 6, प्रति GPU 3.6 TB/s द्विदिश बैंडविड्थ प्रदान करता है, और एक NVL72 रैक कुल स्केल-अप बैंडविड्थ का 260 TB/s प्रदान करने के लिए नौ NVLink 6 स्विच का उपयोग करता है।
टोपोलॉजी और स्विचिंग
कम संख्या में GPU के लिए, एकल डिवाइस पर NVLink लेन सभी-से-सभी मेश कनेक्टिविटी के लिए पर्याप्त हैं। उच्च GPU संख्या को समायोजित करने के लिए, NVLink 2018 से पैकेट-स्विच्ड आर्किटेक्चर का उपयोग करता है, जहां एक केंद्रीय स्विच 32 दो-लेन पोर्ट तक सेवा कर सकता है। NVLink 4.0 के लिए NVSwitch अपने स्वयं के कुछ सरल गणना (जैसे, योग, प्रसारण) उत्पन्न कर सकता है, संचार की आवश्यकता को कम करने के लिए, SHARP एक्सेलेरेटर के लिए धन्यवाद। यह सीधे GPU-से-GPU कनेक्शन से परे स्केलिंग की अनुमति देता है, जिससे DGX सीरीज और NVL72 रैक जैसे बड़े सिस्टम सक्षम होते हैं।
प्रदर्शन विशेषताएँ
वास्तविक-दुनिया प्रदर्शन विभिन्न डेटा ट्रांसमिशन ओवरहेड लागतों को लागू करके निर्धारित किया जाता है, जैसे कि 128b/130b लाइन कोड, लिंक नियंत्रण वर्ण, लेनदेन हेडर, बफरिंग क्षमताएं, और कंप्यूटर पक्ष पर DMA उपयोग। ये भौतिक सीमाएं आमतौर पर डेटा दर को स्थानांतरण दर के 90 से 95 प्रतिशत के बीच कम करती हैं। NVLink बेंचमार्क IBM POWER8 CPU द्वारा संचालित सिस्टम में P100 GPU की ओर 40 Gbit/s (2 सब-लेन अपलिंक) NVLink कनेक्शन के लिए लगभग 35.3 Gbit/s (होस्ट से डिवाइस) की प्राप्ति योग्य स्थानांतरण दर दिखाते हैं।
प्लग-इन बोर्ड के साथ उपयोग
प्लग-इन बोर्ड के विभिन्न संस्करणों के लिए, थोड़ी संख्या में उच्च-अंत गेमिंग और पेशेवर ग्राफिक्स GPU बोर्ड उन्हें NVLink समूह में जोड़ने के लिए अतिरिक्त कनेक्टर उजागर करते हैं। थोड़े भिन्न, अपेक्षाकृत कॉम्पैक्ट, PCB-आधारित इंटरकनेक्शन प्लग की एक समान संख्या मौजूद है। आमतौर पर केवल एक ही प्रकार के बोर्ड भौतिक और तार्किक डिजाइन के कारण एक साथ मेट करेंगे। कुछ सेटअपों के लिए, पूर्ण डेटा दर प्राप्त करने के लिए दो समान प्लग लागू करने की आवश्यकता होती है। विशिष्ट प्लग यू-आकार का होता है जिसमें प्रत्येक छोर स्ट्रोक पर दर्शक से दूर एक महीन ग्रिड एज कनेक्टर होता है। प्लग की चौड़ाई निर्धारित करती है कि प्लग-इन कार्ड कितनी दूर बैठे जाने चाहिए, जिसमें बोर्ड प्रकार के आधार पर 3 से 5 स्लॉट की ज्ञात प्लग चौड़ाई होती है। इंटरकनेक्ट को अक्सर 2004 से इसके संरचनात्मक डिजाइन के लिए स्केलेबल लिंक इंटरफेस (SLI) कहा जाता है, भले ही आधुनिक NVLink-आधारित डिजाइन तकनीकी रूप से भिन्न हैं। रिपोर्ट किए गए डिवाइसों में शामिल हैं Quadro GP100 (2 ब्रिज तक, 160 GB/s), Quadro GV100 (2 ब्रिज तक, 200 GB/s), GeForce RTX 2080 और 2080 Ti सिंगल ब्रिज के साथ, GeForce RTX 3090 एक अद्वितीय ब्रिज के साथ, और Quadro RTX 5000, 6000, और 8000 सिंगल ब्रिज के साथ 100 GB/s तक प्राप्त करते हैं।
सेवा सॉफ्टवेयर और प्रोग्रामिंग
Tesla, Quadro, और Grid उत्पाद लाइनों के लिए, NVML-API (Nvidia प्रबंधन लाइब्रेरी API) Windows और Linux पर NVLink के पहलुओं को प्रोग्रामेटिक रूप से नियंत्रित करने के लिए फ़ंक्शन प्रदान करता है, जैसे कि घटक मूल्यांकन, स्थिति/त्रुटि क्वेरी, और प्रदर्शन निगरानी। NCCL लाइब्रेरी (Nvidia सामूहिक संचार लाइब्रेरी) डेवलपर्स को NVLink के शीर्ष पर शक्तिशाली गहन शिक्षण और कम्प्यूटेशन-भूखे अनुप्रयोगों को लागू करने में सक्षम बनाती है। Nvidia कंट्रोल पैनल का "3D सेटिंग्स" पृष्ठ और CUDA नमूना अनुप्रयोग "simpleP2P" ऐसे APIs का उपयोग करते हैं। Linux पर, उप-कमांड "nvidia-smi nvlink" के साथ कमांड-लाइन अनुप्रयोग उन्नत जानकारी और नियंत्रण प्रदान करता है।
इतिहास
5 अप्रैल, 2016 को, Nvidia ने घोषणा की कि NVLink को Pascal-माइक्रोआर्किटेक्चर-आधारित GP100 GPU में लागू किया जाएगा, जैसा कि Nvidia Tesla P100 उत्पादों में उपयोग किया जाता है। DGX-1 उच्च-प्रदर्शन कंप्यूटर की शुरुआत के साथ, एक एकल रैक सिस्टम में आठ P100 मॉड्यूल तक रखना संभव हो गया, जो दो होस्ट CPU तक जुड़े होते हैं। कैरियर बोर्ड NVLink कनेक्शन के रूटिंग के लिए एक समर्पित बोर्ड की अनुमति देता है, प्रत्येक P100 के लिए 800 पिन (PCIe प्लस बिजली के लिए 400, और NVLink के लिए अन्य 400) की आवश्यकता होती है। तब से, NVLink कई पीढ़ियों के माध्यम से विकसित हुआ है, प्रत्येक पुनरावृत्ति बैंडविड्थ और लिंक संख्या बढ़ाती है, और यह Nvidia के जनरेटिव एआई और विशाल भाषा मॉडल प्रशिक्षण बुनियादी ढांचे में एक प्रमुख घटक बना हुआ है।