वर्महोल (टेन्स्टोरेंट)

वर्महोल टेनस्टोरेंट द्वारा निर्मित AI एक्सेलेरेटर कार्डों का एक परिवार है, जो एक फैबलेस सेमीकंडक्टर कंपनी है। ये कार्ड कृत्रिम बुद्धिमत्ता और मशीन लर्निंग कार्यभारों को तेज करने के लिए डिज़ाइन किए गए हैं, विशेष रूप से गहन शिक्षण मॉडल जैसे बड़े भाषा मॉडल और ट्रांसफॉर्मर-आधारित आर्किटेक्चर। वर्महोल श्रृंखला अनुमान और प्रशिक्षण दोनों कार्यों को लक्षित करती है, एक स्केलेबल आर्किटेक्चर प्रदान करती है जिसे बड़े परिनियोजनों के लिए जोड़ा जा सकता है। टेनस्टोरेंट वर्महोल को GPU के लचीले विकल्प के रूप में स्थान देता है, जो प्रोग्रामेबिलिटी और डेटाफ्लो-आधारित गणना पर जोर देता है।

पहली पीढ़ी, वर्महोल, 2020 में घोषित की गई थी और 2021 में शिप होना शुरू हुई। इसके बाद 2023 में वर्महोल n150, एक सिंगल-कार्ड संस्करण, और वर्महोल n300, एक डुअल-कार्ड कॉन्फ़िगरेशन आया। ये बाद के कार्ड 6nm प्रक्रिया पर निर्मित हैं और इनमें RISC-V-आधारित नियंत्रण प्रोसेसर शामिल है। आर्किटेक्चर स्पार्स और डेंस टेंसर संचालन को कुशलता से संभालने के लिए डिज़ाइन किया गया है, जिसमें पारंपरिक GPU डिज़ाइनों में आम मेमोरी बाधाओं को कम करने पर ध्यान केंद्रित किया गया है।

आर्किटेक्चर और डिज़ाइन

वर्महोल एक्सेलेरेटर टेनसिक्स कोरों के ग्रिड के आसपास बनाया गया है, जिनमें से प्रत्येक में एक RISC-V CPU, एक मैट्रिक्स गुणन इकाई, और एक वेक्टर इंजन शामिल है। यह विषम डिज़ाइन विभिन्न तंत्रिका नेटवर्क संचालनों के लचीले निष्पादन की अनुमति देता है। कोर उच्च-बैंडविड्थ, कम-विलंबता मेश नेटवर्क के माध्यम से आपस में जुड़े होते हैं, जिससे कई चिप्स में कुशल डेटा साझाकरण और स्केलिंग संभव होती है। GPU के विपरीत, जो SIMT (सिंगल इंस्ट्रक्शन, मल्टीपल थ्रेड) मॉडल पर निर्भर करते हैं, वर्महोल एक डेटाफ्लो आर्किटेक्चर का उपयोग करता है जो कुछ कार्यभारों के लिए अधिक कुशल हो सकता है, विशेष रूप से अनियमित मेमोरी एक्सेस पैटर्न वाले।

प्रत्येक टेनसिक्स कोर में समर्पित मेमोरी शामिल है, जिससे बार-बार ऑफ-चिप मेमोरी एक्सेस की आवश्यकता कम हो जाती है। n150 कार्ड में 72 टेनसिक्स कोर हैं, जबकि n300 में दो डाइज़ में 144 कोर हैं। कार्ड FP32, FP16, BF16, और INT8 सहित कई डेटा प्रकारों का समर्थन करते हैं, जो प्रशिक्षण और अनुमान में परिशुद्धता लचीलापन प्रदान करते हैं। आर्किटेक्चर में मल्टी-कार्ड सिस्टम में स्केलिंग के लिए एक समर्पित ईथरनेट इंटरफ़ेस भी शामिल है, जो कार्डों के बीच प्रत्यक्ष मेमोरी एक्सेस का समर्थन करने वाले प्रोटोकॉल का उपयोग करता है।

प्रदर्शन और विशिष्टताएँ

वर्महोल n150 FP16 कंप्यूट में 100 टेराफ्लॉप्स तक और INT8 कंप्यूट में 200 टेराऑप्स तक प्रदान करता है, जिसमें 16 GB GDDR6 मेमोरी 256 GB/s की बैंडविड्थ प्रदान करती है। n300 इन आंकड़ों को दोगुना करता है, FP16 में 200 टेराफ्लॉप्स और INT8 में 400 टेराऑप्स, 32 GB मेमोरी के साथ। बिजली की खपत n150 के लिए 150W और n300 के लिए 300W पर रेटेड है, जो उन्हें कुछ प्रतिस्पर्धी एक्सेलेरेटरों की तुलना में अपेक्षाकृत बिजली-कुशल बनाती है। कार्ड होस्ट कनेक्टिविटी के लिए PCIe Gen 4 x16 इंटरफ़ेस का उपयोग करते हैं, और मल्टी-कार्ड कॉन्फ़िगरेशन के लिए ईथरनेट के माध्यम से आपस में जोड़े जा सकते हैं।

बेंचमार्क परीक्षणों में, वर्महोल ने तंत्रिका नेटवर्क अनुमान कार्यों पर प्रतिस्पर्धी प्रदर्शन दिखाया है, विशेष रूप से ट्रांसफॉर्मर-आधारित मॉडलों के लिए। टेनस्टोरेंट ने कई n150 कार्ड जोड़ने पर प्रदर्शन में रैखिक स्केलिंग दिखाने वाले परिणाम प्रकाशित किए हैं, जो बड़े पैमाने पर परिनियोजनों के लिए एक प्रमुख विशेषता है। कार्ड मॉडल समानांतरता और डेटा समानांतरता का भी समर्थन करते हैं, जिससे कई एक्सेलेरेटरों में बड़े मॉडलों का कुशल प्रशिक्षण संभव होता है।

सॉफ्टवेयर स्टैक

टेनस्टोरेंट वर्महोल के लिए एक व्यापक सॉफ्टवेयर स्टैक प्रदान करता है, जिसमें एक निम्न-स्तरीय ड्राइवर, एक रनटाइम लाइब्रेरी, और उच्च-स्तरीय फ्रेमवर्क शामिल हैं। प्राथमिक प्रोग्रामिंग मॉडल C++ API पर आधारित है, लेकिन लोकप्रिय मशीन लर्निंग फ्रेमवर्क के लिए भी समर्थन है। कंपनी ने एक कस्टम कंपाइलर विकसित किया है जो PyTorch और ONNX जैसे फ्रेमवर्क से मॉडलों को टेनसिक्स कोरों के लिए अनुकूलित कोड में अनुवादित करता है। यह कंपाइलर ग्राफ-स्तरीय अनुकूलन करता है, जिसमें ऑपरेटर फ्यूज़न और मेमोरी प्लानिंग शामिल है, ताकि प्रदर्शन को अधिकतम किया जा सके।

GPU प्रोग्रामिंग से परिचित उपयोगकर्ताओं के लिए, टेनस्टोरेंट एक प्रोग्रामिंग मॉडल प्रदान करता है जो कुछ निम्न-स्तरीय विवरणों को अमूर्त करता है, जबकि उन्नत उपयोगकर्ताओं को कस्टम कर्नेल लिखने की अनुमति देता है। सॉफ्टवेयर स्टैक में विकास में सहायता के लिए एक डीबगर और प्रोफाइलिंग टूल शामिल हैं। टेनस्टोरेंट सामान्य तंत्रिका नेटवर्क परतों के लिए पूर्व-अनुकूलित ऑपरेटरों की एक लाइब्रेरी भी प्रदान करता है, जैसे मल्टी-हेड अटेंशन और अवशिष्ट नेटवर्क ब्लॉक, जिन्हें सीधे मॉडलों में उपयोग किया जा सकता है।

पारिस्थितिकी तंत्र और एकीकरण

वर्महोल कार्ड वर्कस्टेशन और सर्वरों के लिए स्टैंडअलोन PCIe कार्ड के रूप में, साथ ही पूर्व-कॉन्फ़िगर सिस्टम में उपलब्ध हैं। टेनस्टोरेंट ने AI अनुसंधान और उत्पादन के लिए टर्नकी समाधान प्रदान करने के लिए सिस्टम इंटीग्रेटरों के साथ साझेदारी की है। कार्ड क्लाउड सेवा प्रदाताओं के माध्यम से भी उपलब्ध हैं, जिससे उपयोगकर्ता उन्हें किराए के आधार पर एक्सेस कर सकते हैं। टेनस्टोरेंट ने एक सॉफ्टवेयर डेवलपमेंट किट (SDK) विकसित की है जिसमें उदाहरण और ट्यूटोरियल शामिल हैं, जिसका उद्देश्य नए उपयोगकर्ताओं के लिए सीखने की अवस्था को कम करना है।

कंपनी ने एक सामुदायिक फोरम और दस्तावेज़ीकरण पोर्टल भी बनाया है, जो डेवलपरों के पारिस्थितिकी तंत्र को बढ़ावा देता है। वर्महोल ओपन-पैनल मानक का समर्थन करता है, जो मॉड्यूलर कंप्यूट सिस्टम के लिए एक विनिर्देश है, जिससे विषम डेटा सेंटर वातावरण में एकीकरण संभव होता है। यह वर्महोल कार्डों को एक ही सिस्टम में एएमडी या इंटेल जैसे अन्य एक्सेलेरेटरों के साथ संयोजित करने की अनुमति देता है।

उपयोग के मामले और अनुप्रयोग

वर्महोल मुख्य रूप से AI अनुसंधान और विकास के लिए लक्षित है, विशेष रूप से बड़े भाषा मॉडलों के प्रशिक्षण और परिनियोजन के लिए। इसकी उच्च मेमोरी बैंडविड्थ और कुशल डेटाफ्लो आर्किटेक्चर इसे ट्रांसफॉर्मर-आधारित मॉडलों के लिए उपयुक्त बनाती है, जो प्राकृतिक भाषा प्रसंस्करण में व्यापक रूप से उपयोग किए जाते हैं। कार्ड कंप्यूटर विज़न कार्यों के लिए भी उपयोग किए जाते हैं, जैसे छवि वर्गीकरण और वस्तु पहचान, जो यू-नेट और अवशिष्ट नेटवर्क जैसे आर्किटेक्चर का लाभ उठाते हैं।

पारंपरिक AI कार्यभारों के अलावा, वर्महोल वैज्ञानिक कंप्यूटिंग अनुप्रयोगों के लिए खोजा जा रहा है, जैसे सिमुलेशन और डेटा विश्लेषण। इसकी प्रोग्रामेबिलिटी शोधकर्ताओं को मानक तंत्रिका नेटवर्क संचालन से परे कस्टम एल्गोरिदम लागू करने की अनुमति देती है। टेनस्टोरेंट ने एज कंप्यूटिंग परिदृश्यों में इसके उपयोग पर भी प्रकाश डाला है, जहां कार्डों की बिजली दक्षता एक लाभ है।

प्रतिस्पर्धियों के साथ तुलना

वर्महोल ग्रोक, सांबा-नोवा, और ग्राफकोर जैसी कंपनियों के AI एक्सेलेरेटरों के साथ-साथ एनवीडिया और एएमडी के GPU के साथ प्रतिस्पर्धा करता है। GPU की तुलना में, वर्महोल एक अलग प्रोग्रामिंग मॉडल और कुछ कार्यभारों के लिए संभावित रूप से बेहतर दक्षता प्रदान करता है, लेकिन इसका सॉफ्टवेयर पारिस्थितिकी तंत्र छोटा है। अन्य AI-विशिष्ट चिप्स की तुलना में, वर्महोल का मुख्य अंतर बड़ी संख्या में कोरों के साथ डेटाफ्लो आर्किटेक्चर पर इसका ध्यान केंद्रित है, जो कुछ प्रतिस्पर्धियों के निश्चित-फ़ंक्शन डिज़ाइनों की तुलना में अधिक लचीला हो सकता है।

कच्चे प्रदर्शन के संदर्भ में, वर्महोल की विशिष्टताएँ मिड-रेंज GPU के साथ प्रतिस्पर्धी हैं, लेकिन यह उच्चतम-स्तरीय पेशकशों से पीछे है। हालांकि, इसकी स्केलेबिलिटी और बिजली दक्षता मजबूत विक्रय बिंदु हैं। टेनस्टोरेंट ने अपने सॉफ्टवेयर स्टैक की खुली प्रकृति पर भी जोर दिया है, जो मालिकाना विकल्पों की तुलना में अधिक अनुकूलन की अनुमति देता है।

विकास और भविष्य का रोडमैप

टेनस्टोरेंट वर्महोल श्रृंखला का विकास जारी रखता है, चल रहे सॉफ्टवेयर अपडेट और अनुकूलन के साथ। कंपनी ने अपने एक्सेलेरेटरों की भविष्य की पीढ़ियों के लिए योजनाओं की घोषणा की है, जो वर्महोल से सीखे गए पाठों पर आधारित हैं। इन भविष्य के चिप्स से उच्च प्रदर्शन और बेहतर दक्षता की उम्मीद है, संभवतः अधिक उन्नत विनिर्माण प्रक्रियाओं का उपयोग करके। टेनस्टोरेंट अपने सॉफ्टवेयर पारिस्थितिकी तंत्र का विस्तार करने पर भी काम कर रहा है, जिसमें लोकप्रिय फ्रेमवर्क और टूलों के लिए बेहतर समर्थन शामिल है।

कंपनी को महत्वपूर्ण धन प्राप्त हुआ है और उसने विभिन्न संगठनों के साथ साझेदारी स्थापित की है, जिसमें सैमसंग इलेक्ट्रॉनिक्स और टीएसएमसी शामिल हैं, विनिर्माण और प्रौद्योगिकी सहयोग के लिए। यह टेनस्टोरेंट को तेजी से विकसित हो रहे AI एक्सेलेरेटर बाजार में प्रतिस्पर्धा जारी रखने के लिए स्थान देता है।

स्वागत और प्रभाव

वर्महोल को AI समुदाय में इसके अभिनव आर्किटेक्चर और प्रोग्रामेबिलिटी पर ध्यान केंद्रित करने के लिए अच्छी तरह से प्राप्त किया गया है। प्रारंभिक अपनाने वालों ने ट्रांसफॉर्मर मॉडलों पर इसके प्रदर्शन और स्केलिंग की आसानी की प्रशंसा की है। हालांकि, कुछ उपयोगकर्ताओं ने नोट किया है कि सॉफ्टवेयर स्टैक स्थापित GPU विक्रेताओं की तुलना में कम परिपक्व है, जिससे मॉडलों को अनुकूलित करने के लिए अधिक प्रयास की आवश्यकता होती है। इसके बावजूद, कुछ घटकों की ओपन-सोर्स प्रकृति ने डेवलपरों के एक समुदाय को आकर्षित किया है।

वर्महोल का प्रभाव केवल उत्पाद से परे फैला हुआ है, क्योंकि यह विशेष AI हार्डवेयर की बढ़ती प्रवृत्ति का प्रतिनिधित्व करता है जो GPU के प्रभुत्व को चुनौती देता है। इसकी सफलता ने AI एक्सेलेरेटरों के व्यापक पारिस्थितिकी तंत्र में योगदान दिया है, जिससे शोधकर्ताओं और कंपनियों के लिए अधिक विकल्प उपलब्ध हुए हैं।

निष्कर्ष

वर्महोल AI एक्सेलेरेटर स्थान में एक महत्वपूर्ण प्रवेश है, जो एक अद्वितीय आर्किटेक्चर प्रदान करता है जो प्रदर्शन, दक्षता और लचीलेपन को संतुलित करता है। डेटाफ्लो कंप्यूटिंग और RISC-V-आधारित नियंत्रण पर इसका ध्यान इसे पारंपरिक GPU का एक विशिष्ट विकल्प बनाता है। जबकि इसे सॉफ्टवेयर परिपक्वता में चुनौतियों का सामना करना पड़ता है, इसकी मजबूत स्केलिंग क्षमताएं और बढ़ता पारिस्थितिकी तंत्र इसे कई AI कार्यभारों के लिए एक व्यवहार्य विकल्प बनाते हैं। जैसे-जैसे टेनस्टोरेंट डिज़ाइन पर पुनरावृत्ति जारी रखता है, वर्महोल और इसके उत्तराधिकारी AI हार्डवेयर के भविष्य में महत्वपूर्ण भूमिका निभाने की संभावना रखते हैं।

संदर्भ

टेनस्टोरेंट ने वर्महोल श्रृंखला के लिए तकनीकी दस्तावेज़ीकरण और प्रदर्शन बेंचमार्क प्रकाशित किए हैं, जो इसकी आधिकारिक वेबसाइट के माध्यम से उपलब्ध हैं। कंपनी ने विभिन्न उद्योग सम्मेलनों में भी प्रस्तुतियाँ दी हैं, जिसमें आर्किटेक्चर और डिज़ाइन विकल्पों का विवरण दिया गया है। अधिक जानकारी के लिए, इच्छुक पाठक इन संसाधनों के साथ-साथ प्रौद्योगिकी प्रकाशनों से स्वतंत्र समीक्षाओं और विश्लेषणों से परामर्श कर सकते हैं।