Gaudi इंटेल द्वारा डिज़ाइन किए गए एप्लिकेशन-विशिष्ट एकीकृत सर्किट (ASICs) का एक परिवार है, जो डीप लर्निंग कार्यभार, विशेष रूप से बड़े भाषा मॉडल प्रशिक्षण और अनुमान को तेज करने के लिए है। वास्तुकला एक विषम कंप्यूट दृष्टिकोण पर जोर देती है, जिसमें कई टेंसर प्रोसेसिंग कोर को एक समर्पित नेटवर्क-ऑन-चिप और उच्च-बैंडविड्थ मेमोरी (HBM) के साथ एकीकृत किया जाता है, जिससे कई एक्सेलेरेटरों में कुशल स्केलिंग संभव होती है। Gaudi प्रोसेसर Nvidia के GPU-आधारित एक्सेलेरेटरों और AMD की Instinct श्रृंखला तथा Google Cloud के TPU जैसे अन्य AI चिप्स के प्रतिस्पर्धी के रूप में स्थित हैं।
पहली पीढ़ी का Gaudi प्रोसेसर, 2019 में घोषित, Habana Labs द्वारा विकसित किया गया था, जो एक इज़राइली AI चिप स्टार्टअप है जिसे इंटेल ने 2019 में लगभग $2 बिलियन में अधिग्रहित किया था। दूसरी पीढ़ी, Gaudi 2, 2022 में लॉन्च हुई, और तीसरी पीढ़ी, Gaudi 3, 2024 में अनावरण की गई। इंटेल Gaudi को AI प्रशिक्षण और अनुमान के लिए एक लागत-प्रभावी विकल्प के रूप में विपणन करता है, जिसमें खुले सॉफ्टवेयर पारिस्थितिकी तंत्रों और PyTorch तथा TensorFlow जैसे लोकप्रिय फ्रेमवर्कों के समर्थन पर ध्यान केंद्रित किया गया है।
इतिहास
Gaudi की उत्पत्ति Habana Labs से जुड़ी है, जिसकी स्थापना 2016 में डेविड डाहन, रान हालुट्ज़ और अन्य लोगों द्वारा की गई थी, जिसका मुख्यालय कैसरिया, इज़राइल में था। कंपनी ने शुरू में Goya अनुमान चिप विकसित की, जो 2018 में जारी हुई, इससे पहले कि उसने Gaudi के साथ प्रशिक्षण पर ध्यान केंद्रित किया। इंटेल ने दिसंबर 2019 में Habana Labs का अधिग्रहण किया, टीम को अपने डेटा प्लेटफॉर्म्स समूह में एकीकृत किया। यह अधिग्रहण AI एक्सेलेरेटर बाजार में प्रतिस्पर्धा करने की इंटेल की व्यापक रणनीति का हिस्सा था, जिस पर Nvidia के GPU का वर्चस्व था।
पहला Gaudi प्रोसेसर, Gaudi 1, आधिकारिक तौर पर 2019 में लॉन्च किया गया था, जिसमें Amazon Web Services (AWS) जैसे शुरुआती ग्राहक शामिल थे, जिसने 2021 में Gaudi-आधारित इंस्टेंस पेश किए। Gaudi 2, मई 2022 में घोषित, मेमोरी क्षमता और कंप्यूट प्रदर्शन में महत्वपूर्ण सुधार पेश किए, और क्लाउड प्रदाताओं और उद्यमों द्वारा अपनाया गया। अप्रैल 2024 में, इंटेल ने Gaudi 3 पेश किया, जिसमें अधिक उन्नत 5nm प्रक्रिया (TSMC द्वारा निर्मित) शामिल थी और बड़े भाषा मॉडल प्रशिक्षण के लिए अपने पूर्ववर्ती की तुलना में प्रदर्शन दोगुना कर दिया।
वास्तुकला
Gaudi प्रोसेसर एक विषम वास्तुकला के आसपास बनाए गए हैं जो कई टेंसर प्रोसेसिंग कोर (TPCs) को एक स्केलेबल नेटवर्क फैब्रिक के साथ जोड़ते हैं। प्रत्येक Gaudi चिप में पूरी तरह से प्रोग्राम करने योग्य TPCs का एक सेट शामिल होता है जो मैट्रिक्स गुणन और अन्य टेंसर संचालन निष्पादित करते हैं, जो Nvidia GPU में टेंसर कोर के समान है। TPCs को HBM का उपयोग करके एक समर्पित मेमोरी सबसिस्टम द्वारा पूरक किया जाता है, जो कंप्यूट इकाइयों को डेटा खिलाने के लिए उच्च बैंडविड्थ प्रदान करता है।
Gaudi की एक विशिष्ट विशेषता इसकी एकीकृत नेटवर्किंग क्षमता है। GPU के विपरीत, जिन्हें आमतौर पर मल्टी-नोड स्केलिंग के लिए बाहरी InfiniBand या Ethernet स्विच की आवश्यकता होती है, Gaudi में ऑन-चिप RDMA (रिमोट डायरेक्ट मेमोरी एक्सेस) ओवर Ethernet (RoCE) इंजन शामिल हैं। यह कई Gaudi एक्सेलेरेटरों को सीधे आपस में जोड़ने की अनुमति देता है, जिससे बड़े पैमाने पर AI क्लस्टर बनाने की लागत और जटिलता कम हो जाती है। नेटवर्क-ऑन-चिप (NoC) एक ही चिप के भीतर TPCs के बीच कुशल संचार सक्षम करता है, जबकि RoCE इंजन इंटर-चिप संचार संभालते हैं।
Gaudi 2 और Gaudi 3 में TPCs से अलग एक समर्पित मैट्रिक्स गुणन इंजन भी शामिल है, जो ट्रांसफॉर्मर और अन्य आधुनिक तंत्रिका नेटवर्क वास्तुकलाओं में सामान्य संचालन को तेज करता है। प्रोसेसर मिश्रित-परिशुद्धता प्रशिक्षण का समर्थन करते हैं, जिसमें FP32, BF16 और FP8 प्रारूप शामिल हैं, ताकि सटीकता और प्रदर्शन को संतुलित किया जा सके।
पीढ़ियाँ
Gaudi 1
पहली पीढ़ी का Gaudi प्रोसेसर, 2019 में जारी, 32 TPCs और 16 GB HBM2 मेमोरी के साथ 1.2 TB/s की बैंडविड्थ प्रदान करता था। इसे तंत्रिका नेटवर्क मॉडलों के प्रशिक्षण और अनुमान के लिए डिज़ाइन किया गया था, जिसमें दक्षता और स्केलेबिलिटी पर ध्यान केंद्रित किया गया था। Gaudi 1 ने BF16 परिशुद्धता में प्रति चिप 1.6 TFLOPS का प्रदर्शन हासिल किया (हालांकि यह आंकड़ा अक्सर घने मैट्रिक्स संचालन के लिए 1.6 TFLOPS के रूप में उद्धृत किया जाता है)। चिप TSMC की 16nm प्रक्रिया का उपयोग करके निर्मित की गई थी।
Gaudi 2
Gaudi 2, 2022 में लॉन्च, TPCs की संख्या दोगुनी कर 64 कर दी और HBM क्षमता बढ़ाकर 96 GB HBM2e कर दी, जिसकी बैंडविड्थ 2.4 TB/s थी। इसमें एक समर्पित मैट्रिक्स गुणन इंजन भी जोड़ा गया, जिससे BF16 में प्रदर्शन बढ़कर 3.2 TFLOPS हो गया। Gaudi 2 7nm प्रक्रिया पर बनाया गया था। इंटेल ने दावा किया कि Gaudi 2 ने बड़े भाषा मॉडलों के प्रशिक्षण के लिए Nvidia के A100 GPU की तुलना में बेहतर मूल्य-प्रदर्शन प्रदान किया, जिसमें GPT-3 और BERT जैसे मॉडलों पर बेंचमार्क का हवाला दिया गया।
Gaudi 3
Gaudi 3, अप्रैल 2024 में घोषित, एक प्रमुख वास्तुकला छलांग का प्रतिनिधित्व करता है। इसमें 128 TPCs और एक अधिक शक्तिशाली मैट्रिक्स इंजन एकीकृत किया गया, जिसमें 128 GB HBM2e मेमोरी और 3.7 TB/s की बैंडविड्थ थी। चिप TSMC में 5nm प्रक्रिया पर निर्मित की गई थी। इंटेल ने कहा कि Gaudi 3 एक 175-बिलियन-पैरामीटर बड़े भाषा मॉडल (GPT-3 के समान) को Nvidia के H100 GPU की तुलना में 50% तेजी से प्रशिक्षित कर सकता है, जबकि कम बिजली की खपत करता है। Gaudi 3 ने FP8 परिशुद्धता के लिए समर्थन भी पेश किया, जिससे थ्रूपुट में और सुधार हुआ।
सॉफ्टवेयर पारिस्थितिकी तंत्र
Gaudi प्रोसेसर इंटेल के SynapseAI सॉफ्टवेयर स्टैक द्वारा समर्थित हैं, जो हार्डवेयर के लिए अनुकूलित एक कंपाइलर, रनटाइम और लाइब्रेरी प्रदान करता है। SynapseAI लोकप्रिय डीप लर्निंग फ्रेमवर्कों के साथ एकीकृत होता है, जिसमें PyTorch और TensorFlow शामिल हैं, जिससे डेवलपर्स न्यूनतम कोड परिवर्तनों के साथ मॉडल चला सकते हैं। इंटेल एक Hugging Face एकीकरण भी प्रदान करता है, जिससे पूर्व-प्रशिक्षित ट्रांसफॉर्मरों की आसान तैनाती संभव होती है।
सॉफ्टवेयर स्टैक में मॉडल अनुकूलन के लिए उपकरण शामिल हैं, जैसे क्वांटाइजेशन और ग्राफ कंपाइलेशन, साथ ही कई Gaudi नोड्स में वितरित प्रशिक्षण के लिए समर्थन। इंटेल ने खुलेपन पर जोर दिया है, Gaudi मानक नेटवर्किंग प्रोटोकॉल (RoCE) का समर्थन करता है और क्लाउड वातावरण में ऑर्केस्ट्रेशन के लिए Kubernetes के साथ संगत है।
प्रदर्शन और बेंचमार्क
इंटेल ने Gaudi प्रोसेसरों के लिए बेंचमार्क परिणाम प्रकाशित किए हैं, विशेष रूप से बड़े भाषा मॉडलों के प्रशिक्षण और अनुमान के लिए। 2023 में, इंटेल ने दावा किया कि Gaudi 2 ने GPT-3 और Llama 2 मॉडलों के प्रशिक्षण के लिए Nvidia के A100 की तुलना में 1.5x से 2x बेहतर मूल्य-प्रदर्शन हासिल किया। Gaudi 3 के लिए, इंटेल ने GPT-3 के लिए Nvidia के H100 की तुलना में प्रशिक्षण थ्रूपुट में 1.7x सुधार और Falcon तथा Llama 3 जैसे मॉडलों पर अनुमान के लिए 2x सुधार की सूचना दी।
स्वतंत्र बेंचमार्क सीमित रहे हैं, लेकिन कुछ क्लाउड प्रदाताओं, जैसे AWS और IBM Cloud, ने Gaudi-आधारित इंस्टेंस पेश किए हैं और प्रतिस्पर्धी परिणामों की सूचना दी है। 2024 में, इंटेल ने Google Cloud के साथ एक सहयोग की भी घोषणा की, जिसमें Gaudi 3 को एक सेवा के रूप में पेश किया गया, जिससे इसकी उपलब्धता का विस्तार हुआ।
बाजार स्थिति और प्रतिस्पर्धा
Gaudi सीधे Nvidia के डेटा सेंटर GPU, जिसमें A100, H100 और नए H200 शामिल हैं, के साथ-साथ AMD की Instinct MI300 श्रृंखला और AWS के Trainium और Inferentia चिप्स के साथ प्रतिस्पर्धा करता है। इंटेल Gaudi को एक अधिक लागत-प्रभावी विकल्प के रूप में स्थित करता है, विशेष रूप से उद्यमों और क्लाउड प्रदाताओं के लिए जो AI बुनियादी ढांचे की लागत कम करना चाहते हैं। कंपनी ने Gaudi की ऊर्जा दक्षता पर भी प्रकाश डाला है, जो डेटा केंद्रों के लिए एक बढ़ती चिंता है।
अपनी तकनीकी खूबियों के बावजूद, Gaudi को व्यापक रूप से अपनाने में चुनौतियों का सामना करना पड़ा है, आंशिक रूप से Nvidia के प्रभावशाली सॉफ्टवेयर पारिस्थितिकी तंत्र (CUDA) और स्थापित बाजार उपस्थिति के कारण। इंटेल ने खुले मानकों का समर्थन करके और प्रवासन उपकरण प्रदान करके इसका मुकाबला करने का प्रयास किया है, लेकिन 2025 तक, Gaudi की बाजार हिस्सेदारी Nvidia के सापेक्ष छोटी बनी हुई है।
अनुप्रयोग
Gaudi प्रोसेसर डीप लर्निंग मॉडलों के प्रशिक्षण और अनुमान दोनों के लिए उपयोग किए जाते हैं, जिसमें बड़े भाषा मॉडल, कंप्यूटर विजन और अनुशंसा प्रणालियों पर ध्यान केंद्रित किया गया है। वे क्लाउड डेटा केंद्रों, ऑन-प्रिमाइसेस एंटरप्राइज़ सिस्टम और एज वातावरण में तैनात किए जाते हैं। प्रमुख उपयोग मामलों में प्राकृतिक भाषा प्रसंस्करण, छवि पहचान और चैटबॉट तथा सामग्री निर्माण जैसे जनरेटिव AI अनुप्रयोग शामिल हैं।
क्लाउड सेवाओं के अलावा, इंटेल ने Gaudi-आधारित सर्वर और वर्कस्टेशन पेश करने के लिए सिस्टम इंटीग्रेटरों के साथ साझेदारी की है। प्रोसेसर अनुसंधान सेटिंग्स में भी उपयोग किए जाते हैं, जिसमें विश्वविद्यालय और AI प्रयोगशालाएं मॉडल विकास के लिए Gaudi का लाभ उठाती हैं।
स्वागत और आलोचना
उद्योग विश्लेषकों ने आम तौर पर Gaudi को Nvidia के एक विश्वसनीय विकल्प के रूप में देखा है, लेकिन ध्यान दिया है कि सॉफ्टवेयर परिपक्वता और पारिस्थितिकी तंत्र समर्थन कमजोर बना हुआ है। कुछ आलोचकों ने बताया है कि इंटेल के बेंचमार्क दावे अक्सर विशिष्ट कॉन्फ़िगरेशन पर आधारित होते हैं जो वास्तविक दुनिया के प्रदर्शन को प्रतिबिंबित नहीं कर सकते हैं। इसके अतिरिक्त, Nvidia के उत्पाद रिलीज़ की तीव्र गति (जैसे, H100, H200 और आगामी Blackwell वास्तुकला) ने Gaudi के लिए प्रदर्शन बढ़त बनाए रखना कठिन बना दिया है।
इंटेल ने स्वामित्व की कुल लागत (TCO) और बिजली दक्षता पर जोर देकर जवाब दिया है, यह तर्क देते हुए कि Gaudi बड़े पैमाने पर तैनाती के लिए बेहतर मूल्य प्रदान करता है। कंपनी ने एक नियमित रिलीज़ कैडेंस के लिए भी प्रतिबद्ध किया है, जिसमें Gaudi 4 2025 में अपेक्षित है।
भविष्य के विकास
इंटेल ने Gaudi परिवार को विकसित करना जारी रखने की योजना की घोषणा की है, जिसमें Gaudi 4 एक अधिक उन्नत प्रक्रिया का उपयोग करने और प्रदर्शन में और सुधार करने की उम्मीद है। कंपनी अपने Xeon प्रोसेसर और oneAPI एकीकृत प्रोग्रामिंग मॉडल के साथ Gaudi को एकीकृत करने पर भी काम कर रही है ताकि विषम कंप्यूटिंग को सरल बनाया जा सके। 2025 तक, इंटेल का लक्ष्य AI एक्सेलेरेटर बाजार का एक बड़ा हिस्सा हासिल करना है, जिसमें क्लाउड और एंटरप्राइज़ दोनों खंडों को लक्षित किया गया है।
यह भी देखें
- AI एक्सेलेरेटर
- डीप लर्निंग
- बड़ा भाषा मॉडल
- Nvidia
- AMD
- AWS Trainium
संदर्भ
- इंटेल न्यूज़रूम। "इंटेल ने AI पोर्टफोलियो का विस्तार करने के लिए Habana Labs का अधिग्रहण किया।" 16 दिसंबर, 2019।
- Habana Labs। "Gaudi प्रशिक्षण प्रोसेसर।" 2019।
- इंटेल। "इंटेल Gaudi 2 AI एक्सेलेरेटर।" 2022।
- इंटेल। "इंटेल Gaudi 3 AI एक्सेलेरेटर।" 2024।
- Gaudi इंस्टेंस के लिए क्लाउड प्रदाता दस्तावेज़ीकरण (AWS, IBM Cloud, Google Cloud)।