वेफर-स्केल इंजन (WSE) बड़े पैमाने के प्रोसेसरों की एक श्रृंखला है जिसे सेरेब्रास सिस्टम्स द्वारा विकसित किया गया है, जो 2015 में एंड्रयू फेल्डमैन, गैरी लॉटरबैक और अन्य लोगों द्वारा स्थापित एक कंपनी है। पारंपरिक चिप्स के विपरीत जो सिलिकॉन वेफर से काटे जाते हैं, WSE पूरे वेफर को एक ही डाई के रूप में उपयोग करता है, जिससे कोर और ऑन-चिप मेमोरी की अभूतपूर्व संख्या सक्षम होती है। यह डिज़ाइन मल्टी-चिप सिस्टम को प्रभावित करने वाली संचार बाधाओं को कम करने का लक्ष्य रखता है, जो इसे बड़े भाषा मॉडल और अन्य डीप लर्निंग कार्यभार प्रशिक्षण के लिए विशेष रूप से उपयुक्त बनाता है।
पहली पीढ़ी, WSE-1, अगस्त 2019 में घोषित की गई थी। इसमें 1.2 ट्रिलियन ट्रांजिस्टर और 400,000 AI-अनुकूलित कोर थे, जो TSMC द्वारा 16-नैनोमीटर प्रक्रिया का उपयोग करके निर्मित किए गए थे। चिप का आकार 46,225 वर्ग मिलीमीटर था, जो उस समय के सबसे बड़े ग्राफिक्स प्रोसेसिंग यूनिट्स से 50 गुना से अधिक बड़ा था। दूसरी पीढ़ी, WSE-2, अप्रैल 2021 में आई, जिसमें 7-नैनोमीटर प्रक्रिया का उपयोग किया गया, कोर की संख्या दोगुनी कर 850,000 कर दी गई और ऑन-चिप मेमोरी बढ़ाकर 40 गीगाबाइट कर दी गई। मार्च 2024 में, सेरेब्रास ने WSE-3 पेश किया, जो 5-नैनोमीटर प्रक्रिया पर निर्मित है, जिसमें 900,000 कोर और 44 गीगाबाइट ऑन-चिप SRAM है, जो 24 ट्रिलियन पैरामीटर तक के मॉडल प्रशिक्षण को लक्षित करता है।
आर्किटेक्चर और डिज़ाइन
WSE का मुख्य नवाचार इसका वेफर-स्केल एकीकरण है। वेफर पर कई छोटे डाई बनाने और उन्हें अलग से पैकेज करने के बजाय, सेरेब्रास पूरे वेफर को बरकरार रखता है, जिसमें निर्माण दोषों के आसपास मार्ग बदलने के लिए अतिरेक सर्किट होते हैं। यह दृष्टिकोण प्रिंटेड सर्किट बोर्ड पर इंटर-चिप संचार की आवश्यकता को समाप्त करता है, जो अक्सर वितरित सिस्टम में एक प्रदर्शन बाधा होती है। चिप कोर का एक मेश-कनेक्टेड नेटवर्क उपयोग करता है, प्रत्येक कोर की अपनी मेमोरी होती है, जो उच्च-बैंडविड्थ, कम-विलंबता डेटा मूवमेंट की अनुमति देता है।
प्रत्येक कोर तंत्रिका नेटवर्क में सामान्य स्पार्स रैखिक बीजगणित संचालन के लिए अनुकूलित एक सरलीकृत प्रोसेसर है। कोर FP16, BF16, और FP32 सहित डेटा प्रारूपों की एक श्रृंखला का समर्थन करते हैं, और डेंस और स्पार्स दोनों संचालन को कुशलता से निष्पादित करने के लिए डिज़ाइन किए गए हैं। ऑन-चिप मेमोरी कोर में वितरित की जाती है, जो पारंपरिक GPU मेमोरी सिस्टम से कहीं अधिक कुल बैंडविड्थ प्रदान करती है। यह आर्किटेक्चर बाहरी मेमोरी पर निर्भरता को कम करता है, जो अक्सर AI प्रशिक्षण में एक सीमित कारक है।
WSE एक स्टैंडअलोन उत्पाद नहीं है; यह सेरेब्रास के CS-2 और CS-3 सिस्टम में एकीकृत है, जिसमें पावर डिलीवरी सिस्टम और कूलिंग समाधान शामिल है। CS-2, जो 2020 में जारी किया गया था, WSE-2 को समाहित करता है, जबकि CS-3, 2024 में घोषित, WSE-3 को समाहित करता है। ये सिस्टम मौजूदा डेटा केंद्रों में प्लग करने के लिए डिज़ाइन किए गए हैं और अक्सर बड़े पैमाने पर प्रशिक्षण के लिए क्लस्टर में उपयोग किए जाते हैं।
प्रदर्शन और बेंचमार्क
सेरेब्रास ने WSE के लिए कई प्रदर्शन बेंचमार्क प्रकाशित किए हैं। 2021 में, कंपनी ने प्रदर्शित किया कि एक एकल CS-2 सिस्टम GPT आर्किटेक्चर का उपयोग करके 1.8-बिलियन-पैरामीटर मॉडल प्रशिक्षित कर सकता है, और जब कई सिस्टम जुड़े होते हैं तो लगभग रैखिक स्केलिंग प्राप्त करता है। 2022 में, सेरेब्रास और सैंडिया नेशनल लेबोरेटरीज ने एक CS-2 का उपयोग करके 200-मिलियन-न्यूरॉन स्पाइकिंग तंत्रिका नेटवर्क को वास्तविक समय में अनुकरण किया, एक ऐसा कार्य जिसके लिए हजारों GPU वाले सुपरकंप्यूटर की आवश्यकता होती।
2023 में, सेरेब्रास ने बताया कि उसके सिस्टम 7-बिलियन-पैरामीटर मॉडल को 16 NVIDIA A100 GPU के क्लस्टर की तुलना में कम समय में प्रशिक्षित कर सकते हैं, संचार ओवरहेड में कमी के कारण। कंपनी के अनुसार, WSE-3 125 पेटाफ्लॉप तक AI कंप्यूट पावर प्रदान कर सकता है, जो इसे AI के लिए सबसे शक्तिशाली सिंगल-चिप प्रोसेसरों में से एक बनाता है। हालांकि, स्वतंत्र बेंचमार्क सीमित हैं, और अधिकांश प्रदर्शन दावे सेरेब्रास से ही आते हैं।
सॉफ्टवेयर इकोसिस्टम
WSE को प्रोग्राम करने के लिए, सेरेब्रास ने सेरेब्रास सॉफ्टवेयर प्लेटफॉर्म (CSoft) विकसित किया, जिसमें एक कंपाइलर शामिल है जो मशीन लर्निंग मॉडल को चिप के आर्किचेक्चर पर मैप करता है। CSoft TensorFlow और PyTorch जैसे लोकप्रिय फ्रेमवर्क का समर्थन करता है, जिससे शोधकर्ता महत्वपूर्ण कोड परिवर्तनों के बिना मौजूदा मॉडल चला सकते हैं। कंपाइलर डेटाफ्लो शेड्यूलिंग, मेमोरी आवंटन और वेफर-स्केल डिज़ाइन के लिए अनुकूलन को संभालता है।
सेरेब्रास पूर्व-अनुकूलित मॉडल कार्यान्वयन की एक लाइब्रेरी भी प्रदान करता है, जिसमें ट्रांसफार्मर, कन्वोल्यूशनल नेटवर्क और आवर्तक नेटवर्क शामिल हैं। सॉफ्टवेयर स्टैक में कई CS सिस्टम में वितरित प्रशिक्षण के लिए उपकरण शामिल हैं, जो वेट स्ट्रीमिंग नामक तकनीक का उपयोग करते हैं, जो चिप की मेमोरी के माध्यम से मॉडल वेट को पाइपलाइन करती है। यह दृष्टिकोण बाहरी स्टोरेज से वेट स्ट्रीम करके ऑन-चिप मेमोरी से बड़े मॉडल प्रशिक्षण की अनुमति देता है।
अनुप्रयोग और उपयोग के मामले
WSE को विभिन्न संगठनों द्वारा वाणिज्यिक और अनुसंधान दोनों उद्देश्यों के लिए अपनाया गया है। 2021 में, संयुक्त अरब अमीरात में G42 समूह ने AI अनुसंधान के लिए एक सुपरकंप्यूटर बनाने के लिए सेरेब्रास के साथ भागीदारी की, जिसे बाद में जेस और फाल्कन मॉडल प्रशिक्षित करने के लिए उपयोग किया गया। 2023 में, सेरेब्रास ने Qualcomm के साथ ऑन-डिवाइस AI मॉडल विकसित करने के लिए एक सहयोग की घोषणा की, हालांकि इस साझेदारी के विवरण कम हैं।
स्वास्थ्य सेवा क्षेत्र में, सेरेब्रास ने दवा खोज अनुकरण को गति देने के लिए फार्मास्युटिकल कंपनियों के साथ काम किया है। बड़े पैमाने पर ग्राफ तंत्रिका नेटवर्क को संभालने की चिप की क्षमता का उपयोग आणविक गुण भविष्यवाणी के लिए किया गया है। इसके अतिरिक्त, WSE का उपयोग मौसम पूर्वानुमान में किया गया है, जिसमें प्रयोगों ने GPU क्लस्टर की तुलना में उच्च-रिज़ॉल्यूशन जलवायु मॉडल के तेज़ प्रशिक्षण को दिखाया है।
अन्य AI हार्डवेयर के साथ तुलना
WSE अन्य विशेष AI प्रोसेसरों के साथ प्रतिस्पर्धा करता है, जैसे Groq के भाषा प्रसंस्करण इकाइयाँ और SambaNova के पुनर्विन्यास योग्य डेटाफ्लो इकाइयाँ। सामान्य-उद्देश्य समानांतर प्रोसेसर GPU के विपरीत, WSE एक डोमेन-विशिष्ट आर्किटेक्चर है जो AI कार्यभार के लिए अनुकूलित है। इसका मुख्य लाभ इंटर-चिप संचार का उन्मूलन है, जो बड़े पैमाने के प्रशिक्षण में एक महत्वपूर्ण ओवरहेड हो सकता है।
हालांकि, WSE का आकार और बिजली की खपत (CS-2 के लिए 15 किलोवाट तक) इसकी तैनाती को पर्याप्त कूलिंग वाले डेटा केंद्रों तक सीमित करती है। इसके विपरीत, AWS Trainium और Google के TPU क्लाउड सेवाओं के रूप में पेश किए जाते हैं, जो कई संगठनों के लिए अधिक सुलभ हो सकते हैं। WSE को AMD के इंस्टिंक्ट त्वरक और Intel के गौड़ी प्रोसेसरों से भी प्रतिस्पर्धा का सामना करना पड़ता है, जो डिज़ाइन में अधिक पारंपरिक हैं लेकिन परिपक्व सॉफ्टवेयर इकोसिस्टम से लाभान्वित होते हैं।
चुनौतियाँ और सीमाएँ
WSE की प्राथमिक चुनौतियों में से एक उपज है। दोष-मुक्त वेफर निर्माण करना कठिन है, लेकिन सेरेब्रास दोषपूर्ण कोर को अक्षम करने और संचार को पुनर्निर्देशित करके दोषों को सहन करने के लिए "अतिरेक" नामक तकनीक का उपयोग करता है। यह दृष्टिकोण कंपनी को उन वेफर का उपयोग करने की अनुमति देता है जो अन्यथा त्याग दिए जाते, लेकिन इसका मतलब यह भी है कि प्रभावी कोर गिनती चिप के बीच भिन्न होती है।
एक और सीमा मेमोरी क्षमता है। ऑन-चिप मेमोरी बड़ी होने के बावजूद, यह GPU पर उपलब्ध उच्च-बैंडविड्थ मेमोरी से अभी भी छोटी है। बड़े एम्बेडिंग टेबल या ध्यान मैट्रिक्स की आवश्यकता वाले मॉडल के लिए, WSE को बाहरी मेमोरी पर निर्भर रहना पड़ता है, जो इसके प्रदर्शन लाभ को कम करता है। इसके अतिरिक्त, सॉफ्टवेयर इकोसिस्टम CUDA की तुलना में कम परिपक्व है, और कुछ शोधकर्ताओं ने कस्टम कर्नेल पोर्ट करने में कठिनाइयों की सूचना दी है।
CS-2 सिस्टम की लागत सार्वजनिक रूप से खुलासा नहीं की गई है, लेकिन यह अनुमानित है कि यह लाखों डॉलर में है, जो इसे कई छोटे अनुसंधान समूहों के लिए दुर्गम बनाता है। सेरेब्रास ने अपने स्वयं के डेटा केंद्रों और Oracle Cloud और Azure के साथ साझेदारी के माध्यम से क्लाउड एक्सेस प्रदान करके इसे संबोधित किया है।
भविष्य की दिशाएँ
सेरेब्रास WSE आर्किटेक्चर पर पुनरावृत्ति जारी रखता है। WSE-3, 2024 में घोषित, 24 ट्रिलियन पैरामीटर तक के मॉडल प्रशिक्षण का समर्थन करने के लिए डिज़ाइन किया गया है, जिसके लिए कई CS-3 सिस्टम के क्लस्टर की आवश्यकता होगी। कंपनी प्रदर्शन को और बढ़ाने और लागत कम करने के लिए चिपलेट जैसी नई पैकेजिंग तकनीकों की भी खोज कर रही है।
2023 में, सेरेब्रास ने IPO के लिए आवेदन किया, लेकिन बाजार स्थितियों के कारण योजनाएं विलंबित हुईं। कंपनी ने OpenAI सह-संस्थापक सैम ऑल्टमैन (हालांकि आधिकारिक क्षमता में नहीं) और बेंचमार्क कैपिटल सहित निवेशकों से $700 मिलियन से अधिक धन जुटाया है। 2024 तक, WSE AI हार्डवेयर परिदृश्य में एक विशिष्ट लेकिन प्रभावशाली उत्पाद बना हुआ है, जो सिंगल-चिप कंप्यूटिंग में संभव की सीमाओं को आगे बढ़ाता है।
स्वागत और प्रभाव
WSE को AI समुदाय से मिश्रित प्रतिक्रियाएँ मिली हैं। समर्थकों ने मेमोरी बैंडविड्थ समस्या को हल करने के इसके अभिनव दृष्टिकोण पर प्रकाश डाला है, जबकि संशयवादी GPU क्लस्टर की तुलना में इसकी व्यावहारिकता और लागत-प्रभावशीलता पर सवाल उठाते हैं। स्वतंत्र अध्ययनों ने दिखाया है कि स्पार्स ध्यान और ग्राफ प्रोसेसिंग जैसे कुछ कार्यभार के लिए, WSE GPU को महत्वपूर्ण अंतर से पार कर सकता है, लेकिन दूसरों के लिए, लाभ कम स्पष्ट है।
बहस के बावजूद, WSE ने अन्य AI चिप्स के डिज़ाइन को प्रभावित किया है, विशेष रूप से ऑन-चिप मेमोरी और इंटरकनेक्ट के क्षेत्र में। इसकी सफलता ने वेफर-स्केल एकीकरण की अवधारणा को भी मान्य किया है, जिसे पहले अव्यावहारिक माना जाता था। जैसे-जैसे जनरेटिव AI मॉडल आकार में बढ़ते जा रहे हैं, WSE जैसे विशेष हार्डवेयर की मांग बढ़ने की संभावना है, हालांकि प्रतिस्पर्धी परिदृश्य गतिशील बना हुआ है।
यह भी देखें
संदर्भ
- सेरेब्रास सिस्टम्स। "वेफर-स्केल इंजन: एक परिचय।" 2019।
- फेल्डमैन, ए. एट अल। "द सेरेब्रास वेफर-स्केल इंजन।" IEEE माइक्रो, 2021।
- सेरेब्रास सिस्टम्स। "CS-3 सिस्टम अवलोकन।" 2024।
- सैंडिया नेशनल लेबोरेटरीज। "वास्तविक-समय स्पाइकिंग तंत्रिका नेटवर्क अनुकरण।" 2022।
- G42। "दुनिया का सबसे बड़ा AI सुपरकंप्यूटर बनाना।" 2021।