Cerebras Systems Inc., जिसका मुख्यालय सनीवेल, कैलिफोर्निया में है, सेमीकंडक्टर, सुपरकंप्यूटर और संबंधित सॉफ्टवेयर विकसित करता है ताकि आर्टिफिशियल इंटेलिजेंस डीप-लर्निंग अनुप्रयोगों जैसे कि इन्फ्रेंस इंजन को शक्ति प्रदान की जा सके। इसके उत्पादों में वेफर स्केल इंजन (WSE)-3 सेमीकंडक्टर, CS-3 सुपरकंप्यूटर, और "AI इन्फ्रेंस क्लाउड" और "AI ट्रेनिंग क्लाउड" API शामिल हैं, जो उपयोगकर्ताओं को इसके हार्डवेयर खरीदे बिना कंपनी की कंप्यूटिंग शक्ति तक पहुंचने की अनुमति देते हैं। कंपनी अपने प्रोसेसर और सुपरकंप्यूटर का उपयोग करके डेटा सेंटर भी बनाती है ताकि ग्राहकों को सीधे क्लाउड कंप्यूटिंग सेवाएं प्रदान की जा सकें।
215 मिमी (8.5 इंच) वर्ग में मापे जाने वाले, कंपनी के WSE-3 सेमीकंडक्टर वर्तमान में अब तक बनाए गए सबसे बड़े AI सेमीकंडक्टर हैं। वे पूरे सिलिकॉन वेफर पर कब्जा करते हैं और वेफर-स्केल इंटीग्रेशन और स्विच्ड फैब्रिक का उपयोग करते हैं। यह GPU क्लस्टर की तुलना में लेटेंसी और इंटरकनेक्ट बाधाओं को कम करता है। वे डायनामिक रैंडम-एक्सेस मेमोरी के विपरीत, स्टैटिक रैंडम-एक्सेस मेमोरी का उपयोग करते हैं। Cerebras सेमीकंडक्टर और कंप्यूटर सिस्टम प्रतिस्पर्धियों की तुलना में कहीं अधिक शक्तिशाली हैं; हालांकि, उनके बड़े आकार, 25kW बिजली खपत, और प्रति नोड $3 मिलियन तक की लागत के कारण उनके नुकसान हैं।
स्थापना और प्रारंभिक चुनौतियाँ
Cerebras Systems की स्थापना 2015 में एंड्रयू फेल्डमैन, गैरी लॉटरबैक, माइकल जेम्स, सीन ली और जीन-फिलिप फ्रिकर द्वारा की गई थी। ये पांचों संस्थापक SeaMicro में एक साथ काम करते थे, जिसे 2007 में फेल्डमैन और लॉटरबैक ने शुरू किया था और 2012 में AMD को $334 मिलियन में बेच दिया गया था। संस्थापकों को पता था कि GPU उच्च-स्तरीय प्रक्रियाओं के लिए इष्टतम सेमीकंडक्टर नहीं थे। हालांकि, उन्हें बिजली खींचते समय एक "विशाल" सेमीकंडक्टर को जलने से रोकने के लिए अद्वितीय शीतलन विधियों को डिजाइन करना पड़ा, सामान्य सूक्ष्म विनिर्माण दोषों के आसपास मार्ग निकालने के लिए अद्वितीय सॉफ्टवेयर, और उन्हें एक ऐसी मशीन का आविष्कार करना पड़ा जो वेफर में बिना टूटे एक साथ 40 स्क्रू ड्रिल कर सके।
कंपनी को एकीकृत सर्किट पैकेजिंग की समस्या को हल करने में कठिनाई हुई: सिलिकॉन को मदरबोर्ड से जोड़ना, बिजली प्राप्त करना, और हीटिंग और कूलिंग और डेटा वितरित करने और लौटाने के लिए पाइप से निपटना। यह प्रति माह $8 मिलियन जला रही थी और समस्या को हल करने के लिए $200 मिलियन खर्च किए। जुलाई 2019 में, व्यापक परीक्षण और त्रुटि के बाद, कंपनी ने अंततः एक ऐसा उत्पाद तैयार किया जो काम करता था।
पहली पीढ़ी के उत्पाद
अगस्त 2019 में, Cerebras ने WSE-1, अपनी पहली पीढ़ी के वेफर-स्केल इंजन (WSE) सेमीकंडक्टर और इसकी CS-1 सुपरकंप्यूटिंग प्रणाली की घोषणा की। CS-1 एक 19-इंच रैक-माउंटेड उपकरण है और इसमें 400,000 प्रोसेसिंग कोर, 1.2 ट्रिलियन ट्रांजिस्टर (बारह 100-गीगाबिट ईथरनेट कनेक्शन), और 18 गीगाबाइट मेमोरी के साथ एक एकल WSE प्राथमिक प्रोसेसर शामिल है।
कंपनी के पहले ग्राहक शैक्षणिक संस्थान और जीवन-विज्ञान कंपनियां थीं जो दवा खोज, कम्प्यूटेशनल फ्लूइड डायनामिक्स, आनुवंशिक और जीनोमिक अनुसंधान, दवाओं के प्रति प्रतिक्रिया की भविष्यवाणी करने और COVID-19 अनुसंधान के उद्देश्यों के लिए सुपरकंप्यूटर बना रही थीं। प्रारंभिक ग्राहकों में GlaxoSmithKline, AstraZeneca, नेशनल एनर्जी टेक्नोलॉजी लेबोरेटरी, लॉरेंस लिवरमोर नेशनल लेबोरेटरी, पिट्सबर्ग सुपरकंप्यूटिंग सेंटर और एडिनबर्ग पैरेलल कंप्यूटिंग सेंटर शामिल थे।
विस्तार और CS-2
सितंबर 2020 में, कंपनी ने जापान में एक कार्यालय खोला और टोक्यो इलेक्ट्रॉन के साथ साझेदारी की। अप्रैल 2021 में, कंपनी ने अपनी CS-2 प्रणाली जारी की, जो कंपनी के वेफर स्केल इंजन टू (WSE-2) पर आधारित है, जिसमें 850,000 कोर हैं। CS-2 TSMC की 7 nm प्रक्रिया द्वारा निर्मित है। यह 26 इंच (660 मिमी) लंबा है और एक मानक डेटा सेंटर रैक के एक-तिहाई में फिट बैठता है। WSE-2 में 850,000 कोर और 2.6 ट्रिलियन ट्रांजिस्टर हैं। यह एक एकल प्रणाली को 120 ट्रिलियन से अधिक पैरामीटर वाले AI मॉडल का समर्थन करने में सक्षम बनाता है। WSE-2 ने ऑन-चिप SRAM को 40 गीगाबाइट, मेमोरी बैंडविड्थ को 20 पेटाबाइट प्रति सेकंड, और कुल फैब्रिक बैंडविड्थ को 220 पेटाबिट प्रति सेकंड तक विस्तारित किया। ग्राहकों में TotalEnergies, nference, नेशनल सेंटर फॉर सुपरकंप्यूटिंग एप्लिकेशन (NCSA), और लीबनिज सुपरकंप्यूटिंग सेंटर शामिल थे।
अगस्त 2021 में, Cerebras ने पेप्टाइड थेरेप्यूटिक्स के लिए AI के विकास पर Peptilogics के साथ एक साझेदारी की घोषणा की। जून 2022 में, Cerebras ने एक उपकरण पर प्रशिक्षित सबसे बड़े AI मॉडल का रिकॉर्ड स्थापित किया - एक एकल CS-2 प्रणाली जिसमें एक Cerebras वेफर ने 20 बिलियन पैरामीटर तक के मॉडल प्रशिक्षित किए। Cerebras CS-2 प्रणाली GPT-3XL 1.3 बिलियन मॉडल के साथ-साथ GPT-J 6B, GPT-3 13B, और GPT-NeoX 20B सहित मल्टीबिलियन-पैरामीटर प्राकृतिक-भाषा-प्रसंस्करण (NLP) मॉडल को कम सॉफ्टवेयर जटिलता और बुनियादी ढांचे के साथ प्रशिक्षित कर सकती है।
मान्यता और क्लस्टर
अगस्त 2022 में, माउंटेन व्यू, कैलिफोर्निया में कंप्यूटर हिस्ट्री म्यूजियम ने WSE-2 की विशेषता वाला एक नया प्रदर्शन अनावरण किया, जिसे "द बिगेस्ट चिप इन द वर्ल्ड" नाम दिया गया। अगस्त 2022 में भी, Cerebras ने बैंगलोर, भारत में एक कार्यालय खोला। सितंबर 2022 में, Cerebras ने घोषणा की कि यह AI कंप्यूटिंग के लिए अब तक का सबसे बड़ा कंप्यूटिंग क्लस्टर बनाने के लिए अपने चिप्स को एक साथ जोड़ सकता है। एक वेफर-स्केल क्लस्टर 192 CS-2 AI प्रणालियों को एक क्लस्टर में जोड़ सकता है, जबकि 16 CS-2 AI प्रणालियों का एक क्लस्टर प्राकृतिक-भाषा प्रसंस्करण के लिए 13.6 मिलियन कोर के साथ एक कंप्यूटिंग प्रणाली बना सकता है। यह प्रशिक्षण के लिए डेटा समानांतरता का उपयोग करता है।
अक्टूबर 2022 में, नेशनल न्यूक्लियर सिक्योरिटी एडमिनिस्ट्रेशन की सैंडिया नेशनल लेबोरेटरीज ने परमाणु स्टॉकपाइल स्टीवर्डशिप कंप्यूटिंग में CS-2 का उपयोग शुरू किया, यह निर्धारित करने के लिए कि क्या परमाणु हथियार इच्छित रूप से काम करेंगे। नवंबर 2022 में, Cerebras ने एंड्रोमेडा सुपरकंप्यूटर का अनावरण किया, जो 16 WSE-2 चिप्स को 13.5 मिलियन AI-अनुकूलित कोर के साथ एक क्लस्टर में जोड़ता है, जो 1 एक्साफ्लॉप तक AI कंप्यूटिंग शक्ति, या कम से कम एक क्विंटिलियन (1018) ऑपरेशन प्रति सेकंड प्रदान करता है। पूरी प्रणाली 500 kW की खपत करती है, जो कुछ हद तक तुलनीय GPU-त्वरित सुपरकंप्यूटर की तुलना में काफी कम मात्रा थी।
साझेदारी और हालिया विकास
नवंबर 2022 में, Cerebras ने अपने Cerebras AI मॉडल स्टूडियो के लिए फ्लैट-रेट "पे-प्रति-मॉडल" कंप्यूट समय प्रदान करने के लिए Cirrascale क्लाउड सेवाओं के साथ एक साझेदारी की घोषणा की। नवंबर 2022 में, नेशनल एनर्जी टेक्नोलॉजी लेबोरेटरी (NETL) ने Cerebras उत्पादों का उपयोग करके मील के पत्थर स्थापित किए। नवंबर 2022 में, आर्गोन नेशनल लेबोरेटरी ने SARS-CoV-2 के वेरिएंट का विश्लेषण और भविष्यवाणी करने के लिए बड़े भाषा मॉडल को बदलने के लिए CS-2 के साथ-साथ Nvidia और Hewlett-Packard के उत्पादों का उपयोग करके COVID-19 अनुसंधान के लिए 2022 गॉर्डन बेल विशेष पुरस्कार जीता।
जुलाई 2023 में, G42 ने Cerebras से संभावित नौ सुपरकंप्यूटरों में से पहला खरीदने के लिए लगभग $100 मिलियन का भुगतान करने पर सहमति व्यक्त की। पहली प्रणाली 2024 में वितरित की गई थी। कंपनी के 4 प्रमुख ग्राहक हैं: मोहम्मद बिन जायद यूनिवर्सिटी ऑफ आर्टिफिशियल इंटेलिजेंस (2025 राजस्व का 62%), G42 (2025 राजस्व का 24%), OpenAI (2026 में हस्ताक्षरित), और अमेज़न वेब सेवाएं (2026 में हस्ताक्षरित)।
विनिर्माण और बाजार स्थिति
Cerebras के कार्यालय सनीवेल, सैन डिएगो, टोरंटो और बैंगलोर, भारत में हैं। इसके सेमीकंडक्टर TSMC द्वारा निर्मित हैं, जो वर्तमान में एकमात्र कंपनी है जिसके पास Cerebras चिप्स का निर्माण करने की क्षमता है। इसके हार्डवेयर के लिए कंपनी के प्राथमिक प्रतिस्पर्धी Nvidia, AMD, Intel और Broadcom हैं, और क्लाउड कंप्यूटिंग सेवाओं के लिए कंपनी के प्राथमिक प्रतिस्पर्धी अमेज़न वेब सेवाएं, माइक्रोसॉफ्ट एज़्योर, गूगल क्लाउड प्लेटफॉर्म, ओरेकल कॉर्पोरेशन और CoreWeave हैं।
Cerebras का Artificial intelligence हार्डवेयर के प्रति दृष्टिकोण कई प्रतिस्पर्धियों द्वारा उपयोग किए जाने वाले GPU-केंद्रित मॉडल से भिन्न है। वेफर-स्केल इंटीग्रेशन का उपयोग करके, कंपनी का लक्ष्य संचार ओवरहेड को कम करना है जो मल्टी-चिप प्रणालियों को परेशान करता है, जो Large language model और अन्य Deep learning कार्यभार के प्रशिक्षण के लिए विशेष रूप से प्रासंगिक है। Machine learning बुनियादी ढांचे पर कंपनी का ध्यान इसे व्यापक Generative AI पारिस्थितिकी तंत्र में एक विशिष्ट खिलाड़ी के रूप में स्थान देता है, जिसमें Neural network अनुसंधान से लेकर वाणिज्यिक क्लाउड ऑफरिंग तक के अनुप्रयोग हैं।
अपने तकनीकी लाभों के बावजूद, Cerebras प्रणालियों की उच्च लागत और बिजली आवश्यकताएं विशेष उपयोग के मामलों तक उनके गोद लेने को सीमित करती हैं। विनिर्माण के लिए TSMC पर कंपनी की निर्भरता और NVIDIA और AMD जैसे दिग्गजों की तुलना में अपेक्षाकृत छोटा ग्राहक आधार सेमीकंडक्टर उद्योग में प्रतिस्पर्धा करने की चुनौतियों को उजागर करता है। हालांकि, OpenAI और Amazon Web Services जैसी संस्थाओं के साथ इसकी साझेदारी AI कंप्यूट के लिए वैकल्पिक आर्किटेक्चर में बढ़ती रुचि का संकेत देती है।