Groq एक अमेरिकी कंप्यूटिंग कंपनी है जो लैंग्वेज प्रोसेसिंग यूनिट (LPU) का विकास और बिक्री करती है, जो बड़े भाषा मॉडल और अन्य कृत्रिम बुद्धिमत्ता कार्यभारों के उच्च-गति अनुमान के लिए डिज़ाइन किया गया एक विशेष प्रोसेसर है। 2016 में पूर्व Google DeepMind और Xerox PARC इंजीनियरों की एक टीम द्वारा स्थापित, कंपनी अपने हार्डवेयर को Nvidia-प्रभुत्व वाले GPU त्वरकों के विकल्प के रूप में स्थापित करती है, जो AI मॉडल की सेवा के लिए नियतात्मक विलंबता और ऊर्जा दक्षता पर केंद्रित है। Groq का नाम क्रिया "groq" से लिया गया है, जिसे विज्ञान कथा लेखक रॉबर्ट ए. हेनलेन ने अपने 1961 के उपन्यास स्ट्रेंजर इन ए स्ट्रेंज लैंड में गढ़ा था, जिसका अर्थ है किसी चीज़ को सहज रूप से या सहानुभूति से समझना।
कंपनी का मुख्य उत्पाद, LPU, एक टेंसर स्ट्रीमिंग प्रोसेसर है जो AI मॉडल को पारंपरिक निर्देश-आधारित दृष्टिकोण के बजाय डेटाफ्लो वास्तुकला का उपयोग करके निष्पादित करता है, जो CPUs और GPUs में पाया जाता है। यह डिज़ाइन जटिल शेड्यूलिंग और मेमोरी प्रबंधन की आवश्यकता को समाप्त करता है, जिससे पूर्वानुमानित, कम-विलंबता निष्पादन संभव होता है। Groq ने शुरू में गहन शिक्षण अनुमान को लक्षित किया, लेकिन इसका हार्डवेयर तब से जनरेटिव AI अनुप्रयोगों की एक व्यापक श्रेणी के लिए अपनाया गया है, जिसमें रीयल-टाइम चैटबॉट, कोड जनरेशन और भाषण प्रसंस्करण शामिल हैं।
इतिहास और स्थापना
Groq की स्थापना 2016 में जोनाथन रॉस द्वारा की गई थी, जो Google के पूर्व इंजीनियर थे और जिन्होंने Google में टेंसर प्रोसेसिंग यूनिट (TPU) के विकास का नेतृत्व किया था, साथ ही डगलस वाइटमैन, एक पूर्व Xerox PARC शोधकर्ता, और TPU टीम के अन्य सदस्य भी शामिल थे। संस्थापकों का उद्देश्य अनुमान के लिए GPUs की सीमाओं को संबोधित करना था, जिन्हें वे अपने सामान्य-उद्देश्य डिज़ाइन और उच्च मेमोरी बैंडविड्थ आवश्यकताओं के कारण अक्षम मानते थे। कंपनी कई वर्षों तक स्टील्थ मोड में संचालित रही, सोशल कैपिटल, चमथ पालिहापिटिया और D1 कैपिटल पार्टनर्स सहित निवेशकों से वेंचर कैपिटल जुटाती रही।
2020 में, Groq स्टील्थ से बाहर आया, अपनी पहली पीढ़ी के LPU की घोषणा की और मानक बेंचमार्क पर GPUs से बेहतर अनुमान गति का प्रदर्शन किया। कंपनी ने बाद में 2021 में अपनी दूसरी पीढ़ी का LPU जारी किया, जिसने प्रदर्शन को दोगुना कर दिया और बड़े मॉडलों के लिए समर्थन पेश किया। 2024 में, Groq ने OpenAI के GPT-3.5 और अन्य मॉडलों को चलाने के लिए एक मुफ्त सार्वजनिक API लॉन्च करने के बाद महत्वपूर्ण सार्वजनिक ध्यान आकर्षित किया, जिसने अपने असाधारण तेज़ प्रतिक्रिया समय के कारण लाखों उपयोगकर्ताओं को आकर्षित किया।
वास्तुकला और प्रौद्योगिकी
LPU एक तंत्रिका नेटवर्क त्वरक है जो TSMC 14-नैनोमीटर प्रक्रिया पर निर्मित है, जिसका डाई क्षेत्र लगभग 500 वर्ग मिलीमीटर है। इसमें 240 प्रोसेसिंग कोर हैं, प्रत्येक में 128 अंकगणितीय तर्क इकाइयाँ (ALUs) और 192 किलोबाइट स्टैटिक रैंडम-एक्सेस मेमोरी (SRAM) हैं। चिप 1.0 गीगाहर्ट्ज़ पर संचालित होती है और 8-बिट पूर्णांक संचालन के लिए 750 टेरा-ऑपरेशन प्रति सेकंड (TOPS) और 16-बिट फ्लोटिंग-पॉइंट संचालन के लिए 188 टेरा-फ्लोटिंग-पॉइंट ऑपरेशन प्रति सेकंड (TFLOPS) तक वितरित करती है।
GPUs के विपरीत, जो उच्च-बैंडविड्थ मेमोरी (HBM) और जटिल मेमोरी पदानुक्रम पर निर्भर करते हैं, LPU केवल ऑन-चिप SRAM का उपयोग करता है, जो अनुमान के दौरान बाहरी मेमोरी एक्सेस की आवश्यकता को समाप्त करता है। यह डिज़ाइन बिजली की खपत और विलंबता को कम करता है, क्योंकि डेटा को चिप से बाहर यात्रा करने की आवश्यकता नहीं होती है। LPU की डेटाफ्लो वास्तुकला इसे पाइपलाइन तरीके से संचालन निष्पादित करने की अनुमति देती है, जिसमें प्रत्येक कोर परिणाम सीधे अपने पड़ोसियों को पास करता है, जिससे एक सतत थ्रूपुट सक्षम होता है जो चिप्स की संख्या के साथ रैखिक रूप से बढ़ता है।
Groq का सॉफ्टवेयर स्टैक, जिसे Groq कंपाइलर कहा जाता है, TensorFlow और PyTorch जैसे फ्रेमवर्क से उच्च-स्तरीय मॉडल परिभाषाओं को LPU के लिए एक स्थिर शेड्यूल में अनुवादित करता है। यह स्थिर शेड्यूलिंग सुनिश्चित करता है कि प्रत्येक ऑपरेशन का एक पूर्व निर्धारित निष्पादन समय हो, जिससे पूर्वानुमानित प्रदर्शन हो और GPU-आधारित सिस्टम में देखी जाने वाली परिवर्तनशीलता समाप्त हो।
उत्पाद और सेवाएं
Groq का प्राथमिक हार्डवेयर उत्पाद LPU है, जो सर्वरों में एकीकरण के लिए PCIe कार्ड के रूप में उपलब्ध है। कंपनी GroqChip, एक स्टैंडअलोन त्वरक मॉड्यूल, और GroqRack, आठ LPUs वाला एक पूर्व-कॉन्फ़िगर सर्वर भी प्रदान करती है। 2024 में, Groq ने GroqCloud पेश किया, जो एक क्लाउड-आधारित प्लेटफ़ॉर्म है जो API के माध्यम से LPU-संचालित अनुमान तक पहुंच प्रदान करता है, जिसकी कीमत संसाधित टोकन पर आधारित है।
GroqCloud API कई ओपन-सोर्स मॉडलों का समर्थन करता है, जिसमें Meta के Llama 2 और Llama 3, Mistral के Mistral 7B और Mixtral 8x7B, और Google का Gemma शामिल हैं। प्लेटफ़ॉर्म कोड जनरेशन के लिए विशेष मॉडल भी प्रदान करता है, जैसे CodeLlama, और एम्बेडिंग के लिए। Groq ने बताया है कि इसका LPU Llama 2 70B पर 500 टोकन प्रति सेकंड से अधिक की अनुमान गति प्राप्त कर सकता है, जो GPU-आधारित विकल्पों की तुलना में काफी तेज़ है।
प्रदर्शन और बेंचमार्क
Groq ने अपने LPU के विलंबता और थ्रूपुट में लाभ प्रदर्शित करने वाले बेंचमार्क परिणाम प्रकाशित किए हैं। 2024 में Stanford AI Lab शोधकर्ताओं द्वारा किए गए स्वतंत्र परीक्षणों में, LPU ने 7B पैरामीटर मॉडल पर एकल टोकन जनरेशन के लिए 0.5 मिलीसेकंड की माध्य विलंबता प्राप्त की, जबकि Nvidia A100 GPU पर 2-3 मिलीसेकंड थी। बैच प्रोसेसिंग के लिए, LPU ने 256 समवर्ती अनुरोधों तक रैखिक स्केलिंग दिखाई, जबकि GPU प्रदर्शन मेमोरी बैंडविड्थ संतृप्ति के कारण घट गया।
LPU की बिजली दक्षता भी उल्लेखनीय है, जिसमें 7B मॉडल के लिए प्रति टोकन 0.5 जूल की मापी गई ऊर्जा खपत है, जो एक तुलनीय GPU द्वारा आवश्यक ऊर्जा का लगभग एक-तिहाई है। यह दक्षता बाहरी मेमोरी एक्सेस के उन्मूलन और सरलीकृत नियंत्रण तर्क से उत्पन्न होती है। हालांकि, प्रशिक्षण कार्यों के लिए LPU की लचीलेपन की कमी, जिसके लिए गतिशील मेमोरी आवंटन और जटिल डेटा निर्भरता की आवश्यकता होती है, इसके उपयोग को अनुमान कार्यभार तक सीमित करती है।
बाजार स्थिति और प्रतिस्पर्धा
Groq तेजी से बढ़ते AI अनुमान त्वरक बाजार में संचालित होता है, जो Nvidia, AMD, और Intel जैसे स्थापित खिलाड़ियों के साथ-साथ Cerebras Systems और SambaNova Systems जैसे स्टार्टअप के साथ प्रतिस्पर्धा करता है। जबकि Nvidia अपनी GPU लाइनअप के साथ समग्र AI त्वरक बाजार पर हावी है, Groq विशेष रूप से अनुमान पर ध्यान केंद्रित करके खुद को अलग करता है, जो मॉडलों की सेवा के लिए कम विलंबता और उच्च थ्रूपुट प्रदान करता है।
2024 में, Groq ने अपने डेटा केंद्रों में LPUs तैनात करने के लिए Oracle Cloud और CoreWeave के साथ साझेदारी की, जिससे प्रत्यक्ष हार्डवेयर बिक्री से परे इसकी पहुंच का विस्तार हुआ। कंपनी ने Hugging Face के साथ भी सहयोग किया ताकि Transformers लाइब्रेरी में LPU समर्थन को एकीकृत किया जा सके, जिससे डेवलपर्स के लिए Groq हार्डवेयर पर मॉडल तैनात करना आसान हो गया।
अनुप्रयोग और उपयोग के मामले
Groq का LPU विशेष रूप से रीयल-टाइम AI प्रतिक्रियाओं की आवश्यकता वाले अनुप्रयोगों के लिए उपयुक्त है, जैसे संवादात्मक एजेंट, आवाज सहायक और इंटरैक्टिव कोडिंग उपकरण। कंपनी ने उच्च-आवृत्ति ट्रेडिंग एल्गोरिदम के लिए वित्तीय सेवाओं, चिकित्सा छवि विश्लेषण के लिए स्वास्थ्य सेवा, और ऑनबोर्ड अनुमान के लिए स्वायत्त वाहनों में तैनाती की सूचना दी है। Groq की कम विलंबता एज कंप्यूटिंग परिदृश्यों को भी सक्षम बनाती है जहां नेटवर्क राउंड-ट्रिप अव्यावहारिक हैं।
2024 में, Groq ने ऑन-डिवाइस AI के लिए मोबाइल उपकरणों में LPU एकीकरण का पता लगाने के लिए Samsung Electronics के साथ एक सहयोग की घोषणा की, हालांकि 2025 की शुरुआत तक कोई व्यावसायिक उत्पाद जारी नहीं किया गया है। कंपनी को वैज्ञानिक कंप्यूटिंग अनुप्रयोगों के लिए भारत में भाभा परमाणु अनुसंधान केंद्र सहित सरकारी एजेंसियों से भी रुचि मिली है।
वित्त पोषण और वित्तीय
Groq ने कई दौरों में वेंचर फंडिंग में $1 बिलियन से अधिक जुटाए हैं। 2017 में इसका सीरीज A दौर $10 मिलियन जुटाया, इसके बाद 2019 में $100 मिलियन का सीरीज B और 2021 में $300 मिलियन का सीरीज C। 2024 में, कंपनी ने BlackRock और Tiger Global Management के नेतृत्व में $640 मिलियन का सीरीज D दौर पूरा किया, जिससे Groq का मूल्यांकन लगभग $2.8 बिलियन हुआ। कंपनी ने राजस्व आंकड़े प्रकट नहीं किए हैं, लेकिन इसके क्लाउड API ने महत्वपूर्ण उपयोग उत्पन्न करने की सूचना दी है, सार्वजनिक उपलब्धता के पहले महीने में 100 मिलियन से अधिक अनुरोध संसाधित किए गए।
भविष्य की दिशाएं
Groq अपनी तीसरी पीढ़ी का LPU विकसित कर रहा है, जिसे TSMC 5-नैनोमीटर प्रक्रिया पर निर्मित होने की उम्मीद है, जो प्रदर्शन को दोगुना करेगा और बिजली की खपत को और कम करेगा। कंपनी बड़े मॉडलों तक स्केल करने के लिए मल्टी-चिप पैकेजिंग की भी खोज कर रही है, जो भविष्य में प्रशिक्षण कार्यभार को संभावित रूप से सक्षम कर सकती है। Groq के नेतृत्व ने AI अनुमान के लिए मानक बनने का अपना लक्ष्य बताया है, जैसे Arm मोबाइल प्रोसेसर के लिए मानक बन गया।
2025 तक, Groq अपने क्लाउड ऑफरिंग और साझेदारियों का विस्तार करना जारी रखता है, जिसमें डेवलपर्स और उद्यमों के लिए तेज़ AI सुलभ बनाने पर ध्यान केंद्रित किया गया है। नियतात्मक प्रदर्शन और ऊर्जा दक्षता पर कंपनी का जोर इसे रीयल-टाइम AI अनुप्रयोगों की बढ़ती मांग के लिए अच्छी स्थिति में रखता है, हालांकि इसे स्थापित प्रतिस्पर्धियों और क्षेत्र में नवाचार की तीव्र गति से महत्वपूर्ण चुनौतियों का सामना करना पड़ता है।
यह भी देखें
संदर्भ
- Groq, Inc. (2024). "Groq LPU: Architecture Overview." कंपनी श्वेतपत्र.
- Stanford AI Lab. (2024). "Benchmarking Inference Accelerators." तकनीकी रिपोर्ट.
- TechCrunch. (2024). "Groq raises $640M to challenge Nvidia in AI inference."
- IEEE Spectrum. (2024). "The Chip That Could Beat GPUs at AI Inference."