भाषा प्रसंस्करण इकाई

Groq, Inc. एक अमेरिकी कृत्रिम बुद्धिमत्ता (AI) कंपनी है जो एक AI एक्सेलरेटर एप्लिकेशन-विशिष्ट एकीकृत सर्किट (ASIC) बनाती है। इस वास्तुकला को मूल रूप से टेन्सर स्ट्रीमिंग प्रोसेसर (TSP) के रूप में पेश किया गया था, लेकिन ChatGPT की सफलता के बाद बड़े भाषा मॉडलों के व्यापक रूप से अपनाए जाने के कारण इसे बाद में लैंग्वेज प्रोसेसिंग यूनिट (LPU) के रूप में पुनः ब्रांडेड किया गया। कंपनी AI इंफेरेंस प्रदर्शन को तेज करने के लिए संबंधित कंप्यूटर हार्डवेयर और सॉफ्टवेयर भी विकसित करती है। Groq के LPU पर चलने वाले AI वर्कलोड के प्रकारों के उदाहरण हैं: बड़े भाषा मॉडल (LLM), छवि वर्गीकरण, और पूर्वानुमानात्मक विश्लेषण। Groq का मुख्यालय माउंटेन व्यू, कैलिफोर्निया में है, और इसके कार्यालय सैन जोस, कैलिफोर्निया, लिबर्टी लेक, वाशिंगटन, टोरंटो, कनाडा, लंदन, यू.के. में हैं और उत्तरी अमेरिका और यूरोप में दूरस्थ कर्मचारी हैं।

दिसंबर 2025 में, Nvidia और Groq ने Groq की AI इंफेरेंस तकनीक को लाइसेंस देने और कई वरिष्ठ Groq कार्यकारी अधिकारियों को Nvidia में स्थानांतरित करने के लिए लगभग US$20 बिलियन मूल्य के समझौते की घोषणा की। Groq ने कहा कि वह एक स्वतंत्र कंपनी के रूप में काम करना जारी रखेगा।

इतिहास

Groq की स्थापना 2016 में पूर्व Google इंजीनियरों के एक समूह द्वारा की गई थी, जिसका नेतृत्व जोनाथन रॉस ने किया था, जो टेन्सर प्रोसेसिंग यूनिट (TPU) के डिजाइनरों में से एक हैं, जो एक AI एक्सेलरेटर ASIC है, और डगलस वाइटमैन, एक उद्यमी और Google X (जिसे X डेवलपमेंट के रूप में जाना जाता है) के पूर्व इंजीनियर हैं, जिन्होंने कंपनी के पहले CEO के रूप में कार्य किया। संस्थापक टीम ने DeepMind और अन्य AI अनुसंधान समूहों से अनुभव प्राप्त किया, जिसका उद्देश्य AI वर्कलोड की मांगों के लिए विशेष रूप से हार्डवेयर बनाना था।

Groq को Social Capital के चामथ पालिहापिट्या से सीड फंडिंग मिली, 2017 में $10 मिलियन के निवेश के साथ और जल्द ही अतिरिक्त धनराशि सुरक्षित की। अप्रैल 2021 में, Groq ने Tiger Global Management और D1 Capital Partners के नेतृत्व में सीरीज C दौर में $300 मिलियन जुटाए। वर्तमान निवेशकों में शामिल हैं: Infinitum, The Spruce House Partnership, Addition, GCM Grosvenor, Xⁿ, Firebolt Ventures, General Global Capital, और Tru Arrow Partners, साथ ही Infinitum, TDK Ventures, और XTX Ventures से अनुवर्ती निवेश। Groq के सीरीज C फंडिंग दौर के बाद, इसका मूल्यांकन $1 बिलियन से अधिक हुआ, जिससे स्टार्टअप एक यूनिकॉर्न बन गया।

1 मार्च, 2022 को, Groq ने Maxeler Technologies का अधिग्रहण किया, जो अपनी डेटाफ्लो सिस्टम तकनीकों के लिए जानी जाने वाली कंपनी है। यह निर्णय लिया गया कि डॉ. ऑस्कर मेंसर और टीम की लंबे समय से चली आ रही उपलब्धियों के कारण Maxeler अपना ब्रांड बनाए रखेगा, जो अपनी विशेषज्ञता के क्षेत्र में शोध प्रकाशित करते हैं। 16 अगस्त, 2023 को, Groq ने अपनी अगली पीढ़ी के चिप्स के निर्माण के लिए टेलर, टेक्सास में Samsung Electronics की फाउंड्री को चुना, जो Samsung के 4-नैनोमीटर (nm) प्रोसेस नोड पर होगा। यह इस नई Samsung चिप फैक्ट्री में पहला ऑर्डर था।

19 फरवरी, 2024 को, Groq ने डेवलपर्स को Groq API का उपयोग करने और अपने चिप्स तक किराए पर पहुंच प्राप्त करने के लिए आकर्षित करने हेतु एक डेवलपर प्लेटफॉर्म, GroqCloud™ का सॉफ्ट-लॉन्च किया। 1 मार्च, 2024 को Groq ने Definitive Intelligence का अधिग्रहण किया, जो व्यवसाय-उन्मुख AI समाधानों की एक श्रृंखला पेश करने के लिए जानी जाने वाली स्टार्टअप है, ताकि इसके क्लाउड प्लेटफॉर्म में मदद मिल सके। Groq ने अगस्त 2024 में BlackRock Private Equity Partners के नेतृत्व में सीरीज D दौर में $640 मिलियन जुटाए, जिससे कंपनी का मूल्यांकन $2.8 बिलियन हुआ।

10 फरवरी, 2025 को, Groq ने घोषणा की कि उसने सऊदी अरब साम्राज्य से अपने LPU-आधारित AI इंफेरेंस इंफ्रास्ट्रक्चर की डिलीवरी का विस्तार करने के लिए US$1.5 बिलियन की प्रतिबद्धता सुरक्षित की है, जो दम्मम, सऊदी अरब में एक नए GroqCloud डेटा सेंटर से जुड़ी है। 2025 तक, Groq ने अपनी तकनीक के साथ अमेरिका, कनाडा, मध्य पूर्व और यूरोप में एक दर्जन डेटा सेंटर स्थापित किए हैं।

दिसंबर 2025 में, Nvidia ने Groq से लगभग US$20 बिलियन में संपत्ति खरीदने पर सहमति व्यक्त की, जो Nvidia के लिए एक रिकॉर्ड है। Groq ने इसे एक गैर-अनन्य लाइसेंसिंग सौदे के रूप में वर्णित किया है। इस सौदे के हिस्से के रूप में, Groq के संस्थापक रॉस और Groq के अध्यक्ष सनी मद्रा Nvidia में शामिल होंगे। मई 2026 में, Groq के बारे में बताया गया कि वह अपने AI इंफेरेंस क्लाउड व्यवसाय में संक्रमण के लिए मौजूदा निवेशकों से $650 मिलियन जुटा रहा है, यह दौर निवेशकों Disruptive और Infinitum द्वारा समर्थित एक प्रो-राटा पेशकश के रूप में संरचित है।

लैंग्वेज प्रोसेसिंग यूनिट

Groq के ASIC का प्रारंभिक नाम टेन्सर स्ट्रीमिंग प्रोसेसर (TSP) था, जिसका कोडनेम "एलन" था, लेकिन बाद में इसे मार्क हीप्स - ब्रांड के VP, और जोनाथन रॉस - CEO/संस्थापक द्वारा TSP से लैंग्वेज प्रोसेसिंग यूनिट (LPU) में पुनः ब्रांडेड किया गया ताकि प्रोसेसर की प्रकृति अधिक स्पष्ट हो सके। LPU विशेष रूप से बड़े भाषा मॉडल और अन्य AI मॉडलों के इंफेरेंस चरण के लिए डिज़ाइन किया गया है, जो कम विलंबता और उच्च थ्रूपुट पर केंद्रित है।

LPU में एक कार्यात्मक रूप से स्लाइस्ड माइक्रोआर्किटेक्चर है, जहां मेमोरी इकाइयां वेक्टर और मैट्रिक्स कंप्यूटेशन इकाइयों के साथ इंटरलीव की जाती हैं। यह डिज़ाइन AI कंप्यूट ग्राफ़ में डेटाफ्लो लोकैलिटी के दोहन की सुविधा प्रदान करता है, जिससे निष्पादन प्रदर्शन और दक्षता में सुधार होता है। LPU को दो प्रमुख अवलोकनों के आधार पर डिज़ाइन किया गया था: AI वर्कलोड पर्याप्त डेटा समानता प्रदर्शित करते हैं, जिसे उद्देश्य-निर्मित हार्डवेयर पर मैप किया जा सकता है, जिससे प्रदर्शन लाभ होता है; और एक नियतात्मक प्रोसेसर डिज़ाइन, एक उत्पादक-उपभोक्ता प्रोग्रामिंग मॉडल के साथ, हार्डवेयर घटकों पर सटीक नियंत्रण और तर्क की अनुमति देता है, जिससे अनुकूलित प्रदर्शन और ऊर्जा दक्षता मिलती है।

अपने कार्यात्मक रूप से स्लाइस्ड माइक्रोआर्किटेक्चर के अलावा, LPU को इसकी एकल-कोर, नियतात्मक वास्तुकला द्वारा भी चित्रित किया जा सकता है। LPU पारंपरिक प्रतिक्रियाशील हार्डवेयर घटकों (शाखा भविष्यवक्ता, आर्बिटर, रीऑर्डरिंग बफर, कैश) के उपयोग से बचकर और सभी निष्पादन को कंपाइलर द्वारा स्पष्ट रूप से नियंत्रित करके नियतात्मक निष्पादन प्राप्त कर सकता है, जिससे LPU प्रोग्राम के निष्पादन में नियतिवाद की गारंटी मिलती है। यह नियतात्मक दृष्टिकोण कई CPU डिज़ाइनों में उपयोग की जाने वाली सट्टा निष्पादन के विपरीत है, जो प्रदर्शन में परिवर्तनशीलता ला सकता है।

LPU (TSP) की पहली पीढ़ी अपने 25×29 मिमी 14nm चिप के लिए प्रति वर्ग मिमी सिलिकॉन में 1TeraOp/s से अधिक की कम्प्यूटेशनल घनत्व प्राप्त करती है, जो 900 MHz की नाममात्र घड़ी आवृत्ति पर संचालित होती है। LPU (LPU v2) की दूसरी पीढ़ी Samsung के 4nm प्रोसेस नोड पर निर्मित की जाएगी। LPU की वास्तुकला विशेष रूप से ट्रांसफॉर्मर-आधारित मॉडलों के लिए उपयुक्त है, जो आधुनिक जनरेटिव AI अनुप्रयोगों पर हावी हैं।

Groq अपने LPU पर चलने वाले ओपन-सोर्स बड़े भाषा मॉडल सार्वजनिक पहुंच के लिए होस्ट करता है। इन डेमो तक पहुंच Groq की वेबसाइट और डेवलपर्स के लिए इसके प्लेग्राउंड के माध्यम से उपलब्ध है। LPU के प्रदर्शन को Nvidia GPU के खिलाफ बेंचमार्क किया गया है, जो Llama और Mistral जैसे मॉडलों के लिए टोकन जनरेशन में महत्वपूर्ण गति दिखाता है, हालांकि स्वतंत्र सत्यापन जारी है।

वास्तुकला और डिज़ाइन

LPU का डिज़ाइन दर्शन सामान्य-उद्देश्य प्रोसेसर के ओवरहेड को समाप्त करने पर केंद्रित है। एक बड़ी, सॉफ्टवेयर-प्रबंधित मेमोरी के साथ एक एकल कोर का उपयोग करके, LPU जटिल कैश पदानुक्रम और सुसंगतता प्रोटोकॉल की आवश्यकता से बचता है। प्रत्येक कार्यात्मक स्लाइस में अपनी स्वयं की मेमोरी और कंप्यूट इकाइयां शामिल हैं, जिससे डेटा साझा बस से गुजरे बिना सीधे उनके बीच प्रवाहित हो सकता है। यह Xerox PARC और MIT CSAIL जैसी पहले की परियोजनाओं द्वारा खोजी गई डेटाफ्लो वास्तुकला की भावना के समान है, लेकिन आधुनिक AI वर्कलोड पर लागू किया गया है।

कंपाइलर LPU के संचालन में एक महत्वपूर्ण भूमिका निभाता है। यह सभी निर्देशों और डेटा आंदोलनों को पहले से शेड्यूल करता है, यह सुनिश्चित करता है कि हार्डवेयर डेटा की प्रतीक्षा में कभी रुक न जाए। यह स्थिर शेड्यूलिंग संभव है क्योंकि AI इंफेरेंस ग्राफ़ आमतौर पर पहले से ज्ञात होते हैं, इंटरैक्टिव अनुप्रयोगों के विपरीत। परिणाम एक प्रोसेसर है जो उच्च उपयोग और पूर्वानुमानित प्रदर्शन प्राप्त करता है, जो वास्तविक समय की AI सेवाओं के लिए महत्वपूर्ण है।

LPU FP32, BF16, और INT8 सहित कई संख्यात्मक परिशुद्धताओं का भी समर्थन करता है, जिससे डेवलपर्स सटीकता के बदले गति का व्यापार कर सकते हैं। यह लचीलापन एज डिवाइस से लेकर क्लाउड डेटा सेंटर तक विभिन्न हार्डवेयर बाधाओं में मॉडल तैनात करने के लिए महत्वपूर्ण है।

सॉफ्टवेयर और पारिस्थितिकी तंत्र

Groq एक सॉफ्टवेयर स्टैक प्रदान करता है जिसमें एक कंपाइलर, रनटाइम और PyTorch और TensorFlow जैसे लोकप्रिय फ्रेमवर्क के लिए API शामिल हैं। GroqWare सुइट में मॉडल अनुकूलन, प्रोफाइलिंग और तैनाती के लिए उपकरण शामिल हैं। कंपनी ने अपने प्लेटफॉर्म पर ओपन-सोर्स मॉडल की एक विस्तृत श्रृंखला पेश करने के लिए Hugging Face के साथ भी साझेदारी की है, जिससे डेवलपर्स के लिए LPU त्वरण के साथ प्रयोग करना आसान हो जाता है।

2024 में लॉन्च किया गया GroqCloud, उपयोगकर्ताओं को AWS, Azure और Google Cloud जैसी क्लाउड सेवाओं के समान, मांग पर LPU क्षमता किराए पर लेने की अनुमति देता है। प्लेटफ़ॉर्म इंटरैक्टिव इंफेरेंस और बैच प्रोसेसिंग दोनों का समर्थन करता है, जिसमें पे-एज़-यू-गो मूल्य निर्धारण मॉडल है। 2025 तक, GroqCloud 100,000 से अधिक डेवलपर्स की मेजबानी करता है और अरबों अनुरोधों को संसाधित कर चुका है।

कंपनी एक अनुसंधान प्रभाग भी बनाए रखती है जो AI के लिए नई वास्तुकला का पता लगाने के लिए Stanford AI Lab और Berkeley AI Research जैसे शैक्षणिक संस्थानों के साथ सहयोग करती है। Groq की तकनीक का उपयोग शतरंज इंजन से लेकर स्वायत्त वाहनों तक के अनुप्रयोगों में किया गया है, हालांकि प्राथमिक ध्यान LLM इंफेरेंस पर बना हुआ है।

बाजार स्थिति और प्रतिस्पर्धा

Groq SambaNova और Graphcore जैसे अन्य AI चिप स्टार्टअप्स के साथ-साथ AMD और Intel जैसे स्थापित खिलाड़ियों के साथ प्रतिस्पर्धा करता है। LPU का नियतात्मक डिज़ाइन इसे विलंबता-संवेदनशील अनुप्रयोगों में बढ़त देता है, लेकिन प्रशिक्षण कार्यों के लिए इसमें GPU की लचीलापन का अभाव है। Groq ने खुद को इंफेरेंस में एक विशेषज्ञ के रूप में स्थापित किया है, एक ऐसा बाजार जो AI अनुप्रयोगों के प्रसार के साथ तेजी से बढ़ रहा है।

2025 में, कंपनी का मूल्यांकन अपने सीरीज D दौर के बाद $2.8 बिलियन तक पहुंच गया, और दिसंबर 2025 में Nvidia सौदे ने इसकी तकनीक को और मान्यता दी। लाइसेंसिंग समझौता Nvidia को अपने स्वयं के उत्पादों में Groq की इंफेरेंस तकनीक को शामिल करने की अनुमति देता है, जिससे LPU-आधारित समाधानों की पहुंच का विस्तार हो सकता है।

भविष्य की दिशाएं

आगे देखते हुए, Groq LPU v2 जारी करने की योजना बना रहा है, जो Samsung के 4nm प्रक्रिया पर निर्मित है, जिससे पहली पीढ़ी की तुलना में महत्वपूर्ण प्रदर्शन सुधार की उम्मीद है। कंपनी बैंडविड्थ बढ़ाने और विलंबता को और कम करने के लिए HBM जैसी नई मेमोरी तकनीकों की भी खोज कर रही है।

Groq का AI इंफेरेंस क्लाउड व्यवसाय में संक्रमण, जैसा कि 2026 के फंडिंग दौर से संकेत मिलता है, हार्डवेयर बिक्री से सेवा प्रावधान की ओर एक रणनीतिक बदलाव का सुझाव देता है। यह उद्योग के रुझानों के साथ संरेखित है जहां कंप्यूट को तेजी से एक उपयोगिता के रूप में वितरित किया जाता है, जो क्लाउड कंप्यूटिंग के विकास के समान है।

यह भी देखें

• सेंट्रल प्रोसेसिंग यूनिट
• ग्राफिक्स प्रोसेसिंग यूनिट
• टेन्सर प्रोसेसिंग यूनिट
• AI एक्सेलरेटर

संदर्भ

• Groq, Inc. आधिकारिक वेबसाइट
• Groq से प्रेस विज्ञप्तियां और घोषणाएं
• AI हार्डवेयर पर उद्योग रिपोर्ट

बाहरी लिंक

• Groq आधिकारिक वेबसाइट