भाषा प्रसंस्करण इकाई

Groq, Inc. एक अमेरिकी कृत्रिम बुद्धिमत्ता (AI) कंपनी है जो एक AI एक्सेलेरेटर एप्लिकेशन-विशिष्ट एकीकृत सर्किट (ASIC) बनाती है। इस आर्किटेक्चर को मूल रूप से टेंसर स्ट्रीमिंग प्रोसेसर (TSP) के रूप में पेश किया गया था, लेकिन ChatGPT की सफलता के बाद बड़े भाषा मॉडलों के व्यापक रूप से अपनाए जाने के बाद इसे बाद में लैंग्वेज प्रोसेसिंग यूनिट (LPU) के रूप में पुनः ब्रांडेड किया गया। कंपनी AI इन्फ्रेंस प्रदर्शन को तेज करने के लिए संबंधित कंप्यूटर हार्डवेयर और सॉफ्टवेयर भी विकसित करती है। Groq के LPU पर चलने वाले AI वर्कलोड के प्रकारों के उदाहरण हैं: बड़े भाषा मॉडल (LLM), छवि वर्गीकरण, और पूर्वानुमानात्मक विश्लेषण। Groq का मुख्यालय माउंटेन व्यू, कैलिफोर्निया में है, और इसके कार्यालय सैन जोस, कैलिफोर्निया, लिबर्टी लेक, वाशिंगटन, टोरंटो, कनाडा, लंदन, यू.के. में हैं और उत्तरी अमेरिका और यूरोप में दूरस्थ कर्मचारी हैं।

दिसंबर 2025 में, Nvidia और Groq ने लगभग US$20 बिलियन मूल्य के समझौते की घोषणा की, जिसके तहत Groq की AI इन्फ्रेंस तकनीक को लाइसेंस दिया जाएगा और कई वरिष्ठ Groq कार्यकारी Nvidia में स्थानांतरित होंगे। Groq ने कहा कि वह एक स्वतंत्र कंपनी के रूप में काम करना जारी रखेगा।

इतिहास

Groq की स्थापना 2016 में पूर्व Google इंजीनियरों के एक समूह द्वारा की गई थी, जिसका नेतृत्व जोनाथन रॉस ने किया, जो टेंसर प्रोसेसिंग यूनिट (TPU), एक AI एक्सेलेरेटर ASIC, के डिजाइनरों में से एक थे, और डगलस वाइटमैन, एक उद्यमी और Google X (जिसे X डेवलपमेंट के रूप में जाना जाता है) के पूर्व इंजीनियर थे, जिन्होंने कंपनी के पहले CEO के रूप में कार्य किया। संस्थापक टीम ने DeepMind और अन्य AI अनुसंधान समूहों से अनुभव प्राप्त किया, जिसका उद्देश्य AI वर्कलोड की मांगों के लिए विशेष रूप से हार्डवेयर बनाना था।

Groq को Social Capital के चमथ पालिहापिटिया से सीड फंडिंग मिली, जिसमें 2017 में $10 मिलियन का निवेश शामिल था और जल्द ही अतिरिक्त धनराशि सुरक्षित की गई। अप्रैल 2021 में, Groq ने Tiger Global Management और D1 Capital Partners के नेतृत्व में सीरीज C राउंड में $300 मिलियन जुटाए। वर्तमान निवेशकों में शामिल हैं: Infinitum, The Spruce House Partnership, Addition, GCM Grosvenor, Xⁿ, Firebolt Ventures, General Global Capital, और Tru Arrow Partners, साथ ही Infinitum, TDK Ventures, और XTX Ventures से अनुवर्ती निवेश। Groq के सीरीज C फंडिंग राउंड के बाद, इसका मूल्यांकन $1 बिलियन से अधिक हुआ, जिससे यह स्टार्टअप एक यूनिकॉर्न बन गया।

1 मार्च, 2022 को, Groq ने Maxeler Technologies का अधिग्रहण किया, जो अपनी डेटाफ्लो सिस्टम तकनीकों के लिए जानी जाने वाली कंपनी है। यह निर्णय लिया गया कि Maxeler अपने ब्रांड को बनाए रखेगा, क्योंकि डॉ. ऑस्कर मेंसर और टीम की दीर्घकालिक उपलब्धियां थीं, जो अपनी विशेषज्ञता के क्षेत्र में शोध प्रकाशित करते थे। 16 अगस्त, 2023 को, Groq ने अपनी अगली पीढ़ी के चिप्स के निर्माण के लिए टेलर, टेक्सास में Samsung Electronics की फाउंड्री को चुना, जो Samsung के 4-नैनोमीटर (nm) प्रक्रिया नोड पर आधारित थी। यह इस नए Samsung चिप कारखाने का पहला ऑर्डर था।

19 फरवरी, 2024 को, Groq ने एक डेवलपर प्लेटफॉर्म, GroqCloud™ का सॉफ्ट-लॉन्च किया, ताकि डेवलपर्स को Groq API का उपयोग करने और उनके चिप्स तक किराये पर पहुंच प्राप्त करने के लिए आकर्षित किया जा सके। 1 मार्च, 2024 को Groq ने Definitive Intelligence का अधिग्रहण किया, जो व्यवसाय-उन्मुख AI समाधानों की एक श्रृंखला पेश करने के लिए जानी जाने वाली स्टार्टअप है, ताकि इसके क्लाउड प्लेटफॉर्म में मदद मिल सके। Groq ने अगस्त 2024 में BlackRock Private Equity Partners के नेतृत्व में सीरीज D राउंड में $640 मिलियन जुटाए, जिससे कंपनी का मूल्यांकन $2.8 बिलियन हो गया।

10 फरवरी, 2025 को, Groq ने घोषणा की कि उसने सऊदी अरब के राज्य से अपने LPU-आधारित AI इन्फ्रेंस इंफ्रास्ट्रक्चर के विस्तार के लिए US$1.5 बिलियन की प्रतिबद्धता सुरक्षित की है, जो दम्मम, सऊदी अरब में एक नए GroqCloud डेटा सेंटर से जुड़ी है। 2025 तक, Groq ने अपनी तकनीक के साथ अमेरिका, कनाडा, मध्य पूर्व और यूरोप में एक दर्जन डेटा सेंटर स्थापित किए हैं।

दिसंबर 2025 में, Nvidia ने Groq से लगभग US$20 बिलियन में संपत्ति खरीदने पर सहमति व्यक्त की, जो Nvidia के लिए एक रिकॉर्ड है। Groq ने इसे एक गैर-अनन्य लाइसेंसिंग सौदे के रूप में वर्णित किया है। इस सौदे के हिस्से के रूप में, Groq के संस्थापक रॉस और Groq के अध्यक्ष सनी मद्रा Nvidia में शामिल होंगे। मई 2026 में, Groq को अपने AI इन्फ्रेंस क्लाउड व्यवसाय में संक्रमण के लिए मौजूदा निवेशकों से $650 मिलियन जुटाने की सूचना मिली थी, जिसमें यह राउंड एक प्रो-राटा पेशकश के रूप में संरचित था, जिसे निवेशक Disruptive और Infinitum द्वारा समर्थित किया गया था।

लैंग्वेज प्रोसेसिंग यूनिट

Groq के ASIC का प्रारंभिक नाम टेंसर स्ट्रीमिंग प्रोसेसर (TSP) था, जिसका कोडनेम "एलन" था, लेकिन बाद में इसे मार्क हीप्स - ब्रांड के VP, और जोनाथन रॉस - CEO/संस्थापक द्वारा TSP से लैंग्वेज प्रोसेसिंग यूनिट (LPU) में पुनः ब्रांडेड किया गया, ताकि प्रोसेसर की प्रकृति अधिक स्पष्ट हो सके। LPU विशेष रूप से बड़े भाषा मॉडल और अन्य AI मॉडलों के इन्फ्रेंस चरण के लिए डिज़ाइन किया गया है, जो कम विलंबता और उच्च थ्रूपुट पर केंद्रित है।

LPU में एक कार्यात्मक रूप से स्लाइस्ड माइक्रोआर्किटेक्चर है, जहां मेमोरी इकाइयां वेक्टर और मैट्रिक्स कंप्यूटेशन इकाइयों के साथ इंटरलीव की जाती हैं। यह डिज़ाइन AI कंप्यूट ग्राफ में डेटाफ्लो लोकैलिटी के दोहन की सुविधा प्रदान करता है, जिससे निष्पादन प्रदर्शन और दक्षता में सुधार होता है। LPU को दो प्रमुख अवलोकनों के आधार पर डिज़ाइन किया गया था: AI वर्कलोड पर्याप्त डेटा समानता प्रदर्शित करते हैं, जिसे उद्देश्य-निर्मित हार्डवेयर पर मैप किया जा सकता है, जिससे प्रदर्शन लाभ होता है; और एक नियतात्मक प्रोसेसर डिज़ाइन, उत्पादक-उपभोक्ता प्रोग्रामिंग मॉडल के साथ, हार्डवेयर घटकों पर सटीक नियंत्रण और तर्क की अनुमति देता है, जिससे अनुकूलित प्रदर्शन और ऊर्जा दक्षता प्राप्त होती है।

अपने कार्यात्मक रूप से स्लाइस्ड माइक्रोआर्किटेक्चर के अलावा, LPU को इसकी एकल-कोर, नियतात्मक आर्किटेक्चर द्वारा भी चित्रित किया जा सकता है। LPU पारंपरिक प्रतिक्रियाशील हार्डवेयर घटकों (ब्रांच प्रेडिक्टर, आर्बिटर, रीऑर्डरिंग बफर, कैश) के उपयोग से बचकर और सभी निष्पादन को कंपाइलर द्वारा स्पष्ट रूप से नियंत्रित करके नियतात्मक निष्पादन प्राप्त कर सकता है, जिससे LPU प्रोग्राम के निष्पादन में नियतिवाद की गारंटी मिलती है। यह नियतात्मक दृष्टिकोण कई CPU डिज़ाइनों में उपयोग किए जाने वाले सट्टा निष्पादन के विपरीत है, जो प्रदर्शन में परिवर्तनशीलता ला सकता है।

LPU की पहली पीढ़ी (TSP) अपने 25×29 मिमी 14nm चिप के लिए प्रति वर्ग मिमी सिलिकॉन में 1TeraOp/s से अधिक की कम्प्यूटेशनल घनत्व प्रदान करती है, जो 900 MHz की नाममात्र क्लॉक आवृत्ति पर संचालित होती है। LPU की दूसरी पीढ़ी (LPU v2) Samsung के 4nm प्रक्रिया नोड पर निर्मित की जाएगी। LPU की आर्किटेक्चर विशेष रूप से ट्रांसफॉर्मर-आधारित मॉडलों के लिए उपयुक्त है, जो आधुनिक जनरेटिव AI अनुप्रयोगों पर हावी हैं।

Groq अपने LPU पर चलने वाले ओपन-सोर्स बड़े भाषा मॉडल सार्वजनिक पहुंच के लिए होस्ट करता है। इन डेमो तक पहुंच Groq की वेबसाइट और डेवलपर्स के लिए इसके प्लेग्राउंड के माध्यम से उपलब्ध है। LPU के प्रदर्शन को Nvidia GPU के खिलाफ बेंचमार्क किया गया है, जो Llama और Mistral जैसे मॉडलों के लिए टोकन जनरेशन में महत्वपूर्ण गति दिखाता है, हालांकि स्वतंत्र सत्यापन जारी है।

आर्किटेक्चर और डिज़ाइन

LPU का डिज़ाइन दर्शन सामान्य-उद्देश्य प्रोसेसर के ओवरहेड को समाप्त करने पर केंद्रित है। एक बड़ी, सॉफ्टवेयर-प्रबंधित मेमोरी के साथ एक एकल कोर का उपयोग करके, LPU जटिल कैश पदानुक्रम और सुसंगतता प्रोटोकॉल की आवश्यकता से बचता है। प्रत्येक कार्यात्मक स्लाइस में अपनी स्वयं की मेमोरी और कंप्यूट इकाइयां शामिल हैं, जिससे डेटा साझा बस से गुजरे बिना सीधे उनके बीच प्रवाहित हो सकता है। यह Xerox PARC और MIT CSAIL जैसी पहले की परियोजनाओं द्वारा खोजे गए डेटाफ्लो आर्किटेक्चर की भावना के समान है, लेकिन आधुनिक AI वर्कलोड पर लागू किया गया है।

कंपाइलर LPU के संचालन में एक महत्वपूर्ण भूमिका निभाता है। यह सभी निर्देशों और डेटा आंदोलनों को पहले से शेड्यूल करता है, यह सुनिश्चित करता है कि हार्डवेयर डेटा की प्रतीक्षा में कभी रुकता नहीं है। यह स्थिर शेड्यूलिंग संभव है क्योंकि AI इन्फ्रेंस ग्राफ आमतौर पर पहले से ज्ञात होते हैं, इंटरैक्टिव अनुप्रयोगों के विपरीत। परिणाम एक प्रोसेसर है जो उच्च उपयोग और पूर्वानुमानित प्रदर्शन प्राप्त करता है, जो वास्तविक समय की AI सेवाओं के लिए महत्वपूर्ण है।

LPU FP32, BF16, और INT8 सहित संख्यात्मक परिशुद्धता की एक श्रृंखला का भी समर्थन करता है, जिससे डेवलपर्स सटीकता के लिए गति का व्यापार कर सकते हैं। यह लचीलापन एज डिवाइस से लेकर क्लाउड डेटा सेंटर तक विभिन्न हार्डवेयर बाधाओं में मॉडल तैनात करने के लिए महत्वपूर्ण है।

सॉफ्टवेयर और पारिस्थितिकी तंत्र

Groq एक सॉफ्टवेयर स्टैक प्रदान करता है जिसमें एक कंपाइलर, रनटाइम और PyTorch और TensorFlow जैसे लोकप्रिय फ्रेमवर्क के लिए API शामिल हैं। GroqWare सुइट में मॉडल अनुकूलन, प्रोफाइलिंग और तैनाती के लिए उपकरण शामिल हैं। कंपनी ने अपने प्लेटफॉर्म पर ओपन-सोर्स मॉडल की एक विस्तृत श्रृंखला पेश करने के लिए Hugging Face के साथ भी साझेदारी की है, जिससे डेवलपर्स के लिए LPU त्वरण के साथ प्रयोग करना आसान हो जाता है।

2024 में लॉन्च किया गया GroqCloud, उपयोगकर्ताओं को AWS, Azure, और Google Cloud जैसी क्लाउड सेवाओं के समान, मांग पर LPU क्षमता किराए पर लेने की अनुमति देता है। प्लेटफॉर्म इंटरैक्टिव इन्फ्रेंस और बैच प्रोसेसिंग दोनों का समर्थन करता है, जिसमें पे-एज़-यू-गो मूल्य निर्धारण मॉडल है। 2025 तक, GroqCloud 100,000 से अधिक डेवलपर्स की मेजबानी करता है और अरबों अनुरोधों को संसाधित कर चुका है।

कंपनी एक शोध प्रभाग भी बनाए रखती है जो AI के लिए नई आर्किटेक्चर का पता लगाने के लिए Stanford AI Lab और Berkeley AI Research जैसे शैक्षणिक संस्थानों के साथ सहयोग करती है। Groq की तकनीक का उपयोग शतरंज इंजन से लेकर स्वायत्त वाहनों तक के अनुप्रयोगों में किया गया है, हालांकि प्राथमिक ध्यान LLM इन्फ्रेंस पर बना हुआ है।

बाजार स्थिति और प्रतिस्पर्धा

Groq SambaNova और Graphcore जैसे अन्य AI चिप स्टार्टअप्स के साथ-साथ AMD और Intel जैसे स्थापित खिलाड़ियों के साथ प्रतिस्पर्धा करता है। LPU का नियतात्मक डिज़ाइन इसे विलंबता-संवेदनशील अनुप्रयोगों में बढ़त देता है, लेकिन प्रशिक्षण कार्यों के लिए इसमें GPU की लचीलापन का अभाव है। Groq ने खुद को इन्फ्रेंस में एक विशेषज्ञ के रूप में स्थापित किया है, एक ऐसा बाजार जो AI अनुप्रयोगों के प्रसार के साथ तेजी से बढ़ रहा है।

2025 में, अपने सीरीज D राउंड के बाद कंपनी का मूल्यांकन $2.8 बिलियन तक पहुंच गया, और दिसंबर 2025 में Nvidia सौदे ने इसकी तकनीक को और मान्यता दी। लाइसेंसिंग समझौता Nvidia को अपने स्वयं के उत्पादों में Groq की इन्फ्रेंस तकनीक को शामिल करने की अनुमति देता है, जिससे LPU-आधारित समाधानों की पहुंच का विस्तार हो सकता है।

भविष्य की दिशाएं

आगे देखते हुए, Groq LPU v2 जारी करने की योजना बना रहा है, जो Samsung के 4nm प्रक्रिया पर निर्मित होगा, जिससे पहली पीढ़ी की तुलना में महत्वपूर्ण प्रदर्शन सुधार की उम्मीद है। कंपनी बैंडविड्थ बढ़ाने और विलंबता को और कम करने के लिए HBM जैसी नई मेमोरी तकनीकों की भी खोज कर रही है।

Groq का AI इन्फ्रेंस क्लाउड व्यवसाय में संक्रमण, जैसा कि 2026 के फंडिंग राउंड से संकेत मिलता है, हार्डवेयर बिक्री से सेवा प्रावधान की ओर एक रणनीतिक बदलाव का सुझाव देता है। यह उद्योग के रुझानों के अनुरूप है जहां कंप्यूट को तेजी से एक उपयोगिता के रूप में वितरित किया जा रहा है, जो क्लाउड कंप्यूटिंग के विकास के समान है।

यह भी देखें

• सेंट्रल प्रोसेसिंग यूनिट
• ग्राफिक्स प्रोसेसिंग यूनिट
• टेंसर प्रोसेसिंग यूनिट
• AI एक्सेलेरेटर

संदर्भ

• Groq, Inc. आधिकारिक वेबसाइट
• Groq से प्रेस विज्ञप्तियां और घोषणाएं
• AI हार्डवेयर पर उद्योग रिपोर्ट

बाहरी लिंक

• Groq आधिकारिक वेबसाइट