d-Matrix एक सेमीकंडक्टर स्टार्टअप है जो कृत्रिम बुद्धिमत्ता अनुमान (inference) के लिए कंप्यूटिंग सिस्टम बनाने पर केंद्रित है, विशेष रूप से बड़े भाषा मॉडल के लिए। कंपनी एक चिप आर्किटेक्चर विकसित करती है जो मेमोरी और गणना को एकीकृत करती है ताकि प्रशिक्षित तंत्रिका नेटवर्क चलाने से जुड़ी ऊर्जा और विलंबता को कम किया जा सके। 2019 में स्थापित, d-Matrix ने AI त्वरक (accelerators) के प्रतिस्पर्धी क्षेत्र में खुद को स्थापित किया है, जो डेटा सेंटर परिनियोजन को लक्षित करता है जहां अनुमान कार्यभार हावी होते हैं।
d-Matrix के उत्पादों के पीछे की मुख्य तकनीक डिजिटल इन-मेमोरी कंप्यूट (DIMC) है, जो पारंपरिक वॉन न्यूमैन आर्किटेक्चर से भिन्न है जो प्रोसेसिंग इकाइयों को मेमोरी से अलग करता है। मेमोरी सरणियों के भीतर सीधे गुणा-संचय (multiply-accumulate) संचालन करके, डिज़ाइन का उद्देश्य डेटा आवागमन को कम करना है, जो AI अनुमान में एक प्रमुख बाधा है। कंपनी की पहली व्यावसायिक चिप, नाइटहॉक (Nighthawk), 2024 में घोषित की गई थी, जिसका उत्तराधिकारी, कॉर्सेयर (Corsair), 2025 के लिए निर्धारित है।
स्थापना और प्रारंभिक इतिहास
d-Matrix की स्थापना 2019 में सिड शेठ (Sid Sheth) द्वारा की गई थी, जिन्होंने पहले Intel और AMD में काम किया था, और सुदीप भोजा (Sudeep Bhoja), जो Broadcom के पूर्व इंजीनियर थे। दोनों उच्च-गति इंटरकनेक्ट पर काम करते हुए मिले और कुशल अनुमान हार्डवेयर की बढ़ती मांग को पहचाना। कंपनी शुरू में स्टील्थ मोड में संचालित हुई, जिसने Wing Venture Capital और M12, Microsoft के वेंचर फंड सहित उद्यम पूंजी फर्मों से बीज वित्तपोषण जुटाया।
2021 में, d-Matrix $44 मिलियन की सीरीज A फंडिंग के साथ स्टील्थ से बाहर आया, जिसका नेतृत्व Playground Global ने किया। इस फंडिंग राउंड में SK Hynix, एक प्रमुख मेमोरी निर्माता, की भागीदारी भी शामिल थी, जो मेमोरी उद्योग से कंप्यूट-इन-मेमोरी तकनीकों में रुचि का संकेत देती है। 2023 तक, कंपनी ने Temasek और Innovation Endeavors जैसे निवेशकों के साथ सीरीज B फंडिंग में अतिरिक्त $110 मिलियन जुटाए, जिससे कुल फंडिंग $154 मिलियन से अधिक हो गई।
कंपनी का प्रारंभिक ध्यान एक ऐसी चिप विकसित करने पर था जो ट्रांसफॉर्मर-आधारित मॉडल की विशिष्ट मांगों को संभाल सके, जो Natural language processing और Generative AI में प्रमुख आर्किटेक्चर बन गए थे। संस्थापकों का मानना था कि पारंपरिक GPU, हालांकि प्रशिक्षण के लिए शक्तिशाली हैं, उच्च मेमोरी बैंडविड्थ आवश्यकताओं के कारण अनुमान के लिए अक्षम थे।
तकनीक: डिजिटल इन-मेमोरी कंप्यूट
d-Matrix में मूल नवाचार इसकी डिजिटल इन-मेमोरी कंप्यूट आर्किटेक्चर है। एनालॉग इन-मेमोरी कंप्यूटिंग दृष्टिकोणों के विपरीत, जो गणना करने के लिए प्रतिरोध या धारिता जैसे भौतिक गुणों का उपयोग करते हैं, d-Matrix मेमोरी कोशिकाओं के भीतर एम्बेडेड डिजिटल लॉजिक का उपयोग करता है। यह दृष्टिकोण डेटा आवागमन में कमी के लाभों को डिजिटल गणना की सटीकता और विश्वसनीयता के साथ जोड़ने का लक्ष्य रखता है।
एक पारंपरिक Neural network अनुमान में, वजन मेमोरी में संग्रहीत होते हैं और प्रत्येक ऑपरेशन के लिए एक अलग कंप्यूट इकाई में लाए जाने चाहिए। यह निरंतर डेटा स्थानांतरण महत्वपूर्ण ऊर्जा और समय की खपत करता है। d-Matrix की DIMC आर्किटेक्चर कम्प्यूटेशनल तत्वों को सीधे मेमोरी सरणी के निकट या उसके भीतर रखती है, जिससे गुणा-संचय संचालन वहीं हो सकते हैं जहां डेटा रहता है। यह व्यापक डेटा आवागमन की आवश्यकता को कम करता है, संभावित रूप से विलंबता और बिजली की खपत को कम करता है।
कंपनी की चिप्स Large language model अनुमान का समर्थन करने के लिए डिज़ाइन की गई हैं, जिसमें अरबों पैरामीटर वाले मॉडल शामिल हैं। आर्किटेक्चर मैट्रिक्स गुणन संचालन के लिए अनुकूलित है जो ट्रांसफॉर्मर मॉडल में हावी हैं, जो OpenAI की GPT श्रृंखला और Anthropic के Claude जैसी प्रणालियों का आधार हैं। d-Matrix का दावा है कि इसका दृष्टिकोण पारंपरिक त्वरक की तुलना में प्रति वाट उच्च थ्रूपुट प्राप्त कर सकता है, हालांकि 2025 तक स्वतंत्र बेंचमार्क सीमित रहे हैं।
उत्पाद लाइन: नाइटहॉक और कॉर्सेयर
d-Matrix ने मार्च 2024 में अपना पहला उत्पाद, नाइटहॉक, घोषित किया। नाइटहॉक एक PCIe कार्ड है जो अनुमान त्वरण के लिए डिज़ाइन किया गया है, जिसमें 32 GB ऑन-चिप मेमोरी है और एक कार्ड में 70 अरब पैरामीटर तक के मॉडल का समर्थन करता है। कार्ड TSMC, एक अग्रणी सेमीकंडक्टर फाउंड्री, से 5-नैनोमीटर प्रक्रिया का उपयोग करके बनाया गया है। नाइटहॉक सर्वर में उपयोग के लिए है, जहां बड़े मॉडल को संभालने के लिए कई कार्डों को जोड़ा जा सकता है।
अक्टूबर 2024 में, d-Matrix ने अपनी दूसरी पीढ़ी की चिप, कॉर्सेयर का अनावरण किया, जिसके 2025 में शिप होने की उम्मीद है। कॉर्सेयर को नाइटहॉक से उच्च प्रदर्शन देने के लिए डिज़ाइन किया गया है, जिसमें बेहतर मेमोरी क्षमता और कंप्यूट घनत्व है। कंपनी ने कहा है कि कॉर्सेयर एक कार्ड पर 100 अरब से अधिक पैरामीटर वाले मॉडल का समर्थन करेगा, जो Generative AI अनुप्रयोगों की एंटरप्राइज़ परिनियोजन को लक्षित करता है।
दोनों चिप्स के साथ एक सॉफ्टवेयर स्टैक है जिसे d-Matrix कंपाइलर कहा जाता है, जो PyTorch जैसे फ्रेमवर्क से मॉडल को हार्डवेयर के लिए अनुकूलित कोड में अनुवादित करता है। सॉफ्टवेयर में सामान्य मॉडल आर्किटेक्चर के लिए समर्थन शामिल है, जिसमें ट्रांसफॉर्मर और Residual Network (ResNet) वेरिएंट शामिल हैं, और डेवलपर्स के लिए परिनियोजन प्रक्रिया को सरल बनाने का लक्ष्य रखता है।
बाजार स्थिति और प्रतिस्पर्धा
d-Matrix AI अनुमान त्वरक के लिए भीड़ भरे बाजार में काम करता है। प्रमुख प्रतिस्पर्धियों में Groq शामिल है, जो अनुक्रमिक कार्यभार के लिए अनुकूलित एक भाषा प्रोसेसिंग इकाई (LPU) प्रदान करता है, और SambaNova, जो एक पुन: कॉन्फ़िगर करने योग्य डेटाफ्लो आर्किटेक्चर का उपयोग करता है। स्थापित खिलाड़ियों जैसे NVIDIA व्यापक AI त्वरक बाजार पर हावी हैं, जबकि AMD और Intel ने भी अनुमान-केंद्रित उत्पाद पेश किए हैं।
कंपनी इन-मेमोरी कंप्यूटिंग पर अपने फोकस के माध्यम से खुद को अलग करती है, जो उसका तर्क है कि उच्च-बैंडविड्थ मेमोरी (HBM) पर निर्भर दृष्टिकोणों की तुलना में अधिक कुशल है, जैसे कि Nvidia के GPU द्वारा उपयोग किए जाते हैं। d-Matrix की तकनीक विशेष रूप से बड़े मॉडलों की सेवा के लिए प्रति टोकन लागत को कम करने के उद्देश्य से है, जो क्लाउड प्रदाताओं और उद्यमों के लिए एक प्रमुख मीट्रिक है।
2025 तक, d-Matrix ने प्रमुख सार्वजनिक ग्राहकों का खुलासा नहीं किया है, हालांकि इसने अपने क्लाउड ऑफरिंग में संभावित एकीकरण के लिए Amazon Web Services के साथ साझेदारी की घोषणा की है। कंपनी Oracle Cloud Infrastructure और Microsoft Azure के साथ भी परिनियोजन विकल्पों का पता लगाने के लिए काम कर रही है, हालांकि ये संबंध प्रारंभिक चरण में हैं।
फंडिंग और निवेशक
d-Matrix ने कई राउंड में कुल $154 मिलियन जुटाए हैं। बीज राउंड, जिसका आकार अज्ञात है, के बाद 2021 में $44 मिलियन की सीरीज A और 2023 में $110 मिलियन की सीरीज B आई। प्रमुख निवेशकों में Playground Global, Wing Venture Capital, M12, Temasek और Innovation Endeavors शामिल हैं। SK Hynix, एक मेमोरी चिप निर्माता, की भागीदारी कंपनी के कंप्यूट-इन-मेमोरी फोकस को देखते हुए उल्लेखनीय है।
फंडिंग का उपयोग हार्डवेयर और सॉफ्टवेयर स्टैक विकसित करने के साथ-साथ इंजीनियरिंग प्रतिभा को नियुक्त करने के लिए किया गया है। 2025 तक, कंपनी लगभग 100 लोगों को रोजगार देती है, जिसके कार्यालय सांता क्लारा, कैलिफोर्निया और बैंगलोर, भारत में हैं। बैंगलोर कार्यालय सॉफ्टवेयर विकास और कंपाइलर अनुकूलन पर केंद्रित है।
अनुप्रयोग और उपयोग के मामले
d-Matrix का प्राथमिक लक्ष्य बाजार Large language model अनुप्रयोगों के लिए डेटा सेंटर अनुमान है। इनमें चैटबॉट, कोड जनरेशन और दस्तावेज़ सारांश शामिल हैं, जो तेजी से उद्यमों द्वारा तैनात किए जा रहे हैं। कंपनी का हार्डवेयर एक साथ कई उपयोगकर्ताओं की सेवा की उच्च थ्रूपुट आवश्यकताओं को संभालने के लिए डिज़ाइन किया गया है, एक परिदृश्य जो क्लाउड वातावरण में आम है।
भाषा मॉडल के अलावा, d-Matrix की चिप्स अन्य Deep learning कार्यभार को तेज कर सकती हैं, जिसमें कंप्यूटर विज़न और अनुशंसा प्रणाली शामिल हैं। आर्किटेक्चर विभिन्न तंत्रिका नेटवर्क प्रकारों का समर्थन करने के लिए पर्याप्त सामान्य है, हालांकि कंपनी का विपणन ट्रांसफॉर्मर-आधारित मॉडल पर जोर देता है। इन-मेमोरी कंप्यूटिंग की कम विलंबता स्वायत्त ड्राइविंग जैसे वास्तविक समय अनुप्रयोगों को लाभ पहुंचा सकती है, हालांकि d-Matrix ने उस क्षेत्र में साझेदारी की घोषणा नहीं की है।
कंपनी एज अनुमान परिदृश्यों को भी लक्षित करती है जहां बिजली दक्षता महत्वपूर्ण है। हालांकि, इसके वर्तमान उत्पाद सर्वर वातावरण के लिए डिज़ाइन किए गए हैं, और एज परिनियोजन के लिए आगे लघुकरण और बिजली में कमी की आवश्यकता होगी।
चुनौतियां और भविष्य का दृष्टिकोण
AI त्वरक बाजार अत्यधिक प्रतिस्पर्धी है, जिसमें तेजी से तकनीकी प्रगति और महत्वपूर्ण पूंजी आवश्यकताएं हैं। d-Matrix को उत्पादन बढ़ाने और ग्राहकों को नई आर्किटेक्चर अपनाने के लिए मनाने में चुनौतियों का सामना करना पड़ता है। कंपनी को Nvidia के CUDA प्लेटफॉर्म के पारिस्थितिकी तंत्र और सॉफ्टवेयर परिपक्वता के साथ भी प्रतिस्पर्धा करनी चाहिए, जो उद्योग मानक बन गया है।
तकनीकी बाधाएं पैमाने पर इन-मेमोरी कंप्यूटिंग की विश्वसनीयता और प्रदर्शन साबित करने में बनी हुई हैं। जबकि डिजिटल दृष्टिकोण एनालॉग कंप्यूट की कुछ समस्याओं को कम करते हैं, जैसे शोर और सटीकता हानि, उन्हें अभी भी मौजूदा सर्वर बुनियादी ढांचे के साथ सावधानीपूर्वक एकीकरण की आवश्यकता होती है। 2025 में कॉर्सेयर चिप की सफलता कंपनी की तकनीक का एक महत्वपूर्ण परीक्षण होगी।
आगे देखते हुए, d-Matrix अपनी उत्पाद लाइन का विस्तार करने और संभावित रूप से प्रशिक्षण बाजार में प्रवेश करने का लक्ष्य रखता है, हालांकि प्रशिक्षण अधिक कंप्यूट-गहन है और इन-मेमोरी तकनीकों से उतना लाभ नहीं हो सकता है। कंपनी उन्नत विनिर्माण के लिए TSMC के साथ और ARM-आधारित सर्वर में संभावित एकीकरण के लिए Arm Holdings के साथ साझेदारी की भी खोज कर रही है। 2025 तक, d-Matrix एक निजी कंपनी बनी हुई है जिसमें प्रारंभिक सार्वजनिक पेशकश की कोई घोषित योजना नहीं है।
नेतृत्व और टीम
सिड शेठ, CEO, के पास सेमीकंडक्टर उद्योग में दो दशकों से अधिक का अनुभव है, जिन्होंने Intel और AMD में इंजीनियरिंग और प्रबंधन भूमिकाएं निभाई हैं। सुदीप भोजा, CTO, ने पहले Broadcom में उच्च-गति इंटरकनेक्ट तकनीकों पर काम किया। नेतृत्व टीम में Qualcomm और Samsung Electronics जैसी कंपनियों के दिग्गज शामिल हैं, जो चिप डिजाइन और विनिर्माण में विशेषज्ञता लाते हैं।
कंपनी के तकनीकी सलाहकार बोर्ड में मशीन लर्निंग और कंप्यूटर आर्किटेक्चर में शिक्षाविद और उद्योग विशेषज्ञ शामिल हैं, हालांकि विशिष्ट नाम सार्वजनिक रूप से प्रकट नहीं किए गए हैं। टीम ने इन-मेमोरी कंप्यूटिंग तकनीकों पर कई पेपर प्रकाशित किए हैं, जो व्यापक शोध समुदाय में योगदान देते हैं।