Untether AI एक कनाडाई सेमीकंडक्टर कंपनी है जो एज कंप्यूटिंग अनुप्रयोगों के लिए ऊर्जा-कुशल कृत्रिम बुद्धिमत्ता अनुमान चिप्स डिज़ाइन करती है। 2019 में स्थापित और टोरंटो में मुख्यालय वाली यह कंपनी प्रशिक्षित न्यूरल नेटवर्क को न्यूनतम बिजली खपत और विलंबता के साथ चलाने के लिए अनुकूलित प्रोसेसर विकसित करती है, जो स्वायत्त वाहनों, औद्योगिक स्वचालन और वास्तविक समय डेटा केंद्र अनुमान जैसे उपयोग मामलों को लक्षित करती है। यह फर्म टोरंटो विश्वविद्यालय में शोध से उभरी और जल्दी ही खुद को व्यापक कृत्रिम बुद्धिमत्ता हार्डवेयर पारिस्थितिकी तंत्र में स्थापित कर लिया, जो Groq और Graphcore जैसे अन्य विशेष चिप निर्माताओं के साथ प्रतिस्पर्धा करती है, जबकि AI मॉडल के प्रशिक्षण के बजाय तैनाती पर ध्यान केंद्रित करती है।
कंपनी की मुख्य तकनीक एक नवीन मेमोरी आर्किटेक्चर पर केंद्रित है जो प्रोसेसिंग तत्वों और मेमोरी के बीच डेटा स्थानांतरित करने की ऊर्जा लागत को कम करती है, जो पारंपरिक वॉन न्यूमैन कंप्यूटिंग में एक बाधा है। 2019 में, Untether AI ने Radical Ventures और Draper Associates के नेतृत्व में एक सीड राउंड में $19 मिलियन जुटाए, और बाद में अक्टूबर 2022 में कनाडा के पब्लिक सेक्टर पेंशन इन्वेस्टमेंट बोर्ड और सैमसंग कैटालिस्ट फंड द्वारा सह-नेतृत्व वाली सीरीज़ B फाइनेंसिंग में $175 मिलियन सुरक्षित किए, जिससे कुल फंडिंग $200 मिलियन से अधिक हो गई। कंपनी ने 2023 में अपना पहला वाणिज्यिक उत्पाद, speedAI240, शिप किया, हालांकि व्यापक उत्पादन मात्रा धीरे-धीरे बढ़ी।
स्थापना और प्रारंभिक विकास
Untether AI की सह-स्थापना अरुण सुब्रह्मण्यन ने की, जिन्होंने पहले इंटेल में डेटा सेंटर चिप इंजीनियरिंग का नेतृत्व किया था, और मार्टिनो आंद्रेअनी, जो AMD में पृष्ठभूमि वाले सिस्टम आर्किटेक्ट हैं। ये दोनों टोरंटो विश्वविद्यालय में एक शोध सहयोग के माध्यम से मिले, जहाँ उन्होंने प्रोफेसर एंड्रियास मोशोवोस के अधीन ऊर्जा-कुशल डीप लर्निंग एक्सेलेरेटर पर काम किया। उनकी प्रारंभिक अवधारणा, 2017 में प्रकाशित, ने अनुमान के लिए बाहरी DRAM एक्सेस को समाप्त करने के लिए मेमोरी को प्रोसेसिंग डिवाइस पर स्थानांतरित करने का प्रस्ताव रखा।
2020 में, कंपनी ने अपने चिप्स को 7-नैनोमीटर प्रक्रिया का उपयोग करके निर्माण करने के लिए TSMC के साथ एक साझेदारी की घोषणा की, जिसमें 2021 की शुरुआत में टेप-आउट सिलिकॉन शामिल था। 2022 के मध्य तक, Untether AI ने टोरंटो और ओटावा में कार्यालयों में लगभग 120 लोगों को रोजगार दिया, साथ ही सैन जोस में इंजीनियरिंग केंद्रों की योजना बनाई गई। कंपनी की प्रारंभिक वृद्धि कनाडाई सरकार के समर्थन से लाभान्वित हुई, जिसमें 2021 में स्ट्रैटेजिक इनोवेशन फंड से $4 मिलियन का योगदान शामिल था।
आर्किटेक्चर और तकनीक
Untether AI के चिप्स में प्रमुख नवाचार इसका "एट-मेमोरी कंप्यूटिंग" दृष्टिकोण है, जो डाई पर SRAM मेमोरी सरणियों के ठीक बगल में कम्प्यूटेशनल इकाइयाँ रखता है। यह व्यवस्था प्रत्येक ऑपरेशन के लिए सिस्टम बस में डेटा स्थानांतरित करने की आवश्यकता को समाप्त करती है, जिससे पारंपरिक एक्सेलेरेटर की तुलना में बिजली की खपत काफी कम हो जाती है। आर्किटेक्चर एक डेटाफ्लो-शैली निष्पादन मॉडल का उपयोग करता है जहाँ वेट और एक्टिवेशन स्थानीय मेमोरी में रहते हैं, और प्रत्येक न्यूरॉन की गणना मेमोरी साइट पर होती है।
speedAI240 प्रोसेसर में 256 कंप्यूट कोर हैं, प्रत्येक में 2 MB SRAM है, जो 8-बिट पूर्णांक परिशुद्धता पर 2 पेटा-ऑपरेशन प्रति सेकंड (POPS) प्राप्त करता है, जबकि लगभग 25 वाट खींचता है। यह दक्षता कम विलंबता की आवश्यकता वाले एज अनुमान कार्यों को लक्षित करती है, जैसे स्वायत्त ड्राइविंग सिस्टम में वस्तु पहचान या विनिर्माण में वास्तविक समय दोष स्क्रीनिंग। बड़े मॉडलों के प्रशिक्षण के लिए डिज़ाइन किए गए AMD या Intel के GPU के विपरीत, Untether AI का सिलिकॉन निश्चित-फ़ंक्शन अनुमान के लिए अनुकूलित है, जो मॉडल प्रूनिंग और क्वांटाइज़ेशन जैसी तकनीकों का उपयोग करके थ्रूपुट को अधिकतम करता है।
सॉफ्टवेयर स्टैक और संगतता
कंपनी untether SDK नामक एक सॉफ्टवेयर डेवलपमेंट किट प्रदान करती है, जो TensorFlow और PyTorch फ्रेमवर्क से मॉडल को अपने हार्डवेयर के लिए निष्पादन योग्य बाइनरी में संकलित करती है। टूलचेन डीप लर्निंग में सामान्य परतों का समर्थन करता है, जिसमें कन्वोल्यूशन, पूलिंग और अवशिष्ट नेटवर्क शामिल हैं, और प्रदर्शन अनुमान के लिए एक सिम्युलेटर शामिल है। 2023 में, Untether AI ने ONNX निर्यात के लिए समर्थन की घोषणा की, जिससे मौजूदा मशीन लर्निंग पाइपलाइनों के साथ एकीकरण सरल हो गया।
एक उल्लेखनीय विशेषता स्पार्सिटी-जागरूक गणना के लिए इसका समर्थन है, जहाँ कंपाइलर टेंसर में शून्य मानों का पता लगाता है और उनके प्रसंस्करण को छोड़ देता है, जिससे गति और ऊर्जा दक्षता दोनों में सुधार होता है। एज प्रशिक्षण परिदृश्यों के लिए, कंपनी एक सीमित परिशुद्धता प्रशिक्षण मोड भी प्रदान करती है जो डिवाइस पर मॉडलों को ठीक-ट्यून करने की अनुमति देता है, हालांकि यह एक शोध सुविधा बनी हुई है।
बाजार स्थिति और प्रतिस्पर्धा
Untether AI एज AI अनुमान एक्सेलेरेटर के आला में प्रतिस्पर्धा करता है, एक बाजार जो Groq जैसी कंपनियों द्वारा भी सेवा प्रदान किया जाता है, जो समान ऑन-चिप मेमोरी दृष्टिकोण का उपयोग करता है लेकिन बड़े डेटा सेंटर वर्कलोड को लक्षित करता है, और SambaNova, जो पुन:कॉन्फ़िगर करने योग्य आर्किटेक्चर पर केंद्रित है। AWS Trainium और Google Cloud TPU के विपरीत, जो हाइपरस्केल डेटा केंद्रों तक स्केल करते हैं, Untether AI विकेंद्रीकृत तैनाती के लिए कम बिजली बजट पर जोर देता है। कंपनी खुद को एम्बेडेड सिस्टम में Arm-आधारित CPU के पूरक के रूप में स्थापित करती है।
2023 में, Untether AI ने चिपलेट्स के लिए पैकेजिंग समाधान सह-विकसित करने के लिए सैमसंग इलेक्ट्रॉनिक्स के साथ साझेदारी की, जिससे उच्च-मात्रा उत्पादन के लिए लागत कम हो सकती है। विश्लेषकों का कहना है कि TSMC से 7 nm प्रक्रिया पर कंपनी की निर्भरता एक प्रतिस्पर्धी प्रदर्शन-प्रति-वाट अनुपात प्रदान करती है, हालांकि इसे Qualcomm के क्लाउड AI अनुमान चिप्स और Broadcom के आगामी प्रोसेसरों से प्रतिस्पर्धा का सामना करना पड़ता है।
अनुप्रयोग और उपयोग मामले
Untether AI हार्डवेयर के प्राथमिक लक्ष्य अनुप्रयोगों में स्वायत्त वाहन शामिल हैं, जहाँ इसकी कम विलंबता तेज़ सेंसर डेटा व्याख्या को सक्षम बनाती है, और रोबोटिक्स, जैसे Figure AI द्वारा विकसित मानवीय सिस्टम। विनिर्माण में, चिप्स का उपयोग दृश्य निरीक्षण प्रणालियों के लिए किया जाता है जिन्हें वास्तविक समय विसंगति का पता लगाने की आवश्यकता होती है। कंपनी स्वास्थ्य देखभाल इमेजिंग, विशेष रूप से सर्जिकल रोबोट जिन्हें तेज़ छवि प्रसंस्करण की आवश्यकता होती है, और उपग्रह डेटा के साथ रिमोट सेंसिंग को भी लक्षित करती है।
डेटा केंद्र में, Untether AI AWS इंस्टेंस और ऑन-प्रिमाइस सर्वर के लिए त्वरण कार्ड प्रदान करता है, जो प्रति अनुरोध कम बिजली के साथ बड़े भाषा मॉडल के लिए अनुमान पर केंद्रित है। 2024 में पेश किए गए तैनाती किट में भावना विश्लेषण और वस्तु ट्रैकिंग जैसे सामान्य कार्यों के लिए पूर्व-ट्यून किए गए मॉडल शामिल हैं, जो OpenAI के GPT-2 जैसे फ्रेमवर्क को संदर्भ के रूप में उपयोग करते हैं।
प्रदर्शन और बेंचमार्क
MLPerf संगठन द्वारा 2023 के अंत में प्रकाशित स्वतंत्र बेंचमार्क ने दिखाया कि Untether AI का speedAI240 8-बिट परिशुद्धता पर ResNet-50 वर्गीकरण कार्य पर 75 फ्रेम प्रति सेकंड प्राप्त करता है, जिसमें प्रति फ्रेम 0.5 जूल है, जो ऊर्जा दक्षता में Nvidia के Jetson Orin से तीन गुना बेहतर प्रदर्शन करता है। हालांकि, BERT जैसे बड़े मॉडलों पर, इसकी अनुक्रमिक मेमोरी आर्किटेक्चर सीमित ऑन-चिप क्षमता के कारण धीमी थ्रूपुट दिखाती है। कंपनी ऑफ-चिप LPDDR5 मेमोरी का समर्थन करके इस समस्या का समाधान करती है, जो 64 GB तक कॉन्फ़िगर करने योग्य है, जो एज और सर्वर वर्कलोड के बीच सेतु बनाती है।
Intel के Movidius चिप्स की तुलना में, speedAI240 उच्च शिखर TOPS प्रदान करता है लेकिन उच्च लागत पर, जिससे यह स्वायत्त ट्रकों जैसे प्रीमियम अनुप्रयोगों के लिए उपयुक्त है। MIT कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस लेबोरेटरी में 2024 का एक अध्ययन ने Untether AI के डिज़ाइन को औद्योगिक उत्पादों में नियर-मेमोरी कंप्यूटिंग के अग्रणी उदाहरण के रूप में उद्धृत किया।
रोडमैप और भविष्य की दिशाएँ
वर्तमान में, Untether AI अपनी दूसरी पीढ़ी की आर्किटेक्चर विकसित कर रहा है, जिसका कोडनेम "Gemini" है, जिसका उद्देश्य उभरते ट्रांसफॉर्मर-आधारित मॉडलों के लिए 16-बिट फ्लोटिंग-पॉइंट प्रारूपों का समर्थन करना है। कंपनी 2025 के अंत में चिप का नमूना लेने की योजना बना रही है, जिसका लक्ष्य 10 TOPS/W दक्षता है, जो वर्तमान संख्याओं को तीन गुना कर देगा। एक फोकस एज डिवाइसों पर ट्रांसफॉर्मर और मल्टी-हेड अटेंशन को कुशलतापूर्वक संभालने के लिए टूलचेन को बढ़ाना है।
फर्म RISC-V कोर के साथ अपने एक्सेलेरेटर के एकीकरण की भी खोज कर रही है ताकि पूरी तरह से प्रोग्राम करने योग्य SoC सक्षम हो सकें, जिससे बाहरी नियंत्रण प्रोसेसरों पर निर्भरता कम हो। 2024 में, इसने वितरित अनुमान के लिए ऊर्जा-जागरूक शेड्यूलिंग पर बर्कले AI रिसर्च लैब के साथ एक शोध सहयोग की घोषणा की। दीर्घकालिक रूप से, Untether AI का लक्ष्य जनरेटिव AI एज बाजार में एक प्रमुख खिलाड़ी बनना है, जिसमें 2027 तक 1 मिलियन यूनिट शिप करने का अनुमान है।
नेतृत्व और कॉर्पोरेट गवर्नेंस
CEO अरुण सुब्रह्मण्यन एक प्रबंधन टीम का नेतृत्व करते हैं जिसमें मुख्य प्रौद्योगिकी अधिकारी मार्टिनो आंद्रेअनी और इंजीनियरिंग के VP टॉम डॉयल शामिल हैं। बोर्ड में Radical Ventures और सैमसंग रिसर्च के वेंचर पार्टनर शामिल हैं, जो रणनीतिक मार्गदर्शन प्रदान करते हैं। 2025 की शुरुआत तक कंपनी टोरंटो, ओटावा और सैन जोस में कुल 180 कर्मचारियों को बनाए रखती है। उल्लेखनीय सलाहकारों में अनिमा आनंदकुमार शामिल हैं, जो टेंसर विधियों में एक प्रमुख व्यक्ति हैं, और जेफ्री हिंटन ने इसकी स्थापना के दौरान अनौपचारिक रूप से सलाहकार के रूप में कार्य किया।
Untether AI के पेटेंट, 40 से अधिक दायर फाइलिंग, मिसफिट मेमोरी और गतिशील वोल्टेज स्केलिंग तकनीकों को कवर करते हैं, और इसने टोरंटो विश्वविद्यालय से एक पोर्टफोलियो लाइसेंस प्राप्त किया है। फर्म की वित्तीय स्थिति 2024 की मंदी के दौरान स्थिर रही, जनवरी 2025 में PSP इन्वेस्टमेंट्स के नेतृत्व में $100 मिलियन की सीरीज़ C फाइनेंसिंग की घोषणा की गई।
उद्योग प्रभाव और स्वागत
उद्योग पर्यवेक्षक Untether AI को एट-मेमोरी कंप्यूटिंग पर शोध को वाणिज्यिक पैमाने पर लाने में एक अग्रणी के रूप में देखते हैं, जिसमें स्टैनफोर्ड AI लैब ने इसके डिज़ाइन निर्णयों पर एक केस स्टडी की मेजबानी की। Arm और TomTom जैसे पारिस्थितिकी तंत्र खिलाड़ियों के साथ नेविगेशन सिस्टम के लिए साझेदारी ने इसकी पहुंच बढ़ाई है। हालांकि, मशीन लर्निंग समुदाय में कुछ लोग एज-विशिष्ट चिप्स की दीर्घकालिक व्यवहार्यता पर सवाल उठाते हैं, क्योंकि क्लाउड प्रदाता Oracle Cloud और Azure सेवाओं के माध्यम से सस्ता अनुमान प्रदान करते हैं। Untether AI विलंबता-महत्वपूर्ण और गोपनीयता-संवेदनशील अनुप्रयोगों का हवाला देकर जवाब देता है जहाँ डेटा डिवाइस नहीं छोड़ सकता।
कंपनी ने ओपन-सोर्स सॉफ्टवेयर में भी योगदान दिया है, एक कंपाइलर बैकएंड जारी किया जिसे 2024 में ONNX Runtime समुदाय में अपनाया गया, हालांकि आगे एकीकरण जारी है। इसकी फंडिंग प्रक्षेपवक्र विशेष AI सिलिकॉन में निरंतर निवेशक रुचि को दर्शाता है, जो क्षेत्र में व्यापक बाजार समेकन के बीच बनाया गया है।