मॉड्यूलर एक सॉफ्टवेयर कंपनी है जिसकी स्थापना 2022 में क्रिस लैटनर और टिम डेविस ने की थी, जो MAX प्लेटफॉर्म बनाने के लिए जानी जाती है, जो एक AI इंफेरेंस रनटाइम और कंपाइलर है जिसे विभिन्न हार्डवेयर पर मशीन लर्निंग मॉडल को अनुकूलित और तैनात करने के लिए डिज़ाइन किया गया है। कंपनी का लक्ष्य एक एकीकृत रनटाइम प्रदान करके AI बुनियादी ढांचे में विखंडन को संबोधित करना है जो कई बैकएंड का समर्थन करता है, जिसमें CPU, GPU और विशेष एक्सेलेरेटर शामिल हैं, बिना मॉडल को फिर से लिखने की आवश्यकता के। मॉड्यूलर की तकनीक को पारंपरिक इंफेरेंस स्टैक के उच्च-प्रदर्शन विकल्प के रूप में स्थापित किया गया है, जिसमें बड़े भाषा मॉडल और अन्य डीप लर्निंग कार्यभार के लिए विलंबता को कम करने और संसाधन उपयोग में सुधार पर ध्यान केंद्रित किया गया है।
कंपनी व्यापक AI पारिस्थितिकी तंत्र से उभरी है, जो लैटनर के स्विफ्ट प्रोग्रामिंग भाषा के निर्माता के रूप में पूर्व अनुभव और LLVM पर उनके काम का लाभ उठाती है, जो मशीन लर्निंग फ्रेमवर्क में व्यापक रूप से उपयोग की जाने वाली कंपाइलर बुनियादी ढांचा है। मॉड्यूलर का मुख्य उत्पाद, MAX, एक ग्राफ कंपाइलर, एक रनटाइम और API का एक सेट शामिल करता है जो डेवलपर्स को एज डिवाइस, डेटा सेंटर और क्लाउड प्लेटफॉर्म पर कुशलतापूर्वक मॉडल तैनात करने की अनुमति देता है। 2024 तक, मॉड्यूलर ने अपने प्रदर्शन बेंचमार्क के लिए ध्यान आकर्षित किया है, विशिष्ट इंफेरेंस परिदृश्यों में TensorFlow और PyTorch जैसे मौजूदा रनटाइम पर महत्वपूर्ण गति सुधार का दावा किया है।
फंडिंग और विकास
मॉड्यूलर ने 2022 में $100 मिलियन की सीरीज A फंडिंग राउंड जुटाई, जिसका नेतृत्व General Catalyst ने किया, जिसमें GV (Google Ventures) और SV Angel सहित निवेशकों ने भाग लिया। इस राउंड ने कंपनी का मूल्य लगभग $600 मिलियन आंका, जो इसके तकनीकी दृष्टिकोण में मजबूत निवेशक विश्वास को दर्शाता है। फंडिंग को इंजीनियरिंग टीम का विस्तार करने, उत्पाद विकास में तेजी लाने और हार्डवेयर विक्रेताओं और क्लाउड प्रदाताओं के साथ साझेदारी बनाने के लिए निर्धारित किया गया था। 2023 में, मॉड्यूलर ने Nvidia और AMD से अतिरिक्त रणनीतिक निवेश की घोषणा की, हालांकि विशिष्ट राशि का खुलासा नहीं किया गया, ताकि उनके संबंधित GPU आर्किटेक्चर के साथ संगतता बढ़ाई जा सके।
2024 की शुरुआत तक, मॉड्यूलर 100 से अधिक कर्मचारियों तक बढ़ गया था, जिसके कार्यालय सैन फ्रांसिस्को और न्यूयॉर्क में थे। कंपनी ने मार्च 2024 में MAX का सार्वजनिक बीटा भी लॉन्च किया, जिससे डेवलपर्स को वास्तविक दुनिया के कार्यभार पर रनटाइम का परीक्षण करने की अनुमति मिली। बीटा रिलीज़ में ट्रांसफॉर्मर मॉडल, तंत्रिका नेटवर्क के लिए समर्थन शामिल था, जिसमें गतिशील आकार और Hugging Face के Transformers लाइब्रेरी जैसे लोकप्रिय फ्रेमवर्क के साथ एकीकरण शामिल था।
तकनीकी आर्किटेक्चर
MAX प्लेटफॉर्म मॉड्यूलर की अपनी कंपाइलर तकनीक पर बनाया गया है, जो विशिष्ट हार्डवेयर के लिए गणनाओं को अनुकूलित करने के लिए बहु-स्तरीय मध्यवर्ती प्रतिनिधित्व (IR) का उपयोग करता है। पारंपरिक रनटाइम के विपरीत जो पूर्व-संकलित कर्नेल पर निर्भर करते हैं, MAX जस्ट-इन-टाइम (JIT) संकलन करता है, जो इनपुट आकार और हार्डवेयर क्षमताओं के आधार पर अनुकूली अनुकूलन सक्षम करता है। यह दृष्टिकोण मेमोरी ओवरहेड को कम करता है और कैश दक्षता में सुधार करता है, जो परिवर्तनीय बैच आकार वाले इंफेरेंस कार्यों के लिए महत्वपूर्ण है।
MAX की एक प्रमुख विशेषता कई बैकएंड के लिए इसका समर्थन है, जिसमें x86 और ARM CPU, Nvidia GPU, और Cerebras और Groq जैसे उभरते एक्सेलेरेटर शामिल हैं। मॉड्यूलर ने इंटेल के Gaudi एक्सेलेरेटर के लिए MAX को अनुकूलित करने के लिए Intel के साथ भी साझेदारी की है, और मोबाइल और IoT डिवाइस पर एज तैनाती के लिए Qualcomm के साथ साझेदारी की है। रनटाइम में एक Python API और एक ग्राफ कंपाइलर शामिल है जो PyTorch, TensorFlow और ONNX से मॉडल को अंतर्ग्रहण कर सकता है, जो मौजूदा AI पाइपलाइनों के लिए एक सहज प्रवासन पथ प्रदान करता है।
प्रदर्शन और बेंचमार्क
मॉड्यूलर ने स्वतंत्र बेंचमार्क प्रकाशित किए हैं जो दिखाते हैं कि MAX GPT-2 और BERT जैसे मानक जनरेटिव AI मॉडल के लिए Nvidia A100 GPU पर PyTorch के मूल इंफेरेंस की तुलना में 3x कम विलंबता प्राप्त करता है। CPU-केवल वातावरण में, MAX ने Intel Xeon प्रोसेसर पर TensorFlow पर 2.5x थ्रूपुट सुधार प्रदर्शित किया। ये परिणाम कंपाइलर की संचालन को फ्यूज करने, अनावश्यक मेमोरी प्रतियों को समाप्त करने और वेक्टराइज्ड निर्देशों का शोषण करने की क्षमता के लिए जिम्मेदार हैं।
2024 में, मॉड्यूलर ने MLPerf इंफेरेंस बेंचमार्क सूट में भाग लिया, जो एक मानकीकृत उद्योग मूल्यांकन है, और डेटा सेंटर और एज दोनों श्रेणियों के लिए प्रतिस्पर्धी परिणामों की सूचना दी। हालांकि, इन दावों का स्वतंत्र सत्यापन जारी है, क्योंकि कंपनी ने अभी तक अपनी अनुकूलन तकनीकों का पूर्ण तकनीकी दस्तावेज़ीकरण जारी नहीं किया है।
पारिस्थितिकी तंत्र और साझेदारी
मॉड्यूलर ने Amazon Web Services, Microsoft Azure और Google Cloud सहित प्रमुख क्लाउड प्रदाताओं के साथ सहयोग स्थापित किया है, ताकि MAX को एक प्रबंधित सेवा के रूप में पेश किया जा सके। ये साझेदारी ग्राहकों को पूर्व-कॉन्फ़िगर MAX वातावरण के साथ क्लाउड इंस्टेंस पर मॉडल तैनात करने की अनुमति देती हैं, जिससे सेटअप समय कम हो जाता है। कंपनी उच्च-प्रदर्शन AI कार्यभार को लक्षित करते हुए विशेष GPU क्लस्टर के लिए CoreWeave और Oracle Cloud के साथ भी काम करती है।
हार्डवेयर पक्ष पर, मॉड्यूलर Open Panel कंसोर्टियम में शामिल हो गया है, जो AI एक्सेलेरेटर के लिए खुले मानकों को बढ़ावा देने वाला एक उद्योग समूह है, और एक सामान्य रनटाइम इंटरफेस के विकास में योगदान दिया है। इस भागीदारी का उद्देश्य मौजूदा AI स्टैक में नए चिप्स के एकीकरण को सरल बनाना है, जो TSMC और Broadcom जैसी कंपनियों से विशेष सिलिकॉन के प्रसार द्वारा उजागर एक चुनौती है।
भविष्य की दिशाएं
मॉड्यूलर सुदृढीकरण सीखने और कंप्यूटर विजन मॉडल के लिए MAX के समर्थन का विस्तार करने की योजना बना रहा है, ऐसे क्षेत्र जहां गतिशील निष्पादन विशेष रूप से चुनौतीपूर्ण है। कंपनी इंफेरेंस के दौरान मेमोरी फुटप्रिंट को कम करने की तकनीकों पर भी शोध कर रही है, जो संसाधन-सीमित डिवाइसों पर बड़े मॉडल तैनात करने के लिए महत्वपूर्ण है। 2024 के अंत तक, मॉड्यूलर ने राजस्व आंकड़ों का खुलासा नहीं किया है, लेकिन उद्यम अपनाने और साझेदारी पर इसका ध्यान AI बुनियादी ढांचे में एक मानक परत बनने पर केंद्रित रणनीति का सुझाव देता है।
अपने वादे के बावजूद, मॉड्यूलर को Nvidia के TensorRT और OpenAI के Triton जैसे स्थापित खिलाड़ियों के साथ-साथ ONNX Runtime जैसे ओपन-सोर्स विकल्पों से प्रतिस्पर्धा का सामना करना पड़ता है। कंपनी की सफलता व्यापक हार्डवेयर संगतता और डेवलपर अपनाने को सुनिश्चित करते हुए प्रदर्शन लाभ बनाए रखने की क्षमता पर निर्भर करेगी।