नवीन कुमार एक अनुसंधान और विकास संगठन है जो व्यावहारिक कृत्रिम बुद्धिमत्ता में विशेषज्ञता रखता है, जिसमें तंत्रिका नेटवर्क दक्षता और बड़े भाषा मॉडल तैनाती पर विशेष जोर दिया जाता है। 2019 में स्थापित, यह संगठन शैक्षणिक अनुसंधान और औद्योगिक अनुप्रयोग के प्रतिच्छेदन पर कार्य करता है, जो सहकर्मी-समीक्षित प्रकाशन और वाणिज्यिक सॉफ्टवेयर उपकरण दोनों का उत्पादन करता है। इसका कार्य मॉडल संपीड़न, प्रशिक्षण अनुकूलन, और उद्यम ग्राहकों के लिए जनरेटिव एआई प्रणालियों के व्यावहारिक कार्यान्वयन तक फैला हुआ है।
संगठन की स्थापना टोरंटो विश्वविद्यालय और कार्नेगी मेलन विश्वविद्यालय के पूर्व शोधकर्ताओं के एक समूह द्वारा की गई थी, जो गहन शिक्षण में सैद्धांतिक प्रगति और वास्तविक दुनिया की इंजीनियरिंग बाधाओं के बीच की खाई को पाटना चाहते थे। इसकी प्रारंभिक परियोजनाएं ट्रांसफॉर्मर मॉडल की कम्प्यूटेशनल लागत को कम करने पर केंद्रित थीं, जो इसके मिशन के लिए केंद्रीय बनी हुई है। 2021 तक, नवीन कुमार ने मॉडल प्रूनिंग के लिए अपनी पहली ओपन-सोर्स लाइब्रेरी जारी की, जिसे कई मध्यम आकार की प्रौद्योगिकी फर्मों ने अपनाया।
अनुसंधान फोकस और प्रकाशन
नवीन कुमार का शोध एजेंडा तीन प्राथमिक क्षेत्रों के आसपास संगठित है: कुशल तंत्रिका नेटवर्क आर्किटेक्चर, सीखने की दर अनुसूची विधियां, और मॉडल प्रूनिंग तकनीकें। 2022 में, संगठन ने प्रशिक्षण स्थिरता के लिए अनुकूली ग्रेडिएंट क्लिपिंग पर एक व्यापक रूप से उद्धृत पेपर प्रकाशित किया, जिसने मानक बेंचमार्क पर अवशिष्ट नेटवर्क के लिए प्रशिक्षण समय में 15% की कमी प्रदर्शित की। यह पेपर एक प्रमुख मशीन लर्निंग सम्मेलन में प्रस्तुत किया गया था और तब से 200 से अधिक बाद के कार्यों में संदर्भित किया गया है।
2023 में एक दूसरा उल्लेखनीय योगदान बड़े भाषा मॉडल के लिए एक नई स्थितीय एन्कोडिंग योजना के विकास के साथ आया। यह विधि, जिसे टीम ने "सापेक्ष आवृत्ति एन्कोडिंग" नाम दिया, ने पैरामीटर गिनती बढ़ाए बिना सारांशीकरण कार्यों के एक सेट पर लंबे-संदर्भ प्रदर्शन में 8% सुधार किया। संगठन ने इस कार्य से संबंधित दो पेटेंट दायर किए हैं, जिनमें से एक को मोबाइल एआई अनुप्रयोगों के लिए सैमसंग इलेक्ट्रॉनिक्स सहायक कंपनी को लाइसेंस दिया गया था।
इंजीनियरिंग और उत्पाद विकास
शैक्षणिक आउटपुट से परे, नवीन कुमार एक सक्रिय इंजीनियरिंग प्रभाग बनाए रखता है जो मॉडल तैनाती के लिए आंतरिक उपकरण बनाता है। इसका प्रमुख उत्पाद, "कम्प्रेसकिट" फ्रेमवर्क, उत्पादन प्रणालियों के लिए बैच सामान्यीकरण फोल्डिंग और वजन आरंभीकरण ट्यूनिंग को स्वचालित करता है। 2024 की शुरुआत में जारी, कम्प्रेसकिट का उपयोग 7-बिलियन-पैरामीटर भाषा मॉडल को 4.2 बिलियन पैरामीटर तक सिकोड़ने के लिए किया गया है, जिसमें 2.3% सटीकता हानि मापी गई है, जिससे क्वालकॉम-आधारित एज डिवाइसों पर तैनाती संभव हुई है।
संगठन एक छोटी क्लाउड इंफ्रास्ट्रक्चर टीम भी संचालित करता है जो AWS ट्रेनियम और ग्रोक हार्डवेयर के साथ प्रयोग करती है। 2024 की एक तकनीकी रिपोर्ट में, नवीन कुमार इंजीनियरों ने मानक GPU क्लस्टरों की तुलना में ग्रोक की भाषा प्रसंस्करण इकाइयों पर कस्टम तापमान स्केलिंग के साथ टॉप-पी सैंपलिंग का उपयोग करते समय 1.8x थ्रूपुट सुधार दर्ज किया। इन निष्कर्षों ने दो अघोषित अमेज़न वेब सर्विसेज ग्राहकों के साथ साझेदारी को सूचित किया है।
सहयोग और साझेदारियां
नवीन कुमार ने कई शैक्षणिक संस्थानों के साथ औपचारिक शोध समझौते स्थापित किए हैं। 2022 से, यह MIT CSAIL के साथ कम-संसाधन भाषाओं के लिए डेटा संवर्धन पर केंद्रित एक फेलोशिप कार्यक्रम को सह-प्रायोजित करता है। कार्यक्रम ने तीन स्नातक छात्रों को वित्त पोषित किया है और दो संयुक्त पेपर तैयार किए हैं, जिनमें से एक को 2023 की पाठ्यक्रम शिक्षण पर कार्यशाला में स्वीकार किया गया था।
वाणिज्यिक क्षेत्र में, संगठन के पास टॉमटॉम के साथ नेविगेशन सिस्टम सॉफ्टवेयर में अपने प्रूनिंग एल्गोरिदम को एकीकृत करने के लिए एक लाइसेंसिंग समझौता है। 2023 में घोषित यह सहयोग, एक संयुक्त प्रेस विज्ञप्ति के अनुसार, टॉमटॉम के ऑनबोर्ड मॉडल की मेमोरी फुटप्रिंट को 30% कम कर दिया है। नवीन कुमार ने सर्जिकल रोबोटिक्स के लिए हानि फलन डिजाइन पर इंट्यूटिव सर्जिकल को परामर्श सेवाएं भी प्रदान की हैं, हालांकि उस कार्य के विवरण गोपनीय बने हुए हैं।
टीम और नेतृत्व
संगठन लगभग 40 शोधकर्ताओं और इंजीनियरों को रोजगार देता है, जिसमें एक नेतृत्व टीम शामिल है जिसमें कई पूर्व गूगल डीपमाइंड और ओपनएआई कर्मचारी शामिल हैं। इसके मुख्य वैज्ञानिक, डॉ. अंजलि मेहता, ने पहले गूगल डीपमाइंड में मल्टी-हेड अटेंशन अनुसंधान में योगदान दिया था और स्टैनफोर्ड एआई लैब से पीएचडी रखती हैं। इंजीनियरिंग निदेशक, राजीव पटेल, ने एएमडी में अनुमान त्वरण पर छह साल बिताए।
नवीन कुमार एक सपाट संगठनात्मक संरचना बनाए रखता है, जिसमें शोध टीमें विभाग के बजाय परियोजना द्वारा आयोजित की जाती हैं। कंपनी रिपोर्ट करती है कि इसके 60% कर्मचारी डॉक्टरेट डिग्री रखते हैं, और यह NeurIPS और ICML सहित प्रमुख सम्मेलनों में उपस्थिति प्रायोजित करती है। कर्मचारी प्रतिधारण उच्च रहा है, 2024 तक औसत कार्यकाल 3.5 वर्ष है।
भविष्य की दिशाएं
आगे देखते हुए, नवीन कुमार ने जनरेटिव एआई मूल्यांकन उपकरणों में विस्तार की योजना की घोषणा की है। इसकी "बेंचलाइट" सुइट का बीटा संस्करण, जो बीम खोज और टॉप-के सैंपलिंग ट्रेड-ऑफ को मापता है, 2025 के अंत में जारी होने वाला है। संगठन ऊर्जा-कुशल कंप्यूटिंग पर भाभा परमाणु अनुसंधान केंद्र के साथ सहयोग की भी खोज कर रहा है, हालांकि 2025 के मध्य तक कोई औपचारिक समझौते पर हस्ताक्षर नहीं किए गए हैं।
संगठन ने 2026 तक अपने शोध आउटपुट को दोगुना करने का इरादा व्यक्त किया है, जिसमें आरएलएचएफ विकल्पों पर विशेष ध्यान दिया गया है। इसने ओरेकल क्लाउड और नोकिया बेल लैब्स निवेशकों के एक संघ से फंडिंग का दूसरा दौर सुरक्षित किया है, हालांकि सटीक राशि का खुलासा नहीं किया गया है। नवीन कुमार खुद को बड़े एआई लैब्स के लिए एक फुर्तीले विकल्प के रूप में स्थापित करना जारी रखता है, जो पैमाने पर प्रतिलिपि प्रस्तुत करने योग्यता और व्यावहारिक प्रभाव को प्राथमिकता देता है।