नवीन राव एक अमेरिकी उद्यमी और इंजीनियर हैं, जिन्हें कृत्रिम बुद्धिमत्ता और मशीन लर्निंग में उनके काम के लिए जाना जाता है, विशेष रूप से बड़े भाषा मॉडल प्रशिक्षण के क्षेत्र में। उन्होंने MosaicML की सह-स्थापना की और इसके CEO के रूप में कार्य किया, जो एक स्टार्टअप है जो AI मॉडल प्रशिक्षण को अधिक सुलभ और लागत प्रभावी बनाने पर केंद्रित था, और इसे जुलाई 2023 में लगभग $1.3 बिलियन में Databricks द्वारा अधिग्रहित किया गया। MosaicML से पहले, राव ने Intel और Nervana Systems में नेतृत्व की भूमिकाएँ निभाईं, जो गहन शिक्षण के लिए विशेष हार्डवेयर के विकास में योगदान देती थीं।
राव का करियर AI के हार्डवेयर और सॉफ्टवेयर दोनों पहलुओं में फैला हुआ है, जो आधुनिक तंत्रिका नेटवर्क के अंतर्निहित कम्प्यूटेशनल चुनौतियों की गहरी समझ को दर्शाता है। उनका काम जनरेटिव AI प्रणालियों के व्यावहारिक तैनाती को आगे बढ़ाने में सहायक रहा है, विशेष रूप से मॉडल संपीड़न और कुशल वितरित प्रशिक्षण जैसी तकनीकों के माध्यम से।
प्रारंभिक करियर और शिक्षा
राव ने ड्यूक विश्वविद्यालय से इलेक्ट्रिकल इंजीनियरिंग में स्नातक की डिग्री प्राप्त की और बाद में ब्राउन विश्वविद्यालय से तंत्रिका विज्ञान में पीएचडी पूरी की। उनकी शैक्षणिक पृष्ठभूमि ने इंजीनियरिंग को जैविक तंत्रिका प्रणालियों पर ध्यान केंद्रित करने के साथ जोड़ा, जिसने मशीन लर्निंग के प्रति उनके बाद के दृष्टिकोण को प्रभावित किया। AI उद्योग में प्रवेश करने से पहले, उन्होंने ब्रॉडकॉम और क्वालकॉम में चिप आर्किटेक्ट के रूप में काम किया, जहाँ उन्होंने उच्च-प्रदर्शन प्रोसेसर डिजाइन करने का अनुभव प्राप्त किया।
2014 में, राव ने अमीर खोसरोशाही और अर्जुन बंसल के साथ Nervana Systems की सह-स्थापना की। कंपनी ने Nervana Engine नामक एक कस्टम AI चिप विकसित की, जिसे विशेष रूप से गहन शिक्षण कार्यभार के लिए डिज़ाइन किया गया था। Nervana को अगस्त 2016 में इंटेल द्वारा लगभग $408 मिलियन में अधिग्रहित किया गया, जिसके बाद राव Intel के AI उत्पाद समूह के महाप्रबंधक बन गए।
Intel में नेतृत्व
Intel में, राव ने Nervana न्यूरल नेटवर्क प्रोसेसर (NNP) परिवार के विकास की देखरेख की, जिसमें प्रशिक्षण के लिए NNP-T और अनुमान के लिए NNP-I शामिल थे। इन चिप्स का उद्देश्य AI एक्सेलेरेटर बाजार में एनवीडिया के GPUs के साथ प्रतिस्पर्धा करना था। उनके नेतृत्व में, Intel ने 2018 में Vertex.AI का भी अधिग्रहण किया, जो AI मॉडल अनुकूलन पर केंद्रित एक स्टार्टअप था, ताकि इसके सॉफ्टवेयर स्टैक को मजबूत किया जा सके।
इन प्रयासों के बावजूद, Intel के AI हार्डवेयर को स्थापित प्रतिस्पर्धियों के खिलाफ महत्वपूर्ण बाजार आकर्षण हासिल करने में संघर्ष करना पड़ा। राव ने 2020 में Intel छोड़ दिया, और Intel ने बाद में 2021 में Nervana उत्पाद लाइन को बंद कर दिया, ध्यान अन्य AI पहलों पर स्थानांतरित कर दिया। Intel में उनके समय ने हार्डवेयर-केंद्रित दृष्टिकोणों की सीमाओं में मूल्यवान अंतर्दृष्टि प्रदान की, जिसने MosaicML में उनके बाद के काम को प्रभावित किया।
MosaicML की स्थापना
2021 में, राव ने हानलिन टैंग और जोनाथन फ्रैंकल के साथ MosaicML की सह-स्थापना की। कंपनी का उद्देश्य बड़े भाषा मॉडल को कुशलतापूर्वक प्रशिक्षित करने के लिए उपकरण और प्लेटफ़ॉर्म प्रदान करके AI को लोकतांत्रिक बनाना था। MosaicML का प्रमुख उत्पाद, MosaicML प्लेटफ़ॉर्म, मॉडलों को प्रशिक्षित करने और फाइन-ट्यून करने के लिए एक प्रबंधित सेवा प्रदान करता था, साथ ही MPT (Mosaic प्रीट्रेंड ट्रांसफॉर्मर) परिवार के ओपन-सोर्स मॉडल भी।
MosaicML के प्रमुख नवाचारों में से एक ट्रांसफॉर्मर आर्किटेक्चर का उपयोग अनुकूलित प्रशिक्षण तकनीकों, जैसे FlashAttention और कम-परिशुद्धता प्रशिक्षण के साथ था। कंपनी ने प्रदर्शित किया कि वह अरबों पैरामीटर वाले मॉडल को ऐसी लागत पर प्रशिक्षित कर सकती है जो आमतौर पर ऐसे प्रयासों से जुड़ी लागत का एक अंश है। मार्च 2023 में, MosaicML ने MPT-7B जारी किया, जो 7-बिलियन-पैरामीटर मॉडल था जो अपने प्रतिस्पर्धी प्रदर्शन और ओपन-सोर्स उपलब्धता के लिए उल्लेखनीय था।
Databricks द्वारा अधिग्रहण और बाद का कार्य
डेटा एनालिटिक्स कंपनी Databricks ने जुलाई 2023 में MosaicML का अधिग्रहण किया। यह अधिग्रहण Databricks की अपने प्लेटफ़ॉर्म में AI मॉडल प्रशिक्षण क्षमताओं को एकीकृत करने की रणनीति का हिस्सा था, जो ओपनएआई, एंथ्रोपिक और गूगल क्लाउड की पेशकशों के साथ प्रतिस्पर्धा करता था। अधिग्रहण के बाद, राव Databricks में AI के उपाध्यक्ष बन गए, जो जनरेटिव AI समाधानों के विकास और तैनाती के लिए कंपनी के प्रयासों का नेतृत्व कर रहे थे।
राव के नेतृत्व में, Databricks ने मार्च 2024 में DBRX मॉडल जारी किया, जो मिश्रण-ऑफ-एक्सपर्ट्स आर्किटेक्चर के साथ 132-बिलियन-पैरामीटर बड़ा भाषा मॉडल है। DBRX को मालिकाना मॉडलों के ओपन-सोर्स विकल्प के रूप में स्थापित किया गया था, जो दक्षता और प्रदर्शन पर जोर देता था। राव ओपन-सोर्स AI के मुखर समर्थक भी रहे हैं, यह तर्क देते हुए कि पारदर्शिता और सामुदायिक सहयोग जिम्मेदार AI विकास के लिए आवश्यक हैं।
योगदान और मान्यता
राव ने गहन शिक्षण और मशीन लर्निंग पर कई पेपर लिखे हैं, और उनके पास AI हार्डवेयर और सॉफ्टवेयर से संबंधित कई पेटेंट हैं। वे न्यूरल इंफॉर्मेशन प्रोसेसिंग सिस्टम्स पर सम्मेलन (NeurIPS) और मशीन लर्निंग पर अंतर्राष्ट्रीय सम्मेलन (ICML) सहित उद्योग सम्मेलनों में लगातार वक्ता रहे हैं। 2023 में, उन्हें उनकी उद्यमशीलता उपलब्धियों के लिए फोर्ब्स 50 ओवर 50 सूची में नामित किया गया था।
उनके काम ने व्यापक AI पारिस्थितिकी तंत्र को प्रभावित किया है, विशेष रूप से लागत-कुशल मॉडल प्रशिक्षण के क्षेत्र में। बड़े भाषा मॉडल विकास के लिए आवश्यक कम्प्यूटेशनल संसाधनों को कम करके, राव ने छोटे संगठनों और शोधकर्ताओं को AI अनुसंधान और अनुप्रयोग में भाग लेने में सक्षम बनाने में मदद की है, जो क्षेत्र में बड़ी तकनीकी कंपनियों के प्रभुत्व को चुनौती देता है।
व्यक्तिगत जीवन और दर्शन
राव AI के प्रति अपने व्यावहारिक दृष्टिकोण के लिए जाने जाते हैं, जो सैद्धांतिक लालित्य पर व्यावहारिक परिणामों पर जोर देते हैं। उन्होंने मानवीय मूल्यों के साथ AI विकास को संरेखित करने के महत्व के बारे में बात की है और AI सुरक्षा और नैतिकता के लिए पहलों का समर्थन किया है। साक्षात्कारों में, उन्होंने अपनी तंत्रिका विज्ञान पृष्ठभूमि को प्रेरणा के स्रोत के रूप में उद्धृत किया है, यह देखते हुए कि जैविक बुद्धिमत्ता को समझना कृत्रिम प्रणालियों के डिजाइन को सूचित कर सकता है।
वे सैन फ्रांसिस्को खाड़ी क्षेत्र में रहते हैं और AI स्टार्टअप समुदाय में सक्रिय हैं, प्रारंभिक चरण की कंपनियों को सलाह देते हैं और प्रौद्योगिकी रणनीति पर सलाह देते हैं। चिप डिजाइन से AI सॉफ्टवेयर तक उनका करियर प्रक्षेपवक्र आधुनिक कृत्रिम बुद्धिमत्ता अनुसंधान और विकास की अंतःविषय प्रकृति को दर्शाता है।