जोनाथन फ्रैंकल

जोनाथन फ्रैंकल एक कंप्यूटर वैज्ञानिक हैं जो मशीन-लर्निंग और डीप-लर्निंग में विशेषज्ञता रखते हैं। वे न्यूरल नेटवर्क स्पार्सिटी पर अपने शोध के लिए सबसे अधिक जाने जाते हैं, विशेष रूप से लॉटरी टिकट परिकल्पना, जिसे उन्होंने एमआईटी-सीएसएआईएल में माइकल कार्बिन के साथ सह-विकसित किया। 2024 तक, वे MosaicML में मुख्य वैज्ञानिक के रूप में कार्यरत हैं, जो बड़े भाषा मॉडल के कुशल प्रशिक्षण और तैनाती पर केंद्रित एक कंपनी है।

फ्रैंकल का काम न्यूरल नेटवर्क में सैद्धांतिक अंतर्दृष्टि को जनरेटिव एआई के लिए व्यावहारिक प्रणालियों से जोड़ता है। उनके योगदान ने शोधकर्ताओं और इंजीनियरों के मॉडल संपीड़न और संसाधन-कुशल एआई के दृष्टिकोण को प्रभावित किया है, जो उद्योग भर में बढ़ते महत्व का विषय है।

प्रारंभिक जीवन और शिक्षा

फ्रैंकल ने कार्नेगी मेलन विश्वविद्यालय से कंप्यूटर विज्ञान में स्नातक अध्ययन पूरा किया, 2013 में स्नातक हुए। फिर उन्होंने एमआईटी-सीएसएआईएल में पीएचडी की, जहां माइकल कार्बिन ने उनका मार्गदर्शन किया। उनका डॉक्टरेट शोध प्रशिक्षित न्यूरल नेटवर्क की आंतरिक संरचना को समझने पर केंद्रित था, जिससे 2018 में लॉटरी टिकट परिकल्पना का निर्माण हुआ। उन्होंने 2021 में पीएचडी प्राप्त की।

लॉटरी टिकट परिकल्पना

लॉटरी टिकट परिकल्पना, जो कार्बिन के साथ सह-लेखित 2019 के एक पेपर में पेश की गई, यह प्रस्तावित करती है कि एक घने न्यूरल नेटवर्क में एक उपनेटवर्क होता है - एक 'विजेता टिकट' - जो अलगाव में प्रशिक्षित होने पर मूल नेटवर्क के बराबर परीक्षण सटीकता प्राप्त कर सकता है। यह उपनेटवर्क एक पुनरावृत्त प्रूनिंग प्रक्रिया के माध्यम से पहचाना जाता है: नेटवर्क को प्रशिक्षित करें, सबसे छोटे परिमाण वाले भारों को प्रून करें, शेष भारों को उनके प्रारंभिक मूल्यों पर रीसेट करें, और फिर से प्रशिक्षित करें। परिकल्पना ने पारंपरिक धारणा को चुनौती दी कि प्रूनिंग मुख्य रूप से अनुमान-समय दक्षता के लिए कार्य करता है, यह दिखाते हुए कि स्पार्स नेटवर्क को भी शुरू से प्रभावी ढंग से प्रशिक्षित किया जा सकता है।

यह काम कृत्रिम बुद्धिमत्ता समुदाय में महत्वपूर्ण ध्यान आकर्षित करने वाला था, क्योंकि इसका निहितार्थ न्यूरल नेटवर्क को समझने और अनुकूलित करने दोनों के लिए था। इसने सुझाव दिया कि गहन शिक्षण में अतिपैरामीटरकरण क्षमता के बारे में कम और कई व्यवहार्य उपनेटवर्क की उपस्थिति के बारे में अधिक हो सकता है। फ्रैंकल और सहयोगियों द्वारा बाद के शोध ने इस विचार को अधिक जटिल आर्किटेक्चर तक बढ़ाया, जिसमें ट्रांसफॉर्मर शामिल हैं, और इन टिकटों को खोजने में सीखने की दर अनुसूचियों और भार आरंभीकरण की भूमिका का पता लगाया।

MosaicML में करियर

अपनी पीएचडी पूरी करने के बाद, फ्रैंकल MosaicML में मुख्य वैज्ञानिक के रूप में शामिल हुए, जो पूर्व इंटेल और एनवीडिया इंजीनियरों द्वारा 2021 में स्थापित एक स्टार्टअप है। MosaicML में, उन्होंने कुशल प्रशिक्षण विधियों पर शोध का नेतृत्व किया, जिसमें MosaicML स्ट्रीमिंग डेटासेट लाइब्रेरी और कंपोज़र प्रशिक्षण ढांचे का विकास शामिल है। उनकी टीम ने बड़े मॉडलों को प्रशिक्षित करने के लिए आवश्यक लागत और समय को कम करने पर ध्यान केंद्रित किया, जिससे वे छोटे संगठनों के लिए सुलभ हो सकें।

2023 में, MosaicML को डेटाब्रिक्स, एक डेटा एनालिटिक्स कंपनी, द्वारा लगभग $1.3 बिलियन में अधिग्रहित किया गया था। फ्रैंकल ने अधिग्रहण के बाद मुख्य वैज्ञानिक के रूप में अपनी भूमिका जारी रखी, मॉडल अनुकूलन पर शोध की देखरेख और MPT-7B और MPT-30B जैसे ओपन-सोर्स मॉडल की रिलीज़ की। ये मॉडल ओपनएआई के GPT-3 के सापेक्ष प्रतिस्पर्धी प्रदर्शन के लिए उल्लेखनीय थे, जबकि कम कंप्यूटेशनल संसाधनों की आवश्यकता थी।

शोध योगदान

लॉटरी टिकट परिकल्पना के अलावा, फ्रैंकल ने मशीन लर्निंग शोध के कई क्षेत्रों में योगदान दिया है। 'रैखिक मोड कनेक्टिविटी' पर उनका काम पता लगाता है कि स्वतंत्र रूप से प्रशिक्षित मॉडल को भार स्थान में कैसे इंटरपोलेट किया जा सकता है, जो गहरे नेटवर्क के नुकसान परिदृश्य में अंतर्दृष्टि प्रदान करता है। उन्होंने प्रशिक्षण गतिशीलता पर डेटा क्रम और बैच सामान्यीकरण के प्रभाव की भी जांच की।

फ्रैंकल एआई शोध में प्रतिलिपि प्रस्तुत करने योग्यता के समर्थक रहे हैं, विस्तृत प्रयोगात्मक प्रोटोकॉल प्रकाशित करते हैं और अपने अध्ययनों के लिए कोड खुला स्रोत करते हैं। उनके पेपर NeurIPS, ICML, और ICLR सहित प्रमुख सम्मेलनों में प्रकाशित हुए हैं, और उन्होंने इन स्थानों के लिए समीक्षक के रूप में कार्य किया है।

प्रभाव और मान्यता

फ्रैंकल के शोध को गहन शिक्षण साहित्य में व्यापक रूप से उद्धृत किया गया है, लॉटरी टिकट परिकल्पना पेपर को हजारों उद्धरण प्राप्त हुए हैं। उनके विचारों ने मॉडल संपीड़न के लिए व्यावहारिक उपकरणों को प्रभावित किया है, जैसे पायटॉर्च और टेन्सरफ्लो जैसे ढांचे में प्रूनिंग लाइब्रेरी। गूगल-डीपमाइंड और एंथ्रोपिक जैसी कंपनियों के उद्योग अभ्यासियों ने कुशल मॉडल डिजाइन की चर्चाओं में उनके काम का संदर्भ दिया है।

जनरेटिव एआई के व्यापक संदर्भ में, फ्रैंकल का दक्षता पर ध्यान बड़े मॉडलों तक पहुंच को लोकतांत्रिक बनाने के प्रयासों के साथ संरेखित है। MosaicML में उनका काम ओपन-वेट मॉडल की प्रवृत्ति में योगदान देता है, जो प्रमुख प्रयोगशालाओं के स्वामित्व वाले दृष्टिकोणों के विपरीत है। 2024 तक, वे क्षेत्र में सक्रिय हैं, सम्मेलनों में बोलते हैं और सतत एआई विकास पर सार्वजनिक प्रवचन में योगदान करते हैं।

चयनित प्रकाशन

• 'द लॉटरी टिकट हाइपोथिसिस: फाइंडिंग स्पार्स, ट्रेनबल न्यूरल नेटवर्क्स' (माइकल कार्बिन के साथ, 2019)
• 'लीनियर मोड कनेक्टिविटी एंड द लॉटरी टिकट हाइपोथिसिस' (गुंडप्पा साहू एट अल. के साथ, 2020)
• 'स्टेबलाइज़िंग द लॉटरी टिकट हाइपोथिसिस' (गुंडप्पा साहू एट अल. के साथ, 2020)
• 'मोज़ेकएमएल: एफिशिएंट ट्रेनिंग ऑफ लार्ज लैंग्वेज मॉडल्स' (तकनीकी रिपोर्ट, 2023)

संदर्भ

उनका काम अकादमिक पेपरों और तकनीकी रिपोर्टों में प्रलेखित है जो arXiv और सम्मेलन कार्यवाही के माध्यम से उपलब्ध हैं। साक्षात्कार और प्रोफाइल प्रौद्योगिकी मीडिया आउटलेट्स में प्रकाशित हुए हैं, जो कुशल एआई में उनके योगदान पर चर्चा करते हैं।