अद्रियाना रोमेरो

एड्रियाना रोमेरो एक कंप्यूटर वैज्ञानिक हैं जो मशीन लर्निंग और डीप लर्निंग में विशेषज्ञता रखती हैं। वह ज्ञान आसवन (knowledge distillation) पर अपने काम के लिए सबसे अधिक जानी जाती हैं, विशेष रूप से FitNets आर्किटेक्चर के लिए, और मेटा के फंडामेंटल एआई रिसर्च (FAIR) प्रयोगशाला की पेरिस शाखा का नेतृत्व करने के लिए। उनका शोध कुशल तंत्रिका नेटवर्क प्रशिक्षण और संपीड़न पर केंद्रित है, जिसके अनुप्रयोग कंप्यूटर विज़न और अन्य क्षेत्रों में हैं।

रोमेरो का शैक्षणिक करियर कंप्यूटर विज्ञान में पीएचडी के साथ शुरू हुआ, जिसके दौरान उन्होंने दृश्य पहचान के लिए डीप लर्निंग आर्किटेक्चर पर ध्यान केंद्रित किया। उनका डॉक्टरेट शोध, जो 2010 के दशक के मध्य में पूरा हुआ, ने गहरे और अधिक कुशल तंत्रिका नेटवर्क के प्रशिक्षण के लिए तकनीकों के विकास में योगदान दिया। इस कार्य ने मॉडल संपीड़न और ज्ञान हस्तांतरण में उनके बाद के योगदानों की नींव रखी।

FitNets और ज्ञान आसवन

रोमेरो का सबसे अधिक उद्धृत योगदान FitNets पेपर है, जो योशुआ बेंगियो और अन्य सहयोगियों के साथ सह-लेखक था, जो 2014 में प्रकाशित हुआ था। पेपर ने ज्ञान आसवन की एक विधि पेश की जो पारंपरिक शिक्षक-छात्र प्रतिमान से परे जाती है। केवल एक बड़े, पूर्व-प्रशिक्षित शिक्षक नेटवर्क के अंतिम आउटपुट का मिलान करने के बजाय, FitNets शिक्षक और एक पतले और गहरे छात्र नेटवर्क के बीच मध्यवर्ती प्रतिनिधित्व, या फीचर मैप्स का भी मिलान करते हैं। यह दृष्टिकोण, जिसे "हिंट-आधारित प्रशिक्षण" कहा जाता है, छात्र को शिक्षक के आंतरिक प्रतिनिधित्व से अधिक प्रभावी ढंग से सीखने की अनुमति देता है।

FitNets विधि ने प्रदर्शित किया कि एक छात्र नेटवर्क अपने शिक्षक की तुलना में गहरा और पतला दोनों हो सकता है, जबकि CIFAR-10 और ImageNet जैसे छवि वर्गीकरण बेंचमार्क पर तुलनीय या बेहतर सटीकता प्राप्त करता है। यह कार्य मॉडल संपीड़न तकनीकों के विकास में प्रभावशाली था, जो मोबाइल फोन और एम्बेडेड सिस्टम जैसे संसाधन-सीमित उपकरणों पर डीप लर्निंग मॉडल तैनात करने के लिए महत्वपूर्ण हैं। आसवन के लिए मध्यवर्ती सुविधाओं का उपयोग करने की अवधारणा को बाद के शोध में व्यापक रूप से अपनाया और विस्तारित किया गया है।

शोध योगदान

FitNets के अलावा, रोमेरो ने डीप लर्निंग शोध के कई अन्य क्षेत्रों में योगदान दिया है। उनके कार्य ने कुशल अनुमान के लिए आर्किचेक्चर की खोज की है, जिसमें कॉम्पैक्ट कन्वोल्यूशनल नेटवर्क का डिज़ाइन शामिल है। उन्होंने गहरे मॉडल के प्रशिक्षण स्थिरता और सामान्यीकरण में सुधार के तरीकों की भी जांच की है, जैसे सावधानीपूर्वक आरंभीकरण और नियमितीकरण रणनीतियों के माध्यम से।

रोमेरो ने NeurIPS, ICLR और CVPR सहित शीर्ष-स्तरीय सम्मेलनों और पत्रिकाओं में प्रकाशित किया है। उनके शोध को हजारों बार उद्धृत किया गया है, जो क्षेत्र पर इसके प्रभाव को दर्शाता है। उन्होंने प्रमुख मशीन लर्निंग सम्मेलनों के लिए समीक्षक और क्षेत्र अध्यक्ष के रूप में भी कार्य किया है, जो शैक्षणिक समुदाय की सहकर्मी-समीक्षा प्रक्रिया में योगदान देता है।

FAIR पेरिस में नेतृत्व

2010 के दशक के अंत में, रोमेरो फेसबुक एआई रिसर्च (अब FAIR) में एक शोध वैज्ञानिक के रूप में शामिल हुईं। बाद में वह FAIR पेरिस की प्रमुख बनीं, जो मौलिक और अनुप्रयुक्त एआई समस्याओं पर केंद्रित शोधकर्ताओं की एक टीम का नेतृत्व करती हैं। उनके नेतृत्व में, पेरिस प्रयोगशाला ने स्व-पर्यवेक्षित शिक्षण, मल्टीमॉडल एआई और कुशल मॉडल आर्किचेक्चर सहित विषयों पर काम किया है। प्रयोगशाला शैक्षणिक संस्थानों के साथ सहयोग करती है और PyTorch पारिस्थितिकी तंत्र और विभिन्न मॉडल रिलीज़ जैसी ओपन-सोर्स परियोजनाओं में योगदान देती है।

उनकी भूमिका में शोध दिशाओं को निर्धारित करना, जूनियर शोधकर्ताओं को मार्गदर्शन देना और मेनलो पार्क, न्यूयॉर्क और लंदन में अन्य FAIR प्रयोगशालाओं के साथ सहयोग को बढ़ावा देना शामिल है। वह खुले शोध और प्रतिलिपि-योग्य एआई की एक मुखर समर्थक रही हैं, जो मेटा की शोध आउटपुट साझा करने की व्यापक रणनीति के अनुरूप है।

प्रभाव और मान्यता

ज्ञान आसवन पर रोमेरो के काम का मॉडल संपीड़न और कुशल एआई के क्षेत्र पर स्थायी प्रभाव पड़ा है। FitNets पेपर को इस क्षेत्र में एक मौलिक कार्य माना जाता है, और इसकी तकनीकें कई उत्पादन प्रणालियों में उपयोग की जाती हैं जिन्हें छोटे, तेज़ मॉडल की आवश्यकता होती है। FAIR पेरिस में उनके नेतृत्व ने उन्हें यूरोपीय एआई शोध समुदाय में एक प्रमुख व्यक्ति के रूप में भी स्थापित किया है।

उन्हें कई सम्मेलनों और कार्यशालाओं में बोलने के लिए आमंत्रित किया गया है, और उनके शोध को उद्योग और शैक्षणिक मीडिया में प्रदर्शित किया गया है। 2020 के दशक की शुरुआत तक, वह एक सक्रिय शोधकर्ता और नेता बनी हुई हैं, जो कृत्रिम बुद्धिमत्ता और इसके अनुप्रयोगों की उन्नति में योगदान दे रही हैं।