Daphne Leon एक कंप्यूटर वैज्ञानिक हैं जिनका करियर प्रक्षेपवक्र कृत्रिम बुद्धिमत्ता के शैक्षणिक जिज्ञासा से औद्योगिक बुनियादी ढांचे तक परिपक्वता को दर्शाता है। उनका कार्य तंत्रिका नेटवर्क अनुकूलन, बड़े भाषा मॉडल संरेखण, और AI हार्डवेयर सह-डिज़ाइन तक फैला हुआ है, जिसमें 2012 से 2024 तक सहकर्मी-समीक्षित पत्रिकाओं और तकनीकी रिपोर्टों में योगदान दर्ज हैं। लियोन सैद्धांतिक मशीन लर्निंग अनुसंधान को व्यावहारिक इंजीनियरिंग बाधाओं, विशेष रूप से संसाधन-सीमित वातावरण में, से जोड़ने के लिए जानी जाती हैं।
1985 में ल्यों, फ्रांस में जन्मी, लियोन ने टोरंटो विश्वविद्यालय में डॉक्टरेट करने से पहले सैमी बेंगियो के पर्यवेक्षण में टोरंटो विश्वविद्यालय में गणित का अध्ययन किया। उनके 2012 के शोध प्रबंध, "कुशल ग्रेडिएंट डिसेंट फॉर डीप आर्किटेक्चर्स" ने स्टोकेस्टिक ग्रेडिएंट डिसेंट का एक वक्रता-जागरूक संस्करण पेश किया जिसने छोटे डेटासेट पर प्रशिक्षण समय लगभग 30 प्रतिशत कम कर दिया। इस कार्य ने गूगल डीपमाइंड शोधकर्ताओं का ध्यान आकर्षित किया, जिससे 2013 से 2015 तक MIT CSAIL में पोस्टडॉक्टरल फेलोशिप मिली, जहाँ उन्होंने अलेक्जेंडर माद्री के साथ प्रतिकूल मजबूती पर सहयोग किया।
अनुकूलन में प्रारंभिक योगदान
लियोन का सबसे अधिक उद्धृत पेपर, "एडेप्टिव लर्निंग रेट्स वाया ग्रेडिएंट वेरिएंस ट्रैकिंग," 2015 के इंटरनेशनल कॉन्फ्रेंस ऑन लर्निंग रिप्रेजेंटेशन्स (ICLR) में प्रकाशित हुआ। पेपर ने एक विधि प्रस्तावित की जो हाल के ग्रेडिएंट अनुमानों के विचरण के आधार पर सीखने की दरों को गतिशील रूप से समायोजित करती थी, जिसने SGD वेरिएंट को छवि वर्गीकरण बेंचमार्क पर बेहतर प्रदर्शन दिया। यह दृष्टिकोण बाद में कई ओपन-सोर्स लाइब्रेरीज़, जिसमें TensorFlow का अनुकूलन मॉड्यूल शामिल है, में शामिल किया गया। 2016 में, लियोन ने जर्नल ऑफ मशीन लर्निंग रिसर्च में एक अनुवर्ती प्रकाशित किया जिसने विधि को आवर्ती आर्किटेक्चर तक विस्तारित किया, भाषा मॉडलिंग कार्यों पर बेहतर अभिसरण प्रदर्शित किया।
MIT में अपने समय के दौरान, लियोन ने बैच नॉर्मलाइज़ेशन वेरिएंट के विकास में भी योगदान दिया। NeurIPS में एक 2016 कार्यशाला पेपर ने "बैच नॉर्मलाइज़ेशन विद मोमेंटम स्केलिंग" पेश किया, जिसने छोटे-बैच प्रशिक्षण में अस्थिरता को संबोधित किया। हालाँकि मूल बैच नॉर्मलाइज़ेशन कार्य की तुलना में कम उद्धृत, तकनीक को अमेज़न वेब सर्विसेज़ में AWS Trainium मॉडल प्रशिक्षण के लिए उत्पादन प्रणालियों में अपनाया गया।
गूगल ब्रेन में उद्योग अनुसंधान
2017 में, लियोन गूगल ब्रेन में वरिष्ठ शोध वैज्ञानिक के रूप में शामिल हुईं। वहाँ, उन्होंने ट्रांसफॉर्मर आर्किटेक्चर टीम पर काम किया, पोज़िशनल एन्कोडिंग योजनाओं के विकास में योगदान दिया। उनका 2018 पेपर "रिलेटिव पोज़िशनल एन्कोडिंग्स फॉर सीक्वेंस मॉडलिंग," जैकब उज़्कोरेत और लुकाज़ कैसर के साथ सह-लेखित, ने एक विधि पेश की जिसने WMT'14 अंग्रेज़ी-जर्मन पर अनुवाद गुणवत्ता में पूर्ण एन्कोडिंग की तुलना में 1.2 BLEU अंक सुधार किया। यह तकनीक बाद में OpenAI और Anthropic में विकसित बड़े भाषा मॉडल में एक मानक घटक बन गई।
लियोन ने मोबाइल तैनाती के लिए मॉडल प्रूनिंग पर एक परियोजना का भी नेतृत्व किया, जिसके परिणामस्वरूप 2019 में कॉन्फ्रेंस ऑन एम्पिरिकल मेथड्स इन नेचुरल लैंग्वेज प्रोसेसिंग (EMNLP) में एक पेपर प्रकाशित हुआ। कार्य ने प्रदर्शित किया कि संरचित प्रूनिंग प्रश्न-उत्तर कार्यों पर मूल सटीकता का 95 प्रतिशत बनाए रखते हुए मॉडल आकार को 80 प्रतिशत कम कर सकती है। इस शोध ने सैमसंग इलेक्ट्रॉनिक्स उपकरणों में उपयोग किए जाने वाले हल्के मॉडल के डिज़ाइन को सूचित किया।
एंथ्रोपिक में संरेखण अनुसंधान
2021 में, लियोन AI संरेखण पर ध्यान केंद्रित करने के लिए एंथ्रोपिक चली गईं। वह कंपनी की तकनीकी रिपोर्ट "ट्रेनिंग लैंग्वेज मॉडल्स टू फॉलो इंस्ट्रक्शंस विद ह्यूमन फीडबैक," मार्च 2022 में जारी, की सह-लेखिका थीं। रिपोर्ट ने उनके सहायक मॉडलों में सहायकता और हानिरहितता सुधारने के लिए AI फीडबैक से सुदृढीकरण सीखने के उपयोग का विवरण दिया। लियोन का विशिष्ट योगदान एक पुरस्कार मॉडल विकसित करना था जिसमें अनिश्चितता अनुमान शामिल थे, जिससे आंतरिक मूल्यांकन में पुरस्कार हैकिंग घटनाओं में 15 प्रतिशत की कमी आई।
लियोन ने डेविड कैपलन के साथ संरेखण के लिए स्केलिंग कानूनों पर भी सहयोग किया। उनका 2023 पेपर, "अलाइनमेंट ओवरहेड इन लार्ज लैंग्वेज मॉडल्स," ने सबूत प्रस्तुत किया कि संरेखण के लिए आवश्यक कंप्यूट संसाधन मॉडल आकार के साथ उपरैखिक रूप से बढ़ते हैं, एक निष्कर्ष जिसने एंथ्रोपिक के प्रशिक्षण बजट आवंटन को प्रभावित किया। पेपर 2023 कॉन्फ्रेंस ऑन न्यूरल इंफॉर्मेशन प्रोसेसिंग सिस्टम्स (NeurIPS) में प्रस्तुत किया गया और OpenAI और गूगल डीपमाइंड के शोधकर्ताओं के बीच चर्चा उत्पन्न की।
हार्डवेयर और सह-डिज़ाइन
2023 से, लियोन AMD के AI प्रभाग के लिए अनुसंधान सलाहकार के रूप में कार्य कर रही हैं, मॉडल आर्किटेक्चर और चिप डिज़ाइन के प्रतिच्छेदन पर ध्यान केंद्रित कर रही हैं। उन्होंने AMD के CDNA3 आर्किटेक्चर के लिए अनुकूलित स्पार्स अटेंशन कर्नेल के विकास में योगदान दिया, जिसने घने कार्यान्वयन की तुलना में लंबे-संदर्भ कार्यों पर 40 प्रतिशत तेज़ अनुमान प्राप्त किया। लियोन ने अगली पीढ़ी के AI त्वरक के लिए प्रक्रिया प्रौद्योगिकी आवश्यकताओं पर TSMC के लिए भी परामर्श किया है।
उनका 2024 इंटरनेशनल सिम्पोजियम ऑन कंप्यूटर आर्किटेक्चर (ISCA) में मुख्य भाषण तर्क दिया कि भविष्य के दक्षता लाभ एल्गोरिदम और हार्डवेयर के संयुक्त अनुकूलन से आएंगे, Groq के टेंसर स्ट्रीमिंग प्रोसेसर के साथ अपने कार्य के उदाहरणों का हवाला देते हुए। लियोन नियमित रूप से प्रकाशित करती रहती हैं और प्रमुख मशीन लर्निंग सम्मेलनों के लिए कार्यक्रम समिति में कार्य करती हैं।
विरासत और मान्यता
लियोन को कई पुरस्कार मिले हैं, जिसमें उनके 2015 अनुकूलन पेपर के लिए ICLR में 2020 टेस्ट ऑफ टाइम अवार्ड शामिल है। उन्हें 2019 में MIT टेक्नोलॉजी रिव्यू के "35 इनोवेटर्स अंडर 35" में से एक नामित किया गया था। गूगल स्कॉलर के अनुसार उनके शोध को 15,000 से अधिक बार उद्धृत किया गया है, जिसमें उनके सबसे प्रभावशाली कार्य अनुकूलन, आर्किटेक्चर डिज़ाइन और संरेखण तक फैले हुए हैं। लियोन जिम्मेदार AI विकास के बारे में चर्चाओं में एक सक्रिय आवाज़ बनी हुई हैं, स्टैनफोर्ड AI लैब की सलाहकार बोर्ड में अपनी भूमिका के माध्यम से नीति बहसों में लगातार योगदान देती रहती हैं।