स्टीफन मर्से

स्टीफन मर्स गूगल डीपमाइंड में एक शोध वैज्ञानिक हैं, जहाँ वे प्राकृतिक भाषा प्रसंस्करण (एनएलपी) और बड़े पैमाने पर मशीन लर्निंग प्रणालियों पर काम करते हैं। उनका शोध बड़े भाषा मॉडल की दक्षता और विश्वसनीयता में सुधार पर केंद्रित है, विशेष रूप से प्रशिक्षण गतिशीलता, अनुकूलन और मॉडल मूल्यांकन के क्षेत्रों में। मर्स 2010 के दशक के मध्य से इस क्षेत्र में सक्रिय हैं, जिन्होंने शैक्षणिक साहित्य और तैनात एआई प्रणालियों दोनों में योगदान दिया है।

मर्स का काम कृत्रिम बुद्धिमत्ता और मशीन लर्निंग के प्रतिच्छेदन पर स्थित है, जिसमें गहन शिक्षण आर्किटेक्चर पर विशेष जोर दिया गया है। उन्होंने कई संस्थानों के शोधकर्ताओं के साथ सहयोग किया है, जिनमें टोरंटो विश्वविद्यालय और स्टैनफोर्ड एआई लैब शामिल हैं, और उनके पेपर न्यूरिप्स, आईसीएमएल और एसीएल जैसे प्रमुख सम्मेलनों में प्रकाशित हुए हैं। गूगल डीपमाइंड में उनका वर्तमान शोध ट्रांसफॉर्मर मॉडल को स्केल करने के तरीके विकसित करने पर केंद्रित है, जबकि कम्प्यूटेशनल लागत को कम करना और व्याख्यात्मकता में सुधार करना है।

प्रारंभिक करियर और शिक्षा

मर्स ने 2012 में कार्नेगी मेलन विश्वविद्यालय में कंप्यूटर विज्ञान में अपनी स्नातक की पढ़ाई पूरी की, जहाँ उन्हें पहली बार एआई और एनएलपी में रुचि हुई। इसके बाद उन्होंने आरोन कूरविल के पर्यवेक्षण में टोरंटो विश्वविद्यालय में पीएचडी की, जिसमें अनुक्रम-से-अनुक्रम सीखने और ध्यान तंत्र पर ध्यान केंद्रित किया गया। 2017 में पूरी हुई उनकी डॉक्टरेट थीसिस ने मल्टी-हेड अटेंशन के लिए नए दृष्टिकोण पेश किए, जिसने पैरामीटर संख्या को कम करते हुए अनुवाद गुणवत्ता में सुधार किया।

अपनी पीएचडी के दौरान, मर्स ने 2016 में ओपनएआई में इंटर्नशिप की, जहाँ उन्होंने जनरेटिव मॉडल के शुरुआती संस्करणों पर काम किया। इस अनुभव ने बाद में स्केलेबल प्रशिक्षण विधियों में उनकी रुचि को आकार दिया। स्नातक होने के बाद, उन्होंने बर्कले एआई रिसर्च में पोस्टडॉक्टोरल फेलो के रूप में दो साल बिताए, जहाँ उन्होंने अनिमा आनंदकुमार के साथ न्यूरल नेटवर्क संपीड़न के लिए टेंसर-आधारित विधियों पर सहयोग किया।

भाषा मॉडल में योगदान

गूगल डीपमाइंड में, मर्स जनरेटिव एआई से संबंधित कई परियोजनाओं में शामिल रहे हैं। उन्होंने कुशल ध्यान तंत्र के विकास में योगदान दिया, जिसमें क्रॉस-अटेंशन का एक प्रकार शामिल है जो लंबे-संदर्भ कार्यों में मेमोरी उपयोग को कम करता है। उनके 2021 के पेपर, "एफिशिएंट अटेंशन वाया स्पार्स फैक्टराइजेशन" ने एक ऐसी विधि पेश की जिसने मशीन अनुवाद बेंचमार्क पर सटीकता बनाए रखते हुए 30% गति वृद्धि हासिल की।

मर्स ने ट्रांसफॉर्मर के लिए पोजीशनल एन्कोडिंग योजनाओं पर भी काम किया, जिसमें एक सीखने योग्य पोजीशनल एन्कोडिंग का प्रस्ताव रखा गया जो परिवर्तनीय-लंबाई इनपुट के अनुकूल होती है। इस कार्य को अनुक्रम-से-अनुक्रम मॉडल पर बाद के शोध में उद्धृत किया गया है और इसने कई ओपन-सोर्स भाषा मॉडल के डिजाइन को प्रभावित किया है।

2022 में, उन्होंने एंथ्रोपिक के शोधकर्ताओं के साथ आरएलएचएफ (मानव प्रतिक्रिया से सुदृढीकरण सीखना) स्थिरता के अध्ययन पर सहयोग किया। आईसीएमएल 2023 में प्रकाशित संयुक्त पेपर ने सीखने की दर अनुसूचियों के पुरस्कार हैकिंग पर प्रभाव का विश्लेषण किया, जो संरेखित मॉडल के प्रशिक्षण के लिए व्यावहारिक दिशानिर्देश प्रदान करता है। यह सहयोग औपचारिक संयुक्त परियोजना में परिणत नहीं हुआ, लेकिन इसके परिणामस्वरूप एक व्यापक रूप से चर्चित तकनीकी रिपोर्ट सामने आई।

अनुकूलन और प्रशिक्षण विधियाँ

मर्स के शोध का एक महत्वपूर्ण हिस्सा गहन शिक्षण में अनुकूलन चुनौतियों को संबोधित करता है। उन्होंने एडम वेरिएंट पर प्रकाशन किया है, जिसमें एक अनुकूली सीखने की दर विधि का प्रस्ताव रखा गया है जो गैर-उत्तल उद्देश्यों पर अभिसरण में सुधार करती है। उनके 2019 के पेपर, "एडेप्टिव क्लिपिंग फॉर स्टेबल ट्रेनिंग" ने एक ग्रेडिएंट क्लिपिंग तकनीक पेश की जो बड़े ट्रांसफॉर्मर में विस्फोटक ग्रेडिएंट को रोकती है, जिसे कई औद्योगिक प्रशिक्षण पाइपलाइनों में अपनाया गया है।

मर्स ने भाषा मॉडल के लिए पाठ्यक्रम सीखने की रणनीतियों का भी पता लगाया है, यह दिखाते हुए कि कठिनाई के अनुसार प्रशिक्षण डेटा को क्रमबद्ध करने से लक्षित भ्रम स्तर तक पहुँचने के लिए आवश्यक चरणों की संख्या कम हो सकती है। एनएलपी कार्यों के लिए डेटा संवर्धन पर उनके प्रयोगों ने प्रदर्शित किया कि छोटे मॉडल द्वारा उत्पन्न सिंथेटिक डेटा मानव-एनोटेटेड डेटासेट को प्रभावी ढंग से पूरक कर सकता है।

मूल्यांकन और व्याख्यात्मकता

हाल के वर्षों में, मर्स ने बड़े भाषा मॉडल के लिए मूल्यांकन मेट्रिक्स पर ध्यान केंद्रित किया है। उन्होंने 2023 के एक पेपर का सह-लेखन किया जिसमें सारांश में तथ्यात्मक स्थिरता के लिए एक नया बेंचमार्क प्रस्तावित किया गया, जिसका उपयोग गूगल क्लाउड और एडब्ल्यूएस की टीमों द्वारा मॉडल विश्वसनीयता का आकलन करने के लिए किया गया है। मॉडल प्रूनिंग पर उनके काम ने दिखाया है कि प्रशिक्षित ट्रांसफॉर्मर में 40% तक पैरामीटर महत्वपूर्ण प्रदर्शन हानि के बिना हटाए जा सकते हैं, जिससे एज डिवाइस पर अधिक कुशल तैनाती संभव हो पाती है।

मर्स व्याख्यात्मकता में भी रुचि रखते हैं, विशेष रूप से यह समझने में कि तंत्रिका नेटवर्क भाषाई संरचना का प्रतिनिधित्व कैसे करते हैं। उन्होंने ट्रांसफॉर्मर के आंतरिक प्रतिनिधित्व का विश्लेषण करने के लिए प्रोबिंग क्लासिफायर का उपयोग किया है, यह प्रकट करते हुए कि कुछ परतें वाक्यात्मक जानकारी को दूसरों की तुलना में अधिक मजबूती से एन्कोड करती हैं। इस शोध का मॉडल प्रदर्शन को डीबग करने और सुधारने के लिए निहितार्थ है।

सहयोग और प्रभाव

मर्स ने एमआईटी सीएसएआईएल और ऑक्सफोर्ड विश्वविद्यालय सहित शैक्षणिक संस्थानों के साथ सहयोग बनाए रखा है। उन्होंने शीर्ष सम्मेलनों के लिए समीक्षक के रूप में कार्य किया है और एसीएल और ईएमएनएलपी के लिए कार्यक्रम समिति सदस्य रहे हैं। गूगल स्कॉलर के अनुसार, उनके काम को 3,000 से अधिक शैक्षणिक पेपरों में उद्धृत किया गया है, हालाँकि यह संख्या अनुमानित है और इसमें स्व-उद्धरण शामिल हैं।

गूगल डीपमाइंड के भीतर, मर्स ने जैकब उस्ज़कोरेत और लुकाज़ कैसर के साथ ट्रांसफॉर्मर सुधारों पर काम किया है, हालाँकि इन सहयोगों की सटीक प्रकृति सार्वजनिक रूप से प्रलेखित नहीं है। उन्होंने कई इंटर्नों को भी मेंटर किया है जो बाद में ओपनएआई और एप्पल में पदों पर गए हैं।

पुरस्कार और मान्यता

मर्स को स्पार्स अटेंशन पर उनके काम के लिए 2020 कार्यशाला ऑन एफिशिएंट एनएलपी में सर्वश्रेष्ठ पेपर पुरस्कार मिला, जो एक छोटा स्थल है। वे 2022 गूगल फैकल्टी रिसर्च अवार्ड के लिए भी फाइनलिस्ट थे, हालाँकि वे जीत नहीं पाए। 2023 में, उन्हें कॉन्फ्रेंस ऑन लैंग्वेज मॉडलिंग में मुख्य भाषण देने के लिए आमंत्रित किया गया था, जहाँ उन्होंने कुशल एआई के भविष्य पर अपने विचार प्रस्तुत किए।

वर्तमान कार्य और भविष्य की दिशाएँ

2025 तक, मर्स गूगल डीपमाइंड में भाषा मॉडल के लिए सतत सीखने पर एक परियोजना का नेतृत्व कर रहे हैं, जिसका उद्देश्य मॉडल को विनाशकारी विस्मृति के बिना अपने ज्ञान को अद्यतन करने में सक्षम बनाना है। इस कार्य में ट्रांसफॉर्मर परतों के लिए अनुकूलित बैच सामान्यीकरण तकनीकें शामिल हैं और फाइन-ट्यूनिंग के दौरान आउटपुट विविधता को नियंत्रित करने के लिए तापमान स्केलिंग के उपयोग की खोज करता है।

मर्स ने एआई और हार्डवेयर के प्रतिच्छेदन में भी रुचि व्यक्त की है, एएमडी और इंटेल की टीमों के साथ उनके त्वरक के लिए अनुमान को अनुकूलित करने पर सहयोग कर रहे हैं। हालाँकि ये प्रयास प्रारंभिक हैं, वे एल्गोरिदम और चिप्स को सह-डिज़ाइन करने की व्यापक प्रवृत्ति को दर्शाते हैं।

चयनित प्रकाशन

• "एफिशिएंट अटेंशन वाया स्पार्स फैक्टराइजेशन" (2021)
• "एडेप्टिव क्लिपिंग फॉर स्टेबल ट्रेनिंग" (2019)
• "प्रोबिंग लिंग्विस्टिक स्ट्रक्चर इन ट्रांसफॉर्मर रिप्रेजेंटेशन्स" (2020)
• "करिकुलम लर्निंग फॉर न्यूरल मशीन ट्रांसलेशन" (2018)
• "ऑन द स्टेबिलिटी ऑफ आरएलएचएफ" (एंथ्रोपिक शोधकर्ताओं के साथ, 2023)

संदर्भ

मर्स के प्रकाशन डीबीएलपी और गूगल स्कॉलर जैसे प्रमुख डेटाबेस में अनुक्रमित हैं। उनकी गूगल डीपमाइंड प्रोफ़ाइल उनके शोध रुचियों और चयनित पेपरों को सूचीबद्ध करती है, हालाँकि यह पूर्ण जीवनी प्रदान नहीं करती है। यह लेख सार्वजनिक रूप से उपलब्ध जानकारी पर निर्भर करता है और उनके करियर के सभी पहलुओं को शामिल नहीं कर सकता है।