ल्यूक ज़ेटलमॉयर वाशिंगटन विश्वविद्यालय में पॉल जी. एलन स्कूल ऑफ कंप्यूटर साइंस एंड इंजीनियरिंग में प्रोफेसर और मेटा एआई में वरिष्ठ शोध वैज्ञानिक हैं। उनका शोध प्राकृतिक भाषा प्रसंस्करण (एनएलपी) पर केंद्रित है, विशेष रूप से सिमेंटिक पार्सिंग, ग्राउंडेड भाषा समझ, और बड़े भाषा मॉडल के कुशल प्रशिक्षण के तरीकों के विकास पर। वे कमजोर पर्यवेक्षित शिक्षण में योगदान और DeBERTa मॉडल आर्किटेक्चर के सह-विकास के लिए जाने जाते हैं, जिसने कई एनएलपी बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त किए।
ज़ेटलमॉयर ने 2007 में मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी से पीएच.डी. प्राप्त की, जहाँ उन्होंने माइकल कोलिन्स के मार्गदर्शन में काम किया। 2013 में वाशिंगटन विश्वविद्यालय में शामिल होने से पहले, वे इलिनोइस विश्वविद्यालय अर्बाना-शैंपेन में सहायक प्रोफेसर थे। उन्होंने माइक्रोसॉफ्ट रिसर्च और अमेज़न एआई में भी शोध पदों पर कार्य किया है।
शोध योगदान
ज़ेटलमॉयर का प्रारंभिक कार्य प्राकृतिक भाषा उच्चारणों से सिमेंटिक पार्सर सीखने पर केंद्रित था। उन्होंने कमजोर पर्यवेक्षित सिमेंटिक पार्सिंग के लिए कॉम्बिनेटरी कैटेगोरियल ग्रामर (CCG) का उपयोग पेश किया, जिससे मॉडल विस्तृत तार्किक रूपों के बजाय वाक्य-स्तरीय एनोटेशन से सीख सकते हैं। शोध की यह श्रृंखला ग्राउंडेड भाषा अधिग्रहण और प्रश्न-उत्तर प्रणालियों में बाद के कार्यों को प्रभावित करती रही।
2010 के दशक में, उन्होंने एनएलपी के लिए तंत्रिका नेटवर्क-आधारित मॉडल के विकास में योगदान दिया, जिसमें ध्यान तंत्र और मेमोरी-संवर्धित नेटवर्क पर काम शामिल है। वाशिंगटन विश्वविद्यालय में उनके समूह ने मल्टी-टास्क लर्निंग, डोमेन अनुकूलन, और अनुक्रम मॉडल के लिए कुशल अनुमान पर प्रभावशाली पेपर प्रकाशित किए।
बड़े भाषा मॉडल और मेटा एआई
मेटा एआई में, ज़ेटलमॉयर बड़े पैमाने के भाषा मॉडल पर काम करने वाली एक टीम का नेतृत्व करते हैं। वे OPT और LLaMA मॉडल परिवारों के प्रमुख योगदानकर्ता थे, जो मेटा द्वारा जारी ओपन-सोर्स बड़े भाषा मॉडल हैं। इन मॉडलों को उनके प्रतिस्पर्धी प्रदर्शन और खुली पहुंच के कारण शोधकर्ताओं और व्यवसायियों द्वारा व्यापक रूप से अपनाया गया है। ज़ेटलमॉयर का कुशल प्रशिक्षण विधियों पर काम, जैसे FlashAttention और ग्रेडिएंट चेकपॉइंटिंग, ने बड़े मॉडलों के प्रशिक्षण की कम्प्यूटेशनल लागत को कम करने में मदद की है।
वे भाषा मॉडलों की तथ्यात्मक सटीकता और तर्क क्षमताओं में सुधार के प्रयासों में भी शामिल रहे हैं, जिसमें रिट्रीवल-ऑगमेंटेड जनरेशन और चेन-ऑफ-थॉट प्रॉम्प्टिंग पर काम शामिल है।
शिक्षण और मेंटरशिप
वाशिंगटन विश्वविद्यालय में, ज़ेटलमॉयर प्राकृतिक भाषा प्रसंस्करण और मशीन लर्निंग पर स्नातक पाठ्यक्रम पढ़ाते हैं। उन्होंने कई पीएच.डी. छात्रों को सलाह दी है जो शिक्षा और उद्योग में पदों पर गए हैं, जिनमें OpenAI, गूगल डीपमाइंड, और Anthropic के शोधकर्ता शामिल हैं। उनकी मेंटरशिप शैली कठोर प्रयोग और शोध विचारों के स्पष्ट संचार पर जोर देती है।
पुरस्कार और मान्यता
ज़ेटलमॉयर को उनके शोध के लिए कई पुरस्कार मिले हैं, जिनमें नेशनल साइंस फाउंडेशन CAREER अवार्ड और स्लोअन रिसर्च फेलोशिप शामिल हैं। वे ACL और EMNLP जैसे प्रमुख एनएलपी सम्मेलनों के लिए लगातार एरिया चेयर हैं, और उन्होंने ट्रांजेक्शन्स ऑफ द एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स के संपादकीय बोर्ड में सेवा की है। उनके काम को दसियों हज़ार बार उद्धृत किया गया है, जो क्षेत्र पर इसके व्यापक प्रभाव को दर्शाता है।
चयनित प्रकाशन
उनके सबसे अधिक उद्धृत पेपरों में "DeBERTa: Decoding-enhanced BERT with Disentangled Attention" (2021) शामिल है, जिसने एक नया ध्यान तंत्र पेश किया जिसने SuperGLUE बेंचमार्क पर प्रदर्शन में सुधार किया, और "OPT: Open Pre-trained Transformer Language Models" (2022), जिसने ओपन-सोर्स भाषा मॉडलों के एक सेट के प्रशिक्षण और रिलीज़ का विवरण दिया। उन्होंने सिमेंटिक पार्सिंग पर भी प्रभावशाली काम प्रकाशित किया है, जिसमें "Learning to Map Sentences to Logical Form" (2007) और "Weakly Supervised Learning of Semantic Parsers" (2012) शामिल हैं।
ज़ेटलमॉयर एक सक्रिय शोधकर्ता बने हुए हैं, जिनकी हालिया रुचियाँ मल्टीमॉडल मॉडल और मानव मूल्यों के साथ भाषा मॉडल के संरेखण में हैं। उनका काम शैक्षणिक शोध और औद्योगिक तैनाती के बीच सेतु का काम करता है, जिससे वे कृत्रिम बुद्धिमत्ता समुदाय में एक प्रमुख व्यक्ति बन गए हैं।