Luke Zettlemoyer ist Professor an der Paul G. Allen School of Computer Science & Engineering der University of Washington und leitender Forschungswissenschaftler bei Meta AI. Seine Forschung konzentriert sich auf Natural Language Processing (NLP), insbesondere auf die Entwicklung von Methoden für semantisches Parsing, verankertes Sprachverständnis und effizientes Training von Large Language Models. Bekannt ist er für Beiträge zum schwach überwachten Lernen und für die Mitentwicklung der DeBERTa-Modellarchitektur, die auf mehreren NLP-Benchmarks Spitzenergebnisse erzielte.
Zettlemoyer promovierte 2007 am Massachusetts Institute of Technology, wo er unter der Aufsicht von Michael Collins arbeitete. Bevor er 2013 an die University of Washington wechselte, war er Assistenzprofessor an der University of Illinois at Urbana-Champaign. Zudem hatte er Forschungspositionen bei Microsoft Research und Amazon AI inne.
Forschungsbeiträge
Zettlemoyers frühe Arbeit konzentrierte sich auf das Erlernen semantischer Parser aus natürlichen Sprachäußerungen. Er führte die Verwendung kombinatorischer kategorialer Grammatiken (CCG) für schwach überwachtes semantisches Parsing ein, wodurch Modelle aus Satzebenen-Annotationen statt aus detaillierten logischen Formen lernen konnten. Diese Forschungsrichtung beeinflusste spätere Arbeiten zum verankerten Spracherwerb und zur Beantwortung von Fragen.
In den 2010er Jahren trug er zur Entwicklung neuronaler Netzwerk-basierter Modelle für NLP bei, einschließlich Arbeiten zu Aufmerksamkeitsmechanismen und speichererweiterten Netzwerken. Seine Gruppe an der University of Washington veröffentlichte einflussreiche Arbeiten zu Multi-Task-Lernen, Domänenanpassung und effizienter Inferenz für Sequenzmodelle.
Large Language Models und Meta AI
Bei Meta AI leitet Zettlemoyer ein Team, das an groß angelegten Sprachmodellen arbeitet. Er war ein wesentlicher Mitwirkender an den OPT- und LLaMA-Modellfamilien, die als Open-Source-Large-Language-Models von Meta veröffentlicht wurden. Diese Modelle wurden aufgrund ihrer konkurrenzfähigen Leistung und offenen Zugänglichkeit von Forschern und Praktikern weit verbreitet übernommen. Zettlemoyers Arbeit an effizienten Trainingsmethoden wie FlashAttention und Gradient Checkpointing hat dazu beigetragen, die Rechenkosten für das Training großer Modelle zu senken.
Er war auch an Bemühungen beteiligt, die faktische Genauigkeit und die Denkfähigkeiten von Sprachmodellen zu verbessern, einschließlich Arbeiten zur retrieval-gestützten Generierung und zum Chain-of-Thought-Prompting.
Lehre und Mentoring
An der University of Washington unterrichtet Zettlemoyer Graduiertenkurse zu Natural Language Processing und maschinellem Lernen. Er hat zahlreiche Doktoranden betreut, die anschließend Positionen in der Wissenschaft und Industrie übernommen haben, darunter Forscher bei OpenAI, Google DeepMind und Anthropic. Sein Mentoring-Stil betont rigorose Experimente und klare Kommunikation von Forschungsideen.
Auszeichnungen und Anerkennung
Zettlemoyer hat mehrere Auszeichnungen für seine Forschung erhalten, darunter einen National Science Foundation CAREER Award und ein Sloan Research Fellowship. Er ist häufiger Bereichsvorsitzender für große NLP-Konferenzen wie ACL und EMNLP und war im Redaktionsausschuss der Transactions of the Association for Computational Linguistics tätig. Seine Arbeit wurde zehntausende Male zitiert, was ihren breiten Einfluss auf das Feld widerspiegelt.
Ausgewählte Veröffentlichungen
Zu seinen am häufigsten zitierten Arbeiten gehören „DeBERTa: Decoding-enhanced BERT with Disentangled Attention“ (2021), das einen neuartigen Aufmerksamkeitsmechanismus einführte, der die Leistung auf dem SuperGLUE-Benchmark verbesserte, und „OPT: Open Pre-trained Transformer Language Models“ (2022), das das Training und die Veröffentlichung einer Suite von Open-Source-Sprachmodellen detailliert beschrieb. Er hat auch einflussreiche Arbeiten zum semantischen Parsing veröffentlicht, darunter „Learning to Map Sentences to Logical Form“ (2007) und „Weakly Supervised Learning of Semantic Parsers“ (2012).
Zettlemoyer bleibt ein aktiver Forscher mit jüngsten Interessen an multimodalen Modellen und der Ausrichtung von Sprachmodellen an menschlichen Werten. Seine Arbeit verbindet akademische Forschung mit industrieller Bereitstellung und macht ihn zu einer prominenten Figur in der Künstliche-Intelligenz-Gemeinschaft.