Luke Zettlemoyer é professor na Paul G. Allen School of Computer Science & Engineering da Universidade de Washington e cientista sênior de pesquisa na Meta AI. Sua pesquisa concentra-se em processamento de linguagem natural (PLN), particularmente no desenvolvimento de métodos para parsing semântico, compreensão de linguagem fundamentada e treinamento eficiente de modelos de linguagem de grande porte. Ele é conhecido por suas contribuições ao aprendizado fracamente supervisionado e por co-desenvolver a arquitetura do modelo DeBERTa, que alcançou resultados de última geração em vários benchmarks de PLN.
Zettlemoyer recebeu seu Ph.D. pelo Instituto de Tecnologia de Massachusetts (MIT) em 2007, sob a supervisão de Michael Collins. Antes de ingressar na Universidade de Washington em 2013, foi professor assistente na Universidade de Illinois em Urbana-Champaign. Ele também ocupou cargos de pesquisa na Microsoft Research e na Amazon AI.
Contribuições de Pesquisa
O trabalho inicial de Zettlemoyer focou no aprendizado de parsers semânticos a partir de enunciados em linguagem natural. Ele introduziu o uso de gramáticas categóricas combinatórias (CCG) para parsing semântico fracamente supervisionado, permitindo que modelos aprendessem a partir de anotações em nível de frase, em vez de formas lógicas detalhadas. Essa linha de pesquisa influenciou trabalhos subsequentes em aquisição de linguagem fundamentada e resposta a perguntas.
Na década de 2010, ele contribuiu para o desenvolvimento de modelos baseados em redes neurais para PLN, incluindo trabalhos sobre mecanismos de atenção e redes com memória aumentada. Seu grupo na Universidade de Washington produziu artigos influentes sobre aprendizado multitarefa, adaptação de domínio e inferência eficiente para modelos sequenciais.
Modelos de Linguagem de Grande Porte e Meta AI
Na Meta AI, Zettlemoyer lidera uma equipe que trabalha em modelos de linguagem de grande porte em escala massiva. Ele foi um contribuidor-chave para as famílias de modelos OPT e LLaMA, que são modelos de linguagem de grande porte de código aberto lançados pela Meta. Esses modelos foram amplamente adotados por pesquisadores e profissionais devido ao seu desempenho competitivo e acessibilidade aberta. O trabalho de Zettlemoyer em métodos de treinamento eficientes, como FlashAttention e checkpointing de gradientes, ajudou a reduzir o custo computacional do treinamento de modelos grandes.
Ele também esteve envolvido em esforços para melhorar a precisão factual e as capacidades de raciocínio dos modelos de linguagem, incluindo trabalhos sobre geração aumentada por recuperação e prompting de cadeia de pensamento.
Ensino e Orientação
Na Universidade de Washington, Zettlemoyer ministra cursos de pós-graduação sobre processamento de linguagem natural e aprendizado de máquina. Ele orientou vários estudantes de doutorado que seguiram carreiras na academia e na indústria, incluindo pesquisadores na OpenAI, Google DeepMind e Anthropic. Seu estilo de orientação enfatiza a experimentação rigorosa e a comunicação clara de ideias de pesquisa.
Prêmios e Reconhecimento
Zettlemoyer recebeu vários prêmios por sua pesquisa, incluindo o Prêmio CAREER da National Science Foundation e uma Bolsa de Pesquisa Sloan. Ele é frequentemente presidente de sessão em conferências importantes de PLN, como ACL e EMNLP, e atuou no conselho editorial da Transactions of the Association for Computational Linguistics. Seu trabalho foi citado dezenas de milhares de vezes, refletindo seu amplo impacto no campo.
Publicações Selecionadas
Entre seus artigos mais citados estão "DeBERTa: Decoding-enhanced BERT with Disentangled Attention" (2021), que introduziu um mecanismo de atenção inovador que melhorou o desempenho no benchmark SuperGLUE, e "OPT: Open Pre-trained Transformer Language Models" (2022), que detalhou o treinamento e o lançamento de uma suíte de modelos de linguagem de código aberto. Ele também publicou trabalhos influentes sobre parsing semântico, incluindo "Learning to Map Sentences to Logical Form" (2007) e "Weakly Supervised Learning of Semantic Parsers" (2012).
Zettlemoyer continua sendo um pesquisador ativo, com interesses recentes em modelos multimodais e no alinhamento de modelos de linguagem com valores humanos. Seu trabalho faz a ponte entre a pesquisa acadêmica e a aplicação industrial, tornando-o uma figura proeminente na comunidade de inteligência artificial.