Luke Zettlemoyer es profesor en la Escuela de Ciencias de la Computación e Ingeniería Paul G. Allen de la Universidad de Washington e investigador científico senior en Meta AI. Su investigación se centra en el procesamiento del lenguaje natural (NLP), particularmente en el desarrollo de métodos para el análisis semántico, la comprensión del lenguaje fundamentado y el entrenamiento eficiente de grandes modelos de lenguaje. Es conocido por sus contribuciones al aprendizaje débilmente supervisado y por co-desarrollar la arquitectura del modelo DeBERTa, que logró resultados de vanguardia en varios puntos de referencia de NLP.
Zettlemoyer recibió su doctorado del Instituto de Tecnología de Massachusetts en 2007, donde trabajó bajo la supervisión de Michael Collins. Antes de unirse a la Universidad de Washington en 2013, fue profesor asistente en la Universidad de Illinois en Urbana-Champaign. También ha ocupado puestos de investigación en Microsoft Research y Amazon AI.
Contribuciones de Investigación
El trabajo temprano de Zettlemoyer se centró en aprender analizadores semánticos a partir de expresiones en lenguaje natural. Introdujo el uso de gramáticas categoriales combinatorias (CCG) para el análisis semántico débilmente supervisado, permitiendo que los modelos aprendieran de anotaciones a nivel de oración en lugar de formas lógicas detalladas. Esta línea de investigación influyó en trabajos posteriores sobre adquisición de lenguaje fundamentado y respuesta a preguntas.
En la década de 2010, contribuyó al desarrollo de modelos basados en redes neuronales para NLP, incluido el trabajo sobre mecanismos de atención y redes aumentadas con memoria. Su grupo en la Universidad de Washington produjo artículos influyentes sobre aprendizaje multitarea, adaptación de dominio e inferencia eficiente para modelos de secuencias.
Grandes Modelos de Lenguaje y Meta AI
En Meta AI, Zettlemoyer lidera un equipo que trabaja en modelos de lenguaje a gran escala. Fue un contribuyente clave en las familias de modelos OPT y LLaMA, que son grandes modelos de lenguaje de código abierto publicados por Meta. Estos modelos han sido ampliamente adoptados por investigadores y profesionales debido a su rendimiento competitivo y accesibilidad abierta. El trabajo de Zettlemoyer sobre métodos de entrenamiento eficiente, como FlashAttention y el checkpointing de gradientes, ha ayudado a reducir el costo computacional del entrenamiento de modelos grandes.
También ha participado en esfuerzos para mejorar la precisión factual y las capacidades de razonamiento de los modelos de lenguaje, incluido el trabajo sobre generación aumentada por recuperación y el prompting de cadena de pensamiento.
Enseñanza y Mentoría
En la Universidad de Washington, Zettlemoyer imparte cursos de posgrado sobre procesamiento del lenguaje natural y aprendizaje automático. Ha asesorado a numerosos estudiantes de doctorado que han pasado a ocupar puestos en la academia y la industria, incluidos investigadores en OpenAI, Google DeepMind y Anthropic. Su estilo de mentoría enfatiza la experimentación rigurosa y la comunicación clara de las ideas de investigación.
Premios y Reconocimientos
Zettlemoyer ha recibido varios premios por su investigación, incluido un Premio CAREER de la Fundación Nacional de Ciencias y una Beca de Investigación Sloan. Es presidente de área frecuente en conferencias importantes de NLP como ACL y EMNLP, y ha servido en el consejo editorial de Transactions of the Association for Computational Linguistics. Su trabajo ha sido citado decenas de miles de veces, lo que refleja su amplio impacto en el campo.
Publicaciones Seleccionadas
Entre sus artículos más citados se encuentran "DeBERTa: Decoding-enhanced BERT with Disentangled Attention" (2021), que introdujo un mecanismo de atención novedoso que mejoró el rendimiento en el punto de referencia SuperGLUE, y "OPT: Open Pre-trained Transformer Language Models" (2022), que detalló el entrenamiento y la publicación de un conjunto de modelos de lenguaje de código abierto. También ha publicado trabajos influyentes sobre análisis semántico, incluidos "Learning to Map Sentences to Logical Form" (2007) y "Weakly Supervised Learning of Semantic Parsers" (2012).
Zettlemoyer continúa siendo un investigador activo, con intereses recientes en modelos multimodales y la alineación de modelos de lenguaje con valores humanos. Su trabajo une la investigación académica y el despliegue industrial, convirtiéndolo en una figura prominente en la comunidad de inteligencia artificial.