Noah Smith es profesor en la Escuela Paul G. Allen de Ciencias de la Computación e Ingeniería de la Universidad de Washington, donde lidera investigaciones en procesamiento del lenguaje natural (NLP). Es reconocido por sus contribuciones al aprendizaje automático y al aprendizaje profundo, particularmente en el desarrollo y evaluación de modelos de lenguaje de gran tamaño. Antes de unirse al cuerpo docente, trabajó como investigador principal en el Instituto Allen para la IA (AI2), donde contribuyó a proyectos sobre análisis semántico e interpretabilidad de modelos.
Smith obtuvo su doctorado en ciencias de la computación en la Universidad de Maryland en 2006, bajo la supervisión de Philip Resnik. Su tesis doctoral, "Adaptation of Statistical Machine Translation Models", sentó las bases para trabajos posteriores en adaptación de dominios y predicción estructurada. Posteriormente ocupó un puesto postdoctoral en la Universidad de Toronto antes de convertirse en profesor asistente en la Universidad Carnegie Mellon en 2007.
Contribuciones a la investigación
Los primeros trabajos de Smith se centraron en la traducción automática estadística y el análisis sintáctico. Coescribió el artículo "Discriminative Training and Maximum Entropy Models for Statistical Machine Translation" (2006), que introdujo un marco discriminativo que mejoró la calidad de la traducción. En 2011, publicó "Structured Sparsity and the Generalization of the LASSO" con su estudiante, lo que avanzó la teoría de la escasez en el aprendizaje de alta dimensión.
Una parte significativa de su carrera se ha dedicado a los métodos de red neuronal. Su artículo de 2016 "A Convolutional Neural Network for Modelling Sentences" (con Yejin Choi y otros) demostró cómo las CNN podían capturar semántica composicional. También trabajó en arquitecturas de transformador, contribuyendo al estudio de 2018 "Deep Contextualized Word Representations" (con Matthew Peters y colegas), que introdujo ELMo, un modelo que influyó en los posteriores modelos de lenguaje de gran tamaño como BERT.
Trabajo en AI2 y la Universidad de Washington
De 2014 a 2019, Smith ocupó un nombramiento conjunto en AI2, donde dirigió el equipo de Semantic Scholar. Bajo su guía, Semantic Scholar se convirtió en un motor de búsqueda académica ampliamente utilizado que emplea NLP para extraer datos estructurados de artículos científicos. También contribuyó al proyecto Aristo de AI2, que tenía como objetivo responder preguntas de exámenes de ciencias, y a la biblioteca AllenNLP, un conjunto de herramientas de NLP de código abierto que ha sido adoptado en la investigación y la educación.
En la Universidad de Washington, Smith ha supervisado a numerosos estudiantes de doctorado que han pasado a ocupar puestos destacados en el ámbito académico y la industria. También ha participado en el desarrollo de la comunidad de investigación afiliada a OpenAI, aunque mantiene una postura académica independiente. Su enseñanza incluye cursos de posgrado sobre NLP y aprendizaje profundo, y ha formado parte de comités de programas de conferencias importantes como ACL, EMNLP y NeurIPS.
Premios y reconocimientos
Smith recibió un Premio CAREER de la Fundación Nacional de Ciencias en 2010 por su investigación sobre predicción estructurada. En 2017, fue nombrado miembro de la ACL por sus contribuciones al NLP estadístico y la traducción automática. También ha sido reconocido con premios al mejor artículo en ACL 2013 y EMNLP 2015, y su trabajo sobre ELMo formó parte del mejor artículo de NAACL 2018. En 2020, fue elegido para la junta de la Asociación de Lingüística Computacional.
Direcciones recientes
En los últimos años, Smith se ha centrado en las implicaciones sociales de la IA generativa. Ha publicado análisis sobre la fiabilidad y el sesgo de los modelos de lenguaje de gran tamaño, incluido un artículo de 2023 en la revista Nature Machine Intelligence titulado "Challenges in Evaluating Large Language Models". También ha abogado por prácticas de investigación abiertas, publicando código y conjuntos de datos para sus proyectos. A partir de 2024, continúa enseñando y liderando el grupo de NLP de la UW, que colabora con laboratorios industriales como Google DeepMind y Anthropic en investigación sobre interpretabilidad.
Publicaciones seleccionadas
- Smith, N. A. (2006). Adaptation of Statistical Machine Translation Models. Tesis doctoral, Universidad de Maryland.
- Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Smith, N. A. (2018). Deep Contextualized Word Representations. NAACL-HLT.
- Smith, N. A. (2011). Structured Sparsity and the Generalization of the LASSO. AISTATS.
- Smith, N. A., & Eisner, J. (2006). Discriminative Training and Maximum Entropy Models for Statistical Machine Translation. ACL.