Noah Smith est professeur à la Paul G. Allen School of Computer Science & Engineering de l'Université de Washington, où il dirige des recherches en traitement automatique des langues (TAL). Il est reconnu pour ses contributions à l'apprentissage automatique et à l'apprentissage profond, en particulier dans le développement et l'évaluation des grands modèles de langage. Avant de rejoindre le corps professoral, il a travaillé comme chercheur senior à l'Allen Institute for AI (AI2), où il a contribué à des projets sur l'analyse sémantique et l'interprétabilité des modèles.
Smith a obtenu son doctorat en informatique à l'Université du Maryland en 2006, sous la supervision de Philip Resnik. Sa thèse de doctorat, « Adaptation of Statistical Machine Translation Models », a jeté les bases de travaux ultérieurs sur l'adaptation de domaine et la prédiction structurée. Il a ensuite occupé un poste postdoctoral à l'Université de Toronto avant de devenir professeur assistant à l'Université Carnegie Mellon en 2007.
Contributions à la recherche
Les premiers travaux de Smith se sont concentrés sur la traduction automatique statistique et l'analyse syntaxique. Il a co-écrit l'article « Discriminative Training and Maximum Entropy Models for Statistical Machine Translation » (2006), qui a introduit un cadre discriminatif améliorant la qualité de la traduction. En 2011, il a publié « Structured Sparsity and the Generalization of the LASSO » avec son étudiant, ce qui a fait progresser la théorie de la parcimonie dans l'apprentissage en haute dimension.
Une partie significative de sa carrière a été dédiée aux méthodes de réseaux de neurones. Son article de 2016 « A Convolutional Neural Network for Modelling Sentences » (avec Yejin Choi et d'autres) a démontré comment les CNN pouvaient capturer la sémantique compositionnelle. Il a également travaillé sur les architectures transformers, contribuant à l'étude de 2018 « Deep Contextualized Word Representations » (avec Matthew Peters et ses collègues), qui a introduit ELMo, un modèle ayant influencé les grands modèles de langage ultérieurs comme BERT.
Travail à AI2 et à l'Université de Washington
De 2014 à 2019, Smith a occupé un poste conjoint à AI2, où il a dirigé l'équipe Semantic Scholar. Sous sa direction, Semantic Scholar est devenu un moteur de recherche académique largement utilisé qui emploie le TAL pour extraire des données structurées d'articles scientifiques. Il a également contribué au projet Aristo d'AI2, visant à répondre à des questions d'examens scientifiques, et à la bibliothèque AllenNLP, un outil de TAL open source adopté dans la recherche et l'enseignement.
À l'Université de Washington, Smith a supervisé de nombreux étudiants en doctorat qui ont ensuite occupé des postes éminents dans le monde académique et l'industrie. Il a également participé au développement de la communauté de recherche affiliée à OpenAI, bien qu'il maintienne une position académique indépendante. Son enseignement comprend des cours de troisième cycle sur le TAL et l'apprentissage profond, et il a siégé dans des comités de programme pour des conférences majeures telles que ACL, EMNLP et NeurIPS.
Prix et reconnaissance
Smith a reçu un prix CAREER de la National Science Foundation en 2010 pour ses recherches sur la prédiction structurée. En 2017, il a été nommé membre de l'ACL pour ses contributions au TAL statistique et à la traduction automatique. Il a également été récompensé par des prix du meilleur article à ACL 2013 et EMNLP 2015, et son travail sur ELMo a fait partie du meilleur article de NAACL 2018. En 2020, il a été élu au conseil de l'Association for Computational Linguistics.
Orientations récentes
Ces dernières années, Smith s'est concentré sur les implications sociétales de l'IA générative. Il a publié des analyses sur la fiabilité et les biais des grands modèles de langage, y compris un article de 2023 dans la revue Nature Machine Intelligence intitulé « Challenges in Evaluating Large Language Models ». Il a également plaidé pour des pratiques de recherche ouvertes, publiant le code et les ensembles de données de ses projets. En 2024, il continue d'enseigner et de diriger le groupe TAL de l'UW, qui collabore avec des laboratoires industriels tels que Google DeepMind et Anthropic sur la recherche en interprétabilité.
Publications sélectionnées
- Smith, N. A. (2006). Adaptation of Statistical Machine Translation Models. Thèse de doctorat, Université du Maryland.
- Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Smith, N. A. (2018). Deep Contextualized Word Representations. NAACL-HLT.
- Smith, N. A. (2011). Structured Sparsity and the Generalization of the LASSO. AISTATS.
- Smith, N. A., & Eisner, J. (2006). Discriminative Training and Maximum Entropy Models for Statistical Machine Translation. ACL.