Noah Smith ist Professor an der Paul G. Allen School of Computer Science & Engineering der University of Washington, wo er Forschung im Bereich der Verarbeitung natürlicher Sprache (NLP) leitet. Er ist bekannt für Beiträge zum maschinellen Lernen und Deep Learning, insbesondere bei der Entwicklung und Evaluierung großer Sprachmodelle. Bevor er in den Lehrkörper eintrat, arbeitete er als leitender Forscher am Allen Institute for AI (AI2), wo er an Projekten zur semantischen Analyse und Modellinterpretierbarkeit mitwirkte.
Smith promovierte 2006 in Informatik an der University of Maryland unter der Betreuung von Philip Resnik. Seine Doktorarbeit "Adaptation of Statistical Machine Translation Models" legte das Fundament für spätere Arbeiten in den Bereichen Domänenanpassung und strukturierte Vorhersage. Anschließend hatte er eine Postdoktorandenstelle an der University of Toronto inne, bevor er 2007 Assistenzprofessor an der Carnegie Mellon University wurde.
Forschungsbeiträge
Smiths frühe Arbeit konzentrierte sich auf statistische maschinelle Übersetzung und syntaktisches Parsing. Er war Mitautor des Papers "Discriminative Training and Maximum Entropy Models for Statistical Machine Translation" (2006), das ein diskriminatives Framework einführte, das die Übersetzungsqualität verbesserte. 2011 veröffentlichte er mit seinem Studenten "Structured Sparsity and the Generalization of the LASSO", das die Theorie der Sparsität im hochdimensionalen Lernen voranbrachte.
Ein bedeutender Teil seiner Karriere war neuralen Netzwerk-Methoden gewidmet. Sein Paper von 2016, "A Convolutional Neural Network for Modelling Sentences" (mit Yejin Choi und anderen), zeigte, wie CNNs kompositionale Semantik erfassen können. Er arbeitete auch an Transformer-Architekturen und trug zur Studie "Deep Contextualized Word Representations" von 2018 (mit Matthew Peters und Kollegen) bei, die ELMo einführte, ein Modell, das spätere große Sprachmodelle wie BERT beeinflusste.
Arbeit bei AI2 und der University of Washington
Von 2014 bis 2019 hatte Smith eine gemeinsame Anstellung bei AI2, wo er das Semantic-Scholar-Team leitete. Unter seiner Führung entwickelte sich Semantic Scholar zu einer weit verbreiteten akademischen Suchmaschine, die NLP einsetzt, um strukturierte Daten aus wissenschaftlichen Papers zu extrahieren. Er trug auch zum Aristo-Projekt von AI2 bei, das darauf abzielte, naturwissenschaftliche Prüfungsfragen zu beantworten, sowie zur AllenNLP-Bibliothek, einem Open-Source-NLP-Toolkit, das in Forschung und Lehre übernommen wurde.
An der University of Washington hat Smith zahlreiche Doktoranden betreut, die später prominente Positionen in Wissenschaft und Industrie übernahmen. Er war auch an der Entwicklung der mit OpenAI verbundenen Forschungsgemeinschaft beteiligt, behält jedoch eine unabhängige akademische Haltung bei. Seine Lehre umfasst Graduiertenkurse zu NLP und Deep Learning, und er war in Programmkomitees großer Konferenzen wie ACL, EMNLP und NeurIPS tätig.
Auszeichnungen und Anerkennung
Smith erhielt 2010 einen CAREER Award der National Science Foundation für seine Forschung zur strukturierten Vorhersage. 2017 wurde er zum ACL Fellow ernannt für seine Beiträge zur statistischen NLP und maschinellen Übersetzung. Er wurde außerdem mit Best-Paper-Awards bei ACL 2013 und EMNLP 2015 ausgezeichnet, und seine Arbeit zu ELMo war Teil des Best-Paper-Preises der NAACL 2018. 2020 wurde er in den Vorstand der Association for Computational Linguistics gewählt.
Aktuelle Forschungsrichtungen
In den letzten Jahren hat sich Smith auf die gesellschaftlichen Auswirkungen von generativer KI konzentriert. Er hat Analysen zur Zuverlässigkeit und Verzerrung von großen Sprachmodellen veröffentlicht, darunter ein Paper von 2023 in der Zeitschrift Nature Machine Intelligence mit dem Titel "Challenges in Evaluating Large Language Models". Er hat sich auch für offene Forschungspraktiken eingesetzt und Code und Datensätze für seine Projekte veröffentlicht. Seit 2024 lehrt und leitet er weiterhin die UW-NLP-Gruppe, die mit Industrielabors wie Google DeepMind und Anthropic an Interpretierbarkeitsforschung zusammenarbeitet.
Ausgewählte Veröffentlichungen
- Smith, N. A. (2006). Adaptation of Statistical Machine Translation Models. PhD thesis, University of Maryland.
- Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Smith, N. A. (2018). Deep Contextualized Word Representations. NAACL-HLT.
- Smith, N. A. (2011). Structured Sparsity and the Generalization of the LASSO. AISTATS.
- Smith, N. A., & Eisner, J. (2006). Discriminative Training and Maximum Entropy Models for Statistical Machine Translation. ACL.