Noah Smith é professor na Paul G. Allen School of Computer Science & Engineering da Universidade de Washington, onde lidera pesquisas em processamento de linguagem natural (PLN). Ele é reconhecido por suas contribuições para aprendizado de máquina e aprendizado profundo, particularmente no desenvolvimento e avaliação de grandes modelos de linguagem. Antes de ingressar no corpo docente, trabalhou como pesquisador sênior no Allen Institute for AI (AI2), onde contribuiu para projetos sobre parsing semântico e interpretabilidade de modelos.
Smith obteve seu doutorado em ciência da computação pela Universidade de Maryland em 2006, sob a supervisão de Philip Resnik. Sua tese de doutorado, "Adaptation of Statistical Machine Translation Models", estabeleceu as bases para trabalhos posteriores em adaptação de domínio e predição estruturada. Posteriormente, ocupou uma posição de pós-doutorado na Universidade de Toronto antes de se tornar professor assistente na Universidade Carnegie Mellon em 2007.
Contribuições de Pesquisa
Os primeiros trabalhos de Smith focaram em tradução automática estatística e parsing sintático. Ele foi coautor do artigo "Discriminative Training and Maximum Entropy Models for Statistical Machine Translation" (2006), que introduziu uma estrutura discriminativa que melhorou a qualidade da tradução. Em 2011, publicou "Structured Sparsity and the Generalization of the LASSO" com seu aluno, o que avançou a teoria da esparsidade em aprendizado de alta dimensão.
Uma parte significativa de sua carreira foi dedicada a métodos de rede neural. Seu artigo de 2016 "A Convolutional Neural Network for Modelling Sentences" (com Yejin Choi e outros) demonstrou como CNNs poderiam capturar semântica composicional. Ele também trabalhou em arquiteturas de transformers, contribuindo para o estudo de 2018 "Deep Contextualized Word Representations" (com Matthew Peters e colegas), que introduziu o ELMo, um modelo que influenciou grandes modelos de linguagem posteriores, como o BERT.
Trabalho no AI2 e na Universidade de Washington
De 2014 a 2019, Smith ocupou uma nomeação conjunta no AI2, onde liderou a equipe do Semantic Scholar. Sob sua orientação, o Semantic Scholar tornou-se um mecanismo de busca acadêmica amplamente utilizado que emprega PLN para extrair dados estruturados de artigos científicos. Ele também contribuiu para o projeto Aristo do AI2, que visava responder perguntas de exames de ciências, e para a biblioteca AllenNLP, um kit de ferramentas de PLN de código aberto adotado em pesquisa e educação.
Na Universidade de Washington, Smith supervisionou numerosos estudantes de doutorado que seguiram para posições de destaque na academia e na indústria. Ele também esteve envolvido no desenvolvimento da comunidade de pesquisa afiliada à OpenAI, embora mantenha uma postura acadêmica independente. Seu ensino inclui cursos de pós-graduação sobre PLN e aprendizado profundo, e ele serviu em comitês de programa de conferências importantes como ACL, EMNLP e NeurIPS.
Prêmios e Reconhecimento
Smith recebeu um Prêmio CAREER da National Science Foundation em 2010 por sua pesquisa em predição estruturada. Em 2017, foi nomeado Fellow da ACL por suas contribuições ao PLN estatístico e à tradução automática. Ele também foi reconhecido com prêmios de melhor artigo na ACL 2013 e na EMNLP 2015, e seu trabalho sobre o ELMo fez parte do melhor artigo da NAACL 2018. Em 2020, foi eleito para o conselho da Association for Computational Linguistics.
Direções Recentes
Nos últimos anos, Smith tem se concentrado nas implicações sociais da IA generativa. Ele publicou análises sobre a confiabilidade e o viés de grandes modelos de linguagem, incluindo um artigo de 2023 na revista Nature Machine Intelligence intitulado "Challenges in Evaluating Large Language Models". Ele também defendeu práticas de pesquisa abertas, disponibilizando código e conjuntos de dados para seus projetos. Em 2024, ele continua a lecionar e liderar o grupo de PLN da UW, que colabora com laboratórios da indústria, como Google DeepMind e Anthropic, em pesquisas sobre interpretabilidade.
Publicações Selecionadas
- Smith, N. A. (2006). Adaptation of Statistical Machine Translation Models. Tese de doutorado, Universidade de Maryland.
- Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Smith, N. A. (2018). Deep Contextualized Word Representations. NAACL-HLT.
- Smith, N. A. (2011). Structured Sparsity and the Generalization of the LASSO. AISTATS.
- Smith, N. A., & Eisner, J. (2006). Discriminative Training and Maximum Entropy Models for Statistical Machine Translation. ACL.