ノア・スミスは、ワシントン大学ポール・G・アレン計算機科学工学部の教授であり、自然言語処理（NLP）の研究を主導している。彼は機械学習と深層学習への貢献、特に大規模言語モデルの開発と評価において認知されている。教員に就任する前は、アレン人工知能研究所（AI2）で上級研究員として勤務し、意味解析やモデル解釈可能性に関するプロジェクトに貢献した。
スミスは2006年にメリーランド大学で計算機科学の博士号を取得し、フィリップ・レズニックの指導を受けた。博士論文「統計的機械翻訳モデルの適応」は、後のドメイン適応や構造予測の研究の基盤を築いた。その後、トロント大学で博士研究員を務め、2007年にカーネギーメロン大学の助教授となった。
研究貢献
スミスの初期の研究は、統計的機械翻訳と構文解析に焦点を当てていた。彼は2006年の論文「統計的機械翻訳のための識別訓練と最大エントロピーモデル」を共著し、翻訳品質を向上させる識別フレームワークを導入した。2011年には、学生と共に「構造的スパース性とLASSOの一般化」を発表し、高次元学習におけるスパース性の理論を進展させた。
彼のキャリアの重要な部分はニューラルネットワーク手法に捧げられている。2016年の論文「文をモデル化するための畳み込みニューラルネットワーク」（イェジン・チョイらと共著）は、CNNが構成意味論を捉える方法を示した。また、トランスフォーマーアーキテクチャにも取り組み、2018年の研究「深層文脈化単語表現」（マシュー・ピーターズらと共著）に貢献し、後の大規模言語モデル（BERTなど）に影響を与えたELMoを導入した。
AI2とワシントン大学での活動
2014年から2019年まで、スミスはAI2で兼任のポストを務め、Semantic Scholarチームを率いた。彼の指導の下、Semantic Scholarは科学論文から構造化データを抽出するNLPを活用した広く使用される学術検索エンジンとなった。また、科学試験問題に答えることを目的としたAI2のAristoプロジェクトや、研究と教育で採用されているオープンソースのNLPツールキットであるAllenNLPライブラリにも貢献した。
ワシントン大学では、スミスは多くの博士課程学生を指導し、彼らは学界や産業界で著名な地位に就いている。また、OpenAI関連の研究コミュニティの開発にも関与しているが、独立した学術的立場を維持している。彼の教育活動にはNLPと深層学習の大学院コースが含まれ、ACL、EMNLP、NeurIPSなどの主要会議のプログラム委員会にも参加している。
受賞と認知
スミスは2010年に構造予測の研究に対して国立科学財団キャリア賞を受賞した。2017年には、統計的NLPと機械翻訳への貢献によりACLフェローに選ばれた。また、ACL 2013とEMNLP 2015で最優秀論文賞を受賞し、ELMoに関する研究はNAACL 2018の最優秀論文の一部となった。2020年には、計算言語学会の理事会に選出された。
最近の方向性
近年、スミスは生成AIの社会的影響に焦点を当てている。彼は大規模言語モデルの信頼性とバイアスに関する分析を発表しており、2023年にはジャーナル『Nature Machine Intelligence』に「大規模言語モデルの評価における課題」という論文を掲載した。また、オープンな研究実践を提唱し、プロジェクトのコードとデータセットを公開している。2024年現在、彼は引き続き教鞭を執り、UW NLPグループを率いており、同グループはGoogle DeepMindやAnthropicなどの産業研究所と解釈可能性研究で協力している。
主要な出版物
- Smith, N. A. (2006). Adaptation of Statistical Machine Translation Models. PhD thesis, University of Maryland.
- Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Smith, N. A. (2018). Deep Contextualized Word Representations. NAACL-HLT.
- Smith, N. A. (2011). Structured Sparsity and the Generalization of the LASSO. AISTATS.
- Smith, N. A., & Eisner, J. (2006). Discriminative Training and Maximum Entropy Models for Statistical Machine Translation. ACL.