Noah Smith는 워싱턴 대학교 폴 G. 앨런 컴퓨터 과학 및 공학 대학의 교수로, 자연어 처리(NLP) 연구를 이끌고 있다. 그는 기계 학습과 딥러닝, 특히 대규모 언어 모델의 개발과 평가에 기여한 것으로 인정받고 있다. 교수진 합류 전에는 앨런 인공지능 연구소(AI2)에서 선임 연구원으로 근무하며 의미 구문 분석 및 모델 해석 가능성 프로젝트에 기여했다.
Smith는 2006년 메릴랜드 대학교에서 Philip Resnik의 지도 아래 컴퓨터 과학 박사 학위를 받았다. 그의 박사 논문인 "통계적 기계 번역 모델의 적응"은 이후 도메인 적응 및 구조적 예측 연구의 기초를 마련했다. 이후 그는 토론토 대학교에서 박사후 연구원으로 근무한 후, 2007년 카네기 멜론 대학교 조교수가 되었다.
연구 기여
Smith의 초기 연구는 통계적 기계 번역과 구문 분석에 집중되었다. 그는 2006년 논문 "통계적 기계 번역을 위한 판별 훈련 및 최대 엔트로피 모델"을 공동 저술하여 번역 품질을 개선하는 판별 프레임워크를 도입했다. 2011년에는 학생과 함께 "구조적 희소성과 LASSO의 일반화"를 발표하여 고차원 학습에서 희소성 이론을 발전시켰다.
그의 경력 중 상당 부분은 신경망 방법에 전념해 왔다. 2016년 논문 "문장 모델링을 위한 합성곱 신경망"(Yejin Choi 등과 공동)은 CNN이 구성적 의미론을 포착할 수 있음을 보여주었다. 또한 트랜스포머 아키텍처 연구에도 참여하여 2018년 연구 "심층 맥락화 단어 표현"(Matthew Peters 등과 공동)에 기여했으며, 이는 이후 대규모 언어 모델인 BERT에 영향을 준 ELMo 모델을 도입했다.
AI2 및 워싱턴 대학교에서의 활동
2014년부터 2019년까지 Smith는 AI2에서 겸직하며 Semantic Scholar 팀을 이끌었다. 그의 지도 아래 Semantic Scholar는 과학 논문에서 구조화된 데이터를 추출하기 위해 NLP를 사용하는 널리 사용되는 학술 검색 엔진이 되었다. 그는 또한 과학 시험 문제에 답하는 것을 목표로 한 AI2의 Aristo 프로젝트와 연구 및 교육에서 채택된 오픈소스 NLP 도구 키트인 AllenNLP 라이브러리에도 기여했다.
워싱턴 대학교에서 Smith는 학계와 산업계의 주요 직책으로 진출한 많은 박사 과정 학생들을 지도했다. 그는 또한 OpenAI와 관련된 연구 커뮤니티 개발에 참여했지만, 독립적인 학문적 입장을 유지하고 있다. 그의 강의에는 NLP 및 딥러닝에 관한 대학원 과정이 포함되며, ACL, EMNLP, NeurIPS와 같은 주요 학회의 프로그램 위원회에서 활동했다.
수상 및 인정
Smith는 2010년 구조적 예측 연구로 국립과학재단 CAREER 상을 받았다. 2017년에는 통계적 NLP 및 기계 번역에 대한 기여로 ACL 펠로우로 선정되었다. 또한 ACL 2013 및 EMNLP 2015에서 최우수 논문상을 받았으며, ELMo에 대한 그의 연구는 NAACL 2018 최우수 논문의 일부였다. 2020년에는 전산언어학회 이사회에 선출되었다.
최근 방향
최근 몇 년 동안 Smith는 생성형 AI의 사회적 영향에 집중해 왔다. 그는 대규모 언어 모델의 신뢰성과 편향에 대한 분석을 발표했으며, 2023년 저널 Nature Machine Intelligence에 "대규모 언어 모델 평가의 과제"라는 제목의 논문을 게재했다. 또한 그는 프로젝트의 코드와 데이터 세트를 공개하며 개방형 연구 관행을 옹호해 왔다. 2024년 현재 그는 계속해서 강의하고 UW NLP 그룹을 이끌고 있으며, 이 그룹은 Google DeepMind 및 Anthropic과 같은 산업 연구소와 해석 가능성 연구에서 협력하고 있다.
주요 출판물
- Smith, N. A. (2006). 통계적 기계 번역 모델의 적응. 박사 논문, 메릴랜드 대학교.
- Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Smith, N. A. (2018). Deep Contextualized Word Representations. NAACL-HLT.
- Smith, N. A. (2011). Structured Sparsity and the Generalization of the LASSO. AISTATS.
- Smith, N. A., & Eisner, J. (2006). Discriminative Training and Maximum Entropy Models for Statistical Machine Translation. ACL.