Jacob Andreas는 MIT 컴퓨터 과학 및 인공지능 연구소(MIT CSAIL)의 조교수이다. 그의 연구는 언어 접지(grounding)와 구성 의미론에 초점을 맞추며, AI 시스템이 언어 구조를 실제 세계의 의미와 행동에 연결하는 방법을 탐구한다. 그는 MIT 전기공학 및 컴퓨터과학과에 소속되어 있다.
Andreas는 캘리포니아 대학교 버클리에서 박사 학위를 취득했으며, Dan Klein의 지도를 받았다. 그의 박사 연구는 언어의 구성적 구조를 학습하고 이를 시각적 질의응답 및 지시 수행과 같은 작업에 활용하는 방법을 검토했다. MIT에 합류하기 전에는 Google DeepMind에서 박사후 연구원으로 근무했다.
연구 기여
Andreas의 초기 연구는 하위 작업을 구조적으로 구성하는 모듈식 신경망을 학습하는 방법을 도입했다. 2016년 논문에서 그와 동료들은 질문을 더 작은 하위 질문으로 분해하고, 각각을 전문화된 모듈이 답변한 뒤 결과를 결합하는 모델을 제안했다. 이 접근 방식은 단일 신경망에 비해 시각적 질의응답 벤치마크에서 향상된 성능을 보여주었다.
그의 구성 의미론 연구는 명시적 주석 없이 데이터에서 잠재적 언어 구조를 유도하는 방법도 다루었다. 그는 대규모 언어 모델을 의미 파싱 및 접지에 활용하는 방법을 연구하며, 이러한 모델이 해석 가능하고 구성적인 표현을 생성하도록 유도하는 방식을 조사했다.
언어 접지 및 지시 수행
Andreas 연구의 핵심 주제는 상호작용 환경에서 언어를 접지하는 것이다. 그는 에이전트가 시뮬레이션된 세계에서 자연어 지시를 따르는 방법을 학습하도록 강화 학습과 커리큘럼 학습을 사용하여 샘플 효율성을 개선하는 방안을 조사했다. 그의 연구는 구성적 작업 설명이 보이지 않는 지시 조합으로 일반화하는 데 활용될 수 있음을 보여주었다.
Andreas는 또한 언어와 형식 논리 간의 관계를 탐구하며, 자연어를 실행 가능한 프로그램으로 변환하는 방법을 제안했다. 이 연구 방향은 머신 러닝에서 구조에 대해 명시적으로 추론하는 시스템을 구축하려는 더 넓은 노력과 연결된다.
주요 논문 및 인정
Andreas는 NeurIPS, ICLR, ACL, EMNLP를 포함한 주요 학회에 논문을 발표했다. 그의 논문은 여러 최우수 논문 후보 및 수상에 선정되었다. 그는 2021년 Sloan Research Fellow로 선정되어 컴퓨터 과학 분야의 조기 경력 기여를 인정받았다.
MIT에서의 그의 강의는 자연어 처리 및 머신 러닝에 관한 대학원 과정을 포함한다. 그는 또한 OpenAI 및 Anthropic을 포함한 학술 기관과 산업 연구소에서 초청 강연을 했다.
더 넓은 영향 및 현재 방향
Andreas의 최근 연구는 트랜스포머 모델의 해석 가능성, 특히 주의 메커니즘이 구성 정보를 어떻게 인코딩하는지 검토했다. 그는 메타 학습 커뮤니티에서 강조된 체계적 일반화를 테스트하는 벤치마크 설계의 중요성을 주장했다.
그는 또한 언어와 확률적 프로그래밍의 교차점에 관심을 가지며, 구성적 구조를 유지하면서 불확실성을 추론할 수 있는 모델을 구축하는 것을 목표로 한다. 2024년 현재, 그의 MIT 그룹은 딥 러닝 시스템을 더 투명하고 신뢰할 수 있게 만드는 데 초점을 맞춰 이러한 주제를 계속 연구하고 있다.
같이 보기
- Joshua Tenenbaum - 구성성과 직관적 물리학 연구로 알려진 인지 과학자
- Brendan Lake - 인간 유사 머신 러닝 및 체계적 일반화 연구자
- Stanford AI Lab - 언어와 추론에 관한 관련 연구를 수행하는 또 다른 기관