시바 레디는 맥길 대학교의 교수이자 퀘벡 인공지능 연구소(Mila - Quebec Artificial Intelligence Institute)의 핵심 학술 구성원이다. 그의 연구는 자연어 처리(NLP), 특히 다국어 모델, 구성적 일반화, 그리고 신경망 아키텍처에 언어적 구조를 통합하는 데 중점을 둔다. 그는 대규모 언어 모델이 다양한 언어의 구문과 의미를 어떻게 표현하고 처리하는지에 대한 이해에 기여한 것으로 알려져 있다.
레디의 연구는 전산 언어학과 기계 학습을 연결하며, 저자원 언어와 교차 언어 전이에서의 과제를 다룬다. 그는 ACL, EMNLP, NeurIPS와 같은 최상위 학회에 활발히 논문을 발표했으며, 그의 연구는 다국어 AI 시스템의 이론과 실용적 응용 모두에 영향을 미쳤다.
교육 및 초기 경력
레디는 에든버러 대학교에서 박사 학위를 마쳤으며, 그곳에서 의미 구문 분석과 grounded language understanding을 연구했다. 그의 박사 연구는 자연어를 형식적 의미 표현에 연결하는 방법을 탐구했으며, 이는 이후 구성적 모델 연구의 기초가 되었다. 박사 학위 후에는 스탠포드 대학교와 에든버러 대학교에서 박사후 연구원으로 재직하며 스탠포드 AI 연구소의 연구자들과 협력했고, 이후 맥길 대학교 교수로 임용되었다.
연구 기여
레디 연구의 핵심 주제는 구성적 일반화, 즉 모델이 알려진 단어와 구조의 새로운 조합을 이해하는 능력이다. 그는 신경망의 이러한 능력을 평가하고 개선하기 위한 벤치마크와 방법론을 제안했으며, 이는 종종 순수 통계적 접근법과 대비된다. 그의 체계적 일반화에 관한 논문은 널리 인용되며, Transformer (architecture) 시대의 후속 연구에 중요한 영향을 미쳤다.
레디는 또한 다국어 표현을 연구하며, Neural network 모델에서 언어 공통 특징과 언어별 특징이 어떻게 나타나는지 분석한다. 그는 유형론적으로 다양한 언어, 특히 디지털 자원이 부족한 언어를 위한 데이터셋과 평가 프레임워크를 구축하는 데 기여했다. 이러한 작업은 Machine learning 기반 AI 시스템이 전 세계 언어 공동체에 더 공평하게 적용되도록 하는 광범위한 노력과 맞닿아 있다.
언어학과 딥러닝의 통합
순수 공학적 접근에 치우친 다른 NLP 연구자들과 달리, 레디는 모델 설계에서 언어 이론의 역할을 강조한다. 그는 구문론자 및 의미론자와 협력하여 Deep learning 아키텍처에 귀납적 편향을 주입하는 방법을 연구하며, 예를 들어 트리 구조의 인코더나 계층적 관계를 존중하는 어텐션 메커니즘을 사용한다. 이러한 접근은 명시적 언어 지식이 특히 저자원 환경에서 샘플 효율성과 견고성을 향상시킬 수 있음을 보여주었다.
그의 연구는 또한 Large language model의 한계를 비판적으로 분석한다. 예를 들어, 이러한 모델이 표면적 통계에 의존하고 더 깊은 추론을 요구하는 과제에서 실패하는 경향을 지적한다. 통제된 실험을 통해 그는 진정한 이해가 필요한 작업에서 모델이 어떻게 실패하는지 입증했으며, 이는 AI 인지의 본질에 대한 지속적인 논쟁에 기여하고 있다.
교육 및 멘토링
맥길 대학교에서 레디는 NLP와 전산 언어학 강의를 담당하며, 학계와 산업계에서 활동하는 대학원생들을 멘토링하고 있다. 그는 컴퓨터 과학, 언어학, 인지 과학 전공 학생들을 아우르는 학제 간 협력을 적극적으로 장려한다. 그의 연구실은 재현성을 지원하는 오픈소스 도구와 데이터셋을 정기적으로 공개한다.
영향 및 인정
레디의 연구는 주요 학회에서 여러 최우수 논문상 및 후보로 선정되며 인정받았다. 그는 ACL과 EMNLP에서 지역 위원장 및 선임 프로그램 위원회 위원으로 활동하며 NLP 연구 방향을 형성하는 데 기여했다. 그의 다국어 모델 연구는 힌디어, 타밀어, 스와힐리어와 같은 언어를 위한 시스템을 구축하는 실무자들에게 채택되었으며, 그의 통찰은 상용 AI 제품 설계에도 영향을 미쳤다.
학계를 넘어 레디는 Google DeepMind 및 Anthropic과 같은 산업 파트너와 협력하여 언어 모델의 안전성과 견고성을 연구하고 있다. 그는 책임 있는 AI 개발에 관한 논의에서 적극적인 목소리를 내며, 언어학적으로 정보에 기반한 평가 기준을 옹호한다.
주요 논문
레디는 50편 이상의 동료 심사 논문을 저술했다. 주목할 만한 연구로는 구성적 일반화 벤치마크, 다국어 트랜스포머의 교차 언어 전이, 의미 구문 분석에서 구문의 역할에 대한 연구가 있다. 그가 공동 저술한 다국어 NLP에 관한 개요 논문은 이 분야에 입문하는 연구자들에게 필수 참고 자료로 자주 인용된다.
그의 현재 프로젝트는 구성적 방법을 다중 모달 환경으로 확장하고 저자원 언어를 위한 더 효율적인 미세 조정 기법을 개발하는 데 중점을 두며, NLP를 더 포용적이고 과학적으로 엄격하게 만드는 지속적인 노력을 반영한다.