Naman Goyal은 인공지능 분야의 컴퓨터 과학자이자 연구자이다. 그는 시퀀스-투-시퀀스 모델의 사전 훈련을 위한 잡음 제거 오토인코더인 BART의 공동 저자이자, 널리 사용되는 오픈소스 딥러닝 라이브러리인 Fairseq에 기여한 것으로 가장 잘 알려져 있다. 그의 연구는 현대 대규모 언어 모델의 발전에 영향을 미쳤다.
Goyal의 연구는 머신러닝 분야, 특히 시퀀스-투-시퀀스 학습과 사전 훈련과 관련된 영역에 자리 잡고 있다. 그의 기여는 기초 아키텍처와 대규모 모델 훈련을 위한 실용적인 도구를 연결한다.
BART와 사전 훈련
Goyal은 2019년 BART를 출시한 팀의 일원이었다. BART 아키텍처는 양방향 인코더와 자기회귀 디코더를 결합하고, 잡음 제거 목적 함수를 사용하여 손상된 텍스트에 대해 사전 훈련한다. 이 접근 방식은 모델이 요약 및 번역과 같은 작업에 대해 고품질 출력을 생성할 수 있게 했다. 이 논문은 최대 4억 개의 매개변수를 가진 모델을 소개했으며, Stanford Question Answering Dataset과 GLUE를 포함한 여러 벤치마크에서 최첨단 결과를 달성했다.
BART는 BERT와 GPT 같은 초기 모델의 아이디어를 통합하고 확장했기 때문에 사전 훈련에서 중요한 단계였다. 표준 언어 모델 목적 함수만 사용하는 대신, BART는 토큰 마스킹과 순서 순열을 포함한 다양한 잡음 함수로 텍스트를 손상시켰다. Goyal의 역할은 시퀀스-투-시퀀스 사전 훈련이 순수 인코더나 디코더 모델만큼 효과적일 수 있음을 보여준 접근 방식의 경험적 성공에 기여했다.
Fairseq 툴킷
동시에 Goyal은 Meta AI(이전 Facebook AI Research)에서 개발된 소프트웨어 라이브러리인 Fairseq에 기여했다. Fairseq는 번역, 요약 및 기타 시퀀스 작업을 위한 모델 훈련을 지원한다. PyTorch를 사용하며 트랜스포머 및 기타 아키텍처에 대한 효율적인 구현을 제공한다. 이 라이브러리는 오픈소스로 공개되었으며 학계와 다른 연구소에서 널리 채택되었다.
Fairseq는 가중치 초기화, 층 정규화, 학습률 스케줄과 같은 기법을 도입하여 심층 네트워크 훈련을 더 안정적으로 만들었다. Goyal의 Fairseq 참여는 엔지니어링과 실험에 도움을 주어 연구의 표준 도구가 되는 데 기여했다.
모델 확장에 대한 기여
관련 연구에서 Goyal은 그래디언트 클리핑과 top-p 샘플링과 같은 문제를 탐구했다. 그는 또한 확장 및 대규모 배치 훈련에 대한 연구에 참여하여 실무자들이 사전 훈련에 접근하는 방식에 영향을 미쳤다. 예를 들어, 2020년 초 신경 언어 모델에 대한 모델 확장 법칙 연구는 계산, 데이터 및 매개변수가 균형을 이루어야 함을 보여주었으며, 이 연구 방향은 대규모 모델 설계에 영향을 미쳤다.
Goyal은 또한 커뮤니티를 통해 Natural Questions 데이터 세트를 출시한 연구자 중 한 명이었지만, 다른 연구자들이 그 귀속을 관리했다. 그러나 그의 많은 출판물은 이후 딥러닝 문헌에서 인용으로 사용되었다.
영향
BART와 Fairseq에 대한 그의 작업은 번역을 통한 조건부 생성의 기준선을 확립하는 데 도움이 되었다. 이 모델들은 또한 텍스트-음성 변환 및 더 효율적인 훈련 연구의 설계에 정보를 제공했다.
이 유산은 이후의 출시와 무수한 훈련에서 계속 이어지고 있다. 2024년 현재 BART는 여러 라이브러리에서 표준 모델이 되었다. Goyal의 기여는 인용 횟수와 주요 학회 참여를 통해 인정받았다. 그는 또한 Yann Lecun 및 Mikel Artetxe와 같은 연구자들과 협력했다.