세바스찬 보르조(Sebastian Borgeaud)는 Google DeepMind의 연구 과학자로, 대규모 언어 모델의 스케일링 법칙, 모델 아키텍처, 훈련 효율성에 관한 연구로 잘 알려져 있다. 그는 2022년 논문 "Training Compute-Optimal Large Language Models"의 공동 저자로, 이 논문은 친칠라(Chinchilla) 모델을 소개하며 AI 커뮤니티가 모델 크기와 훈련 데이터 할당에 접근하는 방식을 재편했다. 그의 연구는 OpenAI와 Anthropic을 포함한 이후 대규모 AI 시스템 설계에 영향을 미쳤다.
보르조의 연구는 머신 러닝 이론과 실용적 엔지니어링의 교차점에 있으며, 다양한 계산 예산 하에서 신경망의 경험적 행동을 이해하는 데 중점을 둔다. 그는 DeepMind에서 언어 모델링부터 멀티모달 시스템에 이르기까지 여러 프로젝트에 기여했으며, 그의 연구 결과는 인공지능 분야에서 널리 인용된다.
스케일링 법칙과 친칠라 논문
친칠라 논문은 2022년 3월에 발표되었으며, 대규모 언어 모델 훈련에 대한 새로운 패러다임을 확립했다. 보르조와 그의 동료들(Jordan Hoffmann, Llion Jones 포함)은 주어진 계산 예산에 대해 최적의 모델 크기와 훈련 토큰 수가 거의 동일한 비율로 확장되어야 한다는 것을 증명했다. 이는 모델 크기가 데이터보다 더 빠르게 증가해야 한다는 2020년 Kaplan 스케일링 법칙의 기존 가정과 모순되는 결과였다.
구체적으로, 이 팀은 700억 개의 파라미터를 가진 모델을 1조 4천억 개의 토큰으로 훈련시켰을 때, Gopher(2,800억 파라미터)와 GPT-3(1,750억 파라미터) 같은 훨씬 더 큰 모델들을 다양한 벤치마크에서 능가한다는 것을 발견했다. 이 논문의 실용적 권고안(대부분의 기존 모델이 상당히 과소 훈련되었다는 것)은 업계 전반의 훈련 관행에 변화를 가져왔으며, OpenAI와 DeepMind 같은 기업들은 이후 모델 출시에서 데이터 대 파라미터 비율을 높였다.
모델 아키텍처와 훈련에 대한 기여
스케일링 법칙 외에도, 보르조는 심층 신경망 훈련의 효율성과 안정성 향상에 기여해 왔다. 그는 현재 트랜스포머 기반 모델에서 표준이 된 멀티헤드 어텐션 변형, 위치 인코딩, 레이어 정규화 기법에 관한 연구에 기여했다. 그의 작업은 종종 대규모 분산 훈련을 포함하며, 메모리 사용량과 통신 오버헤드를 줄이는 방법을 개발하는 데 도움을 주었다.
그의 연구에서 주목할 만한 또 다른 분야는 검색 증강 생성(retrieval-augmented generation)으로, 모델이 추론 중에 외부 지식에 접근하는 방식이다. 보르조는 2021년 논문 "Improving Language Models by Retrieving from Trillions of Tokens"의 공동 저자로, 이 논문은 RETRO(Retrieval-Enhanced Transformer) 모델을 소개했다. RETRO는 75억 개의 파라미터를 가진 모델이 검색 기능을 통해 700억 개의 파라미터를 가진 검색 없는 모델과 특정 작업에서 동등한 성능을 낼 수 있음을 입증했으며, 이는 파라메트릭 및 비파라메트릭 메모리의 결합 가능성을 보여주었다.
AI 커뮤니티에 미친 영향
보르조의 연구 결과는 더 넓은 머신 러닝 커뮤니티에 측정 가능한 영향을 미쳤다. 친칠라 논문의 스케일링 법칙은 현재 학술 논문과 산업 보고서에서 표준 참고 자료가 되었으며, OpenAI의 GPT-4와 Anthropic의 Claude와 같은 모델 설계에 영향을 주었다. 계산 최적 훈련에 대한 그의 강조는 연구자들이 더 적은 자원으로 더 나은 성능을 달성하려고 함에 따라 AI의 환경적·경제적 비용에 대한 논의도 촉발했다.
연구 외에도, 보르조는 도구와 데이터셋의 오픈소스화에 참여해 왔다. 그는 DeepMind의 오픈소스 라이브러리에 기여했으며, NeurIPS와 ICML을 포함한 주요 학회에서 스케일링과 평가에 대한 통찰을 공유하며 발표해 왔다. 그의 연구는 생성형 AI와 더 효율적인 훈련 체제 개발의 맥락에서 자주 인용된다.
현재 연구와 향후 방향
2024년 현재, 보르조는 Google DeepMind에서 차세대 모델 아키텍처와 훈련 방법에 중점을 두고 계속 연구하고 있다. 그의 최근 프로젝트는 모델 가지치기와 양자화와 같은 추론의 계산 비용을 줄이는 방법과 RLHF(인간 피드백 기반 강화 학습) 같은 기술을 통해 인간의 가치에 맞춰 모델을 정렬하는 개선을 탐구한다.
그는 또한 딥 러닝과 신경과학의 교차점에 관심을 가지며, 생물학적 시스템에서 영감을 얻어 더 효율적인 학습 알고리즘을 설계하는 연구를 진행하고 있다. 그의 진행 중인 프로젝트의 구체적인 세부 사항은 공개되지 않았지만, 그의 연구 이력은 향후 인공지능 연구의 궤적을 계속 형성할 것임을 시사한다.
주요 논문
- "Training Compute-Optimal Large Language Models" (2022, Jordan Hoffmann, Llion Jones 외 공저)
- "Improving Language Models by Retrieving from Trillions of Tokens" (2021, Jack Rae 외 공저)
- "An Empirical Analysis of Compute-Optimal Inference for Problem-Solving with Language Models" (2023, 공동 연구자들과 함께)
이 논문들은 해당 분야에서 가장 많이 인용되는 연구 중 하나이며, 그 방법론은 학계와 산업계 모두에서 널리 채택되고 있다.