Iosif Lazaridis는 대규모 언어 모델의 확장 동작에 초점을 맞춘 연구를 수행하는 컴퓨터 과학자이다. 그는 2022년 논문 "Training Compute-Optimal Large Language Models"의 공동 저자로 가장 잘 알려져 있으며, 이 논문은 Chinchilla 확장 법칙을 도입했고, Gopher 모델에 기여했다. 그의 연구는 연구자와 기업이 대규모 언어 모델을 훈련할 때 계산 자원을 할당하는 방식에 영향을 미쳤다.
Lazaridis의 기여는 머신 러닝 이론과 실용적 엔지니어링의 교차점에 있다. 모델 크기, 데이터셋 크기, 계산 예산이 어떻게 상호 작용하는지 체계적으로 분석함으로써, 그는 이 분야에서 표준이 된 지침을 수립하는 데 도움을 주었다. 그의 발견은 학술 연구소와 산업 연구 그룹 모두에서 널리 채택되었으며, 특히 그가 많은 연구를 수행한 Google DeepMind에서도 채택되었다.
Chinchilla 확장 법칙
Lazaridis의 Chinchilla 모델 연구의 핵심 결과는 주어진 계산 예산에 대해 모델 매개변수와 훈련 토큰의 최적 비율을 지정하는 확장 법칙의 도출이었다. 연구팀은 Gopher를 포함한 많은 기존 모델이 과도하게 매개변수화되고 훈련이 부족하다는 것을 발견했다. 고정된 계산 예산에 대해 최적 모델 크기는 계산 예산의 5제곱에 대략 비례하여 증가하는 반면, 훈련 토큰 수는 3/5제곱에 대략 비례하여 증가해야 한다.
이 통찰은 1.4조 토큰으로 훈련된 700억 매개변수 모델인 Chinchilla의 탄생으로 이어졌다. Gopher(2800억)보다 매개변수가 적음에도 불구하고, Chinchilla는 광범위한 벤치마크에서 Gopher를 능가하여 계산 효율적인 훈련이 더 나은 성능을 낼 수 있음을 보여주었다. 이 논문의 발견은 이후 학계와 산업계의 훈련 결정에 있어 기준점이 되었다.
Gopher와 Chinchilla로의 경로
Chinchilla 논문 이전에 Lazaridis는 2800억 매개변수 트랜스포머 모델인 Gopher의 개발에 기여했다. Gopher는 DeepMind에서 언어 모델링의 경계를 넓히려는 더 넓은 노력의 일부였다. 2021년에 발표된 Gopher 논문은 152개의 다양한 작업에서 모델 성능을 분석하여 모델 크기를 확장하면 일반적으로 성능이 향상되지만 일부 작업에서는 수익이 감소함을 보여주었다.
Gopher의 훈련 및 평가 분석은 Chinchilla 연구의 경험적 기반을 제공했다. 서로 다른 양의 데이터로 훈련된 다양한 크기의 모델을 비교함으로써, 연구팀은 모델 용량과 훈련 데이터의 효과를 분리할 수 있었다. 이 체계적인 접근 방식은 단순한 확장 곡선을 넘어 계산 최적 훈련에 대한 더 미묘한 이해로 나아가는 핵심 방법론적 기여였다.
분야에 미친 영향
Chinchilla 확장 법칙은 대규모 모델이 훈련되는 방식에 깊은 영향을 미쳤다. 발표 이전에는 많은 조직이 훈련 데이터셋을 상대적으로 고정하면서 모델 매개변수를 늘리는 추세를 따랐다. Chinchilla 결과는 이 접근 방식이 차선책임을 시사했으며, 많은 조직이 더 큰 데이터셋에서 더 작은 모델을 훈련하는 방향으로 전환하게 했다.
이러한 전환은 다양한 조직의 후속 모델에서 분명하게 나타난다. 예를 들어, OpenAI의 GPT-3는 3000억 토큰으로 훈련된 1750억 매개변수를 가졌으며, Chinchilla 분석은 이것이 과도하게 매개변수화되었다고 시사했다. Meta의 LLaMA 시리즈와 같은 후속 모델은 명시적으로 Chinchilla 비율을 채택하여 1.4조 토큰으로 650억 매개변수 모델을 훈련했다. 이러한 원칙은 Anthropic 및 다른 연구소의 결정에도 영향을 미쳐 Claude와 같은 모델의 설계를 형성했다.
방법론과 더 넓은 기여
구체적인 결과 외에도 Lazaridis의 연구는 신경망을 이해하기 위한 엄격한 경험적 접근 방식을 예시한다. Chinchilla 논문은 다양한 매개변수 수와 토큰 예산을 가진 400개 이상의 모델을 훈련하는 광범위한 실험을 포함했다. 이러한 대규모 경험적 분석은 신뢰할 수 있는 결론을 보장하기 위해 신중한 엔지니어링과 통계적 방법을 요구했다.
Lazaridis의 연구는 또한 데이터 증강 및 훈련 데이터 품질의 역할과 같은 주제를 다룬다. Chinchilla 논문이 주로 양에 초점을 맞춘 반면, 후속 연구는 데이터셋의 구성과 큐레이션이 확장 동작에 어떻게 영향을 미치는지 탐구했다. 그의 기여는 확장 법칙을 학습률 스케줄이 최적화에서 하는 역할과 유사하게 모델 개발에 대한 추론의 기본 도구로 확립하는 데 도움을 주었다.
유산과 현재 방향
2020년대 중반 현재, Lazaridis는 인공지능 분야에서 계속 연구하고 있지만, 그의 구체적인 현재 프로젝트는 널리 공개되지 않았다. DeepMind에서의 그의 연구는 수천 번 인용되었으며, Chinchilla 논문은 딥 러닝의 최근 역사에서 가장 영향력 있는 출판물 중 하나로 간주된다.
그가 수립하는 데 도움을 준 원칙은 이제 대규모 머신 러닝에 관한 대학 과정에서 가르쳐지며 산업계에서 일상적으로 적용된다. 계산 최적 훈련으로의 전환은 훈련 비용과 AI 연구의 환경 발자국에 영향을 미치므로 경제적 함의도 있다. 계산, 데이터, 모델 크기의 균형을 맞추기 위한 명확한 프레임워크를 제공함으로써, Lazaridis의 연구는 대규모 AI 개발을 더 효율적이고 접근 가능하게 만드는 데 기여했다.