Chinchilla는 대규모 언어 모델(LLM) 계열로, Google DeepMind의 연구팀이 개발하여 2022년 3월에 발표했다. 이 계열은 이전의 Gopher 모델 계열 작업을 기반으로 언어 모델의 스케일링 법칙을 조사하기 위해 설계되었다. Chinchilla 모델은 트랜스포머 기반이며, 고정된 계산 예산 하에서 더 나은 성능을 달성하도록 훈련되어 대규모 모델을 효율적으로 훈련하기 위한 널리 인용되는 권장 사항을 도출했다.
"Chinchilla"라는 이름은 이전 Gopher 모델 계열에 대한 추가 개발로서의 역할을 반영한다. 두 계열 모두 모델 크기와 훈련 데이터 양이 어떻게 상호 작용하는지 탐구하기 위해 훈련되었다. Chinchilla는 훨씬 적은 매개변수를 사용하면서 GPT-3를 능가한다고 주장했으며, 추론과 미세 조정에 필요한 계산 능력이 적어 다운스트림 사용을 단순화했다.
스케일링 법칙 및 훈련
Chinchilla 연구의 핵심 발견은 주어진 계산 예산에 대해 모델 크기와 훈련 토큰 수가 비례적으로 확장되어야 한다는 것이었다. 구체적으로, 모델 크기가 두 배가 되면 훈련 토큰 수도 두 배가 되어야 한다. 이 원칙은 이전에 사용된 언어 모델의 훈련을 분석하여 도출되었다. DeepMind는 이 가설을 사용하여 Chinchilla를 훈련했으며, 이 모델은 700억 개의 매개변수를 가지고 1.4조 개의 토큰으로 훈련되었는데, 이는 Gopher의 3000억 개 토큰보다 네 배 많은 데이터로, 유사한 전체 계산 비용으로 수행되었다.
이 계산 최적 접근 방식은 종종 모델 매개변수 증가만을 우선시했던 이전 관행과 대조된다. Chinchilla 팀은 모델 크기를 늘리지 않더라도 더 크고 고품질의 훈련 데이터 세트를 사용하면 다운스트림 작업에서 더 나은 결과를 얻을 수 있다고 권장했다. 이러한 발견은 이후 AI 연구 분야 전반의 훈련 방법론에 영향을 미쳤다.
성능 및 벤치마크
Chinchilla는 MMLU(Measuring Massive Multitask Language Understanding) 벤치마크에서 평균 정확도 67.5%를 달성했으며, 이는 Gopher의 성능보다 7% 높은 수치이다. 이러한 개선은 Gopher가 Chinchilla보다 네 배 많은 2800억 개의 매개변수를 가졌다는 점에서 주목할 만했다. 이 모델의 효율성은 추론과 미세 조정 모두에 필요한 계산이 적어 더 넓은 범위의 응용 프로그램에 실용적으로 사용될 수 있게 했다.
2023년 1월 12일 기준으로 Chinchilla는 여전히 테스트 단계에 있었으며, 이는 전체 기능과 한계가 평가되고 있음을 나타낸다. MMLU와 같은 벤치마크에서의 모델 성공은 계산 최적 훈련이 더 적은 데이터로 훈련된 더 큰 모델과 비교하여 경쟁력 있거나 우수한 결과를 산출할 수 있음을 입증했다.
아키텍처
Gopher와 Chinchilla 계열은 모두 트랜스포머 모델 계열이다. 이들은 본질적으로 GPT-2와 동일하지만, 크기와 사소한 수정 사항이 다르다. Gopher 계열은 LayerNorm 대신 RMSNorm을 사용하고 절대 위치 인코딩 대신 상대 위치 인코딩을 사용한다. Chinchilla 계열은 Gopher 계열과 동일하지만 Adam 옵티마이저 대신 AdamW 옵티마이저로 훈련된다.
Gopher 계열은 4400만 개의 매개변수에서 2800억 개의 매개변수까지 크기가 증가하는 여섯 개의 모델을 포함하며, 가장 큰 모델은 기본적으로 "Gopher"라고 불린다. 유사한 명명 규칙이 Chinchilla 계열에도 적용되며, 다양한 크기의 모델을 포함하고 700억 개의 매개변수 버전이 가장 두드러진다. 원본 논문의 표 1은 전체 Gopher 계열을 자세히 설명하고, 표 4는 700억 개의 매개변수 Chinchilla를 Gopher 280B와 비교한다.
응용 및 영향
Chinchilla는 시각적 및 텍스트 이해를 통합하는 Flamingo 비전-언어 모델을 포함한 다른 모델의 기반으로 사용되었다. Chinchilla가 확립한 스케일링 법칙은 머신 러닝 분야에서 표준 참조가 되었으며, 이후 LLM 개발에서 모델 크기와 데이터 세트 크기에 대한 결정을 안내한다.
이 연구는 제한된 계산 자원으로 대규모 자동 회귀 언어 모델을 위한 효과적인 훈련 패러다임을 개발하는 데 기여했다. 데이터 양이 모델 크기만큼 중요하다는 것을 입증함으로써, Chinchilla는 데이터 세트 품질과 큐레이션에 초점을 전환했다. 이는 OpenAI 및 Anthropic과 같은 조직이 모델 훈련에 접근하는 방식에 지속적인 영향을 미쳤지만, 내부 관행의 구체적인 세부 사항은 항상 공개되지는 않는다.