스케일링 법칙(Scaling laws)은 머신러닝 맥락에서 모델의 성능이 세 가지 양, 즉 모델의 매개변수 수, 모델이 학습하는 훈련 데이터의 양, 그리고 훈련에 사용된 총 계산량이 증가함에 따라 예측 가능하고 대략적인 멱법칙(power-law) 방식으로 어떻게 향상되는지를 설명하는 경험적 관계입니다. 단일 법칙이라기보다는, 이 용어는 보류된 데이터에 대한 손실이 이러한 양들이 함께 확장됨에 따라 매끄럽고 예측 가능하게 감소하는 경향이 있다는 것을 확립한 일련의 연구를 지칭하며, 이를 통해 연구자들은 훨씬 더 큰 모델을 훈련하기 전에 그 성능을 예측할 수 있습니다.
Kaplan et al., 2020
기초 논문인 "Scaling Laws for Neural Language Models"는 2020년 1월 Jared Kaplan과 OpenAI의 협력자들에 의해 발표되었습니다. 이 논문은 언어 모델 손실이 모델 크기, 데이터셋 크기, 계산량과 멱법칙 관계를 따르며, 네트워크 깊이나 너비와 같은 특정 아키텍처 세부 사항과는 대체로 독립적이며, 동일한 양의 데이터로 훈련된 더 큰 모델이 일관되게 더 표본 효율적임을 발견했습니다. 당시 널리 도출된 시사점은 고정된 계산 예산 하에서 비교적 적은 양의 데이터로 매우 큰 모델을 훈련하는 것이 더 작은 모델을 수렴할 때까지 훈련하는 것보다 낫다는 것이었으며, 이 결론은 GPT-3와 같은 모델의 설계를 형성했습니다.
Chinchilla, 2022
2022년 Google DeepMind의 Hoffmann과 동료들이 발표한 논문은 Chinchilla라는 모델을 소개하며 이러한 그림을 수정했습니다. 서로 다른 크기의 많은 모델을 서로 다른 양의 데이터로 훈련하고 동일한 계산 예산에서 비교함으로써, 저자들은 원래의 스케일링 법칙이 매개변수 수에 비해 모델이 필요로 하는 훈련 데이터의 양을 과소평가했음을 발견했습니다. 이러한 관점에서 많은 현대 대형 모델은 크기에 비해 훈련이 부족했습니다. Chinchilla 논문의 계산 최적 레시피는 모델 크기와 훈련 데이터를 대략 비례하여 확장할 것을 권장했으며, 이후 Pretraining 실행에서 연구소가 계산을 할당하는 방식에 영향력 있는 기준점이 되었습니다.
결과 및 논쟁
스케일링 법칙은 계산과 성능 사이의 예측 가능한 관계가 투자자와 연구소에 점점 더 커지는 훈련 실행에 대한 수익을 예측하는 근거를 제공했기 때문에, 기반 모델의 성장 뒤에 있는 막대한 자본 투자를 정당화하는 데 도움이 되었습니다. 또한 유한한 고품질 훈련 데이터와 무어의 법칙의 확장으로 AI 계산 성장에 대해 비공식적으로 설명되는 물리적 및 재정적 한계를 고려할 때, 스케일링이 무한정 계속될 수 있는지에 대한 질문을 제기했습니다. 쉽게 얻을 수 있는 고품질 텍스트 데이터가 고갈될 것이라는 우려는 때때로 데이터 벽(data wall)이라고 불리며, 연구를 Synthetic data와 사전 훈련을 넘어선 새로운 스케일링 축, 특히 주어진 문제에 대한 출력 품질을 개선하기 위해 추론 시 더 많은 계산을 사용하는 관행인 Test-time compute로 밀어붙였습니다. 원시 스케일링과 질적으로 새로운 능력 사이의 관계는 여전히 논쟁 중이며, 손실과 함께 매끄럽게 개선되기보다는 특정 규모에서 일부 능력이 갑자기 나타나는지 묻는 Emergent abilities 연구와 밀접하게 연관되어 있습니다.