スケーリング則は、機械学習の文脈において、モデルの性能が、モデルのパラメータ数、モデルが学習する訓練データの量、訓練に費やされる総計算量という三つの量が増加するにつれて、予測可能な、おおよそべき乗則的な方法でどのように向上するかを記述する経験的な関係である。単一の法則ではなく、この用語は、保持データに対する損失が、これらの量が一緒にスケールアップするにつれて滑らかかつ予測可能に減少する傾向があることを確立する一連の研究を指し、これにより研究者は、訓練前に、はるかに大規模なモデルの性能を予測することができる。
Kaplan et al., 2020
基礎となる論文「Scaling Laws for Neural Language Models」は、Jared KaplanとOpenAIの共同研究者らによって2020年1月に発表された。この論文は、言語モデルの損失が、モデルサイズ、データセットサイズ、計算量とべき乗則の関係に従い、ネットワークの深さや幅などの特定のアーキテクチャの詳細からはほぼ独立していること、そして同じ量のデータで訓練された大規模なモデルは一貫してサンプル効率が高いことを発見した。当時広く引き出された含意は、固定された計算予算に対しては、比較的控えめな量のデータで非常に大規模なモデルを訓練する方が、より小規模なモデルを収束まで訓練するよりも良いというものであり、この結論はGPT-3のようなモデルの設計を形作った。
Chinchilla, 2022
Google DeepMindのHoffmannらによる2022年の論文は、Chinchillaと呼ばれるモデルを導入し、この見方を修正した。異なるサイズの多数のモデルを異なる量のデータで訓練し、等しい計算予算で比較することにより、著者らは、元のスケーリング則が、パラメータ数に対するモデルが必要とする訓練データの量を過小評価していることを発見した。この枠組みでは、多くの現代の大規模モデルは、そのサイズに対して訓練不足であった。Chinchilla論文の計算最適なレシピは、モデルサイズと訓練データをほぼ比例してスケールすることを推奨しており、その後のPretraining実行において、研究所が計算リソースをどのように配分するかについての影響力のある参照点となった。
結果と議論
スケーリング則は、計算量と性能の間の予測可能な関係が、投資家や研究所に、ますます大規模な訓練実行への投資収益を予測する基盤を与えるため、基盤モデルの成長の背後にある巨額の資本投資を正当化するのに役立った。また、有限の高品質な訓練データと、ムーアの法則のAI計算量成長への拡張として非公式に記述される物理的および金銭的な限界を考慮すると、スケーリングが無期限に継続できるかどうかという疑問も提起した。容易に入手可能な高品質なテキストデータが尽きることへの懸念は、時としてデータの壁と呼ばれ、研究をSynthetic dataと、事前訓練を超えた新しいスケーリング軸、特にTest-time compute、すなわちモデル自体をスケールするだけでなく、与えられた問題に対する出力品質を向上させるために推論時により多くの計算を費やす実践へと押し進めた。生のスケーリングと質的に新しい能力との関係は依然として議論の的であり、これは、特定のスケールでいくつかの能力が損失とともに滑らかに向上するのではなく、突然現れるかどうかを問うEmergent abilitiesの研究と密接に関連している。