Les lois de mise à l'échelle, dans le contexte de l'apprentissage automatique, sont des relations empiriques décrivant comment la performance d'un modèle s'améliore de manière prévisible, approximativement selon une loi de puissance, à mesure que trois quantités augmentent : le nombre de paramètres du modèle, la quantité de données d'entraînement qu'il voit, et le calcul total consacré à l'entraînement. Plutôt qu'une loi unique, le terme désigne un ensemble de recherches établissant que la perte sur des données non vues tend à diminuer de manière régulière et prévisible à mesure que ces quantités augmentent ensemble, ce qui permet aux chercheurs de prévoir la performance d'un modèle beaucoup plus grand avant de l'entraîner.
Kaplan et al., 2020
L'article fondateur, « Scaling Laws for Neural Language Models », a été publié par Jared Kaplan et ses collaborateurs chez OpenAI en janvier 2020. Il a constaté que la perte des modèles de langage suivait des relations de loi de puissance avec la taille du modèle, la taille de l'ensemble de données et le calcul, largement indépendantes des détails architecturaux spécifiques tels que la profondeur ou la largeur du réseau, et que des modèles plus grands entraînés sur la même quantité de données étaient systématiquement plus efficaces en termes d'échantillons. Une implication largement tirée à l'époque était que, pour un budget de calcul fixe, il était préférable d'entraîner de très grands modèles sur des quantités de données comparativement modestes plutôt que d'entraîner des modèles plus petits jusqu'à convergence, une conclusion qui a façonné la conception de modèles tels que GPT-3.
Chinchilla, 2022
Un article de 2022 de Hoffmann et de ses collègues chez Google DeepMind, introduisant un modèle appelé Chinchilla, a révisé ce tableau. En entraînant un grand nombre de modèles de tailles différentes sur des quantités de données différentes et en les comparant à budgets de calcul égaux, les auteurs ont constaté que les lois de mise à l'échelle originales sous-estimaient la quantité de données d'entraînement dont un modèle a besoin par rapport à son nombre de paramètres ; de nombreux grands modèles contemporains étaient, dans ce cadre, sous-entraînés par rapport à leur taille. La recette optimale en termes de calcul de l'article Chinchilla, qui recommandait de faire évoluer la taille du modèle et les données d'entraînement approximativement en proportion, est devenue un point de référence influent pour la manière dont les laboratoires allouaient le calcul dans les sessions de Pretraining ultérieures.
Conséquences et débat
Les lois de mise à l'échelle ont aidé à justifier l'investissement massif en capital derrière la croissance des modèles de fondation, car une relation prévisible entre le calcul et la performance donne aux investisseurs et aux laboratoires une base pour prévoir les retours sur des sessions de entraînement toujours plus grandes. Elles ont également soulevé la question de savoir si la mise à l'échelle pouvait continuer indéfiniment, étant donné la quantité finie de données d'entraînement de haute qualité et les limites physiques et financières décrites informellement par des extensions de la loi de Moore à la croissance du calcul en IA. Les préoccupations concernant l'épuisement des données textuelles de haute qualité facilement disponibles, parfois appelées un mur de données, ont poussé la recherche vers les Synthetic data et vers de nouveaux axes de mise à l'échelle au-delà du pré-entraînement, y compris le Test-time compute, la pratique consistant à dépenser plus de calcul à l'inférence pour améliorer la qualité de sortie sur un problème donné plutôt que de seulement faire évoluer le modèle lui-même. La relation entre la mise à l'échelle brute et les capacités qualitativement nouvelles reste débattue, et est étroitement liée à la recherche sur les Emergent abilities, qui demande si certaines capacités apparaissent brusquement à des échelles particulières plutôt que de s'améliorer régulièrement avec la perte.