Sebastian Borgeaud est un chercheur scientifique chez Google DeepMind, connu pour ses travaux sur les lois de mise à l'échelle, l'architecture des modèles et l'efficacité de l'entraînement des grands modèles de langage. Il est co-auteur de l'article de 2022 « Training Compute-Optimal Large Language Models », qui a introduit le modèle Chinchilla et a redéfini la manière dont la communauté de l'IA aborde la taille des modèles et la répartition des données d'entraînement. Ses recherches ont influencé la conception de systèmes d'IA à grande échelle ultérieurs, notamment ceux de OpenAI et Anthropic.
Les travaux de Borgeaud se situent à l'intersection de la théorie de l'apprentissage automatique et de l'ingénierie pratique, avec un accent sur la compréhension du comportement empirique des réseaux de neurones sous différents budgets computationnels. Il a contribué à de nombreux projets chez DeepMind, allant de la modélisation du langage aux systèmes multimodaux, et ses résultats sont largement cités dans le domaine de l'intelligence artificielle.
Lois de mise à l'échelle et article Chinchilla
L'article Chinchilla, publié en mars 2022, a établi un nouveau paradigme pour l'entraînement des grands modèles de langage. Borgeaud et ses collègues, dont Jordan Hoffmann et Llion Jones, ont démontré que pour un budget computationnel donné, la taille optimale du modèle et le nombre de jetons d'entraînement évoluent à peu près de manière égale, plutôt que la taille du modèle croissant plus rapidement que les données. Cela contredisait les hypothèses antérieures des lois de mise à l'échelle de Kaplan (2020), qui suggéraient que la taille du modèle devait augmenter plus rapidement que les données.
Plus précisément, l'équipe a constaté qu'un modèle de 70 milliards de paramètres entraîné sur 1,4 billion de jetons surpassait des modèles beaucoup plus grands comme Gopher (280 milliards de paramètres) et GPT-3 (175 milliards de paramètres) sur une série de références. La recommandation pratique de l'article - selon laquelle la plupart des modèles existants étaient considérablement sous-entraînés - a conduit à un changement dans les pratiques d'entraînement à travers l'industrie, avec des entreprises comme OpenAI et DeepMind augmentant leurs ratios données/paramètres dans les versions ultérieures.
Contributions à l'architecture des modèles et à l'entraînement
Au-delà des lois de mise à l'échelle, Borgeaud a travaillé sur l'amélioration de l'efficacité et de la stabilité de l'entraînement des réseaux profonds. Il a contribué à la recherche sur les variantes de attention multi-têtes, les encodages positionnels et les techniques de normalisation de couches qui sont désormais standard dans les modèles basés sur les transformeurs. Son travail implique souvent l'entraînement distribué à grande échelle, où il a aidé à développer des méthodes pour réduire l'utilisation de la mémoire et les frais généraux de communication.
Un domaine notable de sa recherche est l'utilisation de la génération augmentée par récupération, où les modèles accèdent à des connaissances externes pendant l'inférence. Borgeaud a co-écrit l'article de 2021 « Improving Language Models by Retrieving from Trillions of Tokens », qui a introduit le modèle RETRO (Retrieval-Enhanced Transformer). RETRO a démontré qu'un modèle de 7,5 milliards de paramètres avec récupération pouvait égaler les performances d'un modèle de 70 milliards de paramètres sans récupération sur certaines tâches, soulignant le potentiel de la combinaison de la mémoire paramétrique et non paramétrique.
Impact sur la communauté de l'IA
Les résultats de Borgeaud ont eu un impact mesurable sur la communauté plus large de l'apprentissage automatique. Les lois de mise à l'échelle de l'article Chinchilla sont désormais une référence standard dans les articles académiques et les rapports industriels, et elles ont influencé la conception de modèles tels que GPT-4 de OpenAI et Claude d'Anthropic. Son accent sur l'entraînement optimal en termes de calcul a également suscité des discussions sur les coûts environnementaux et économiques de l'IA, alors que les chercheurs cherchent à obtenir de meilleures performances avec moins de ressources.
En plus de ses recherches, Borgeaud a participé à l'open source d'outils et de jeux de données. Il a contribué aux bibliothèques open source de DeepMind et a pris la parole lors de grandes conférences, notamment NeurIPS et ICML, où il a partagé ses idées sur la mise à l'échelle et l'évaluation. Son travail est souvent cité dans le contexte de l'IA générative et du développement de régimes d'entraînement plus efficaces.
Travaux actuels et orientations futures
En 2024, Borgeaud continue de travailler chez Google DeepMind, se concentrant sur les architectures de modèles de nouvelle génération et les méthodes d'entraînement. Ses projets récents explorent des moyens de réduire le coût computationnel de l'inférence, tels que l'élagage de modèles et la quantification, ainsi que l'amélioration de l'alignement des modèles avec les valeurs humaines grâce à des techniques comme le RLHF (apprentissage par renforcement avec retour humain).
Il s'intéresse également à l'intersection de l'apprentissage profond et des neurosciences, s'inspirant des systèmes biologiques pour concevoir des algorithmes d'apprentissage plus efficaces. Bien que les détails spécifiques de ses projets en cours ne soient pas publics, ses antécédents suggèrent que ses futures contributions continueront de façonner la trajectoire de la recherche en intelligence artificielle.
Publications sélectionnées
- « Training Compute-Optimal Large Language Models » (2022, avec Jordan Hoffmann, Llion Jones, et al.)
- « Improving Language Models by Retrieving from Trillions of Tokens » (2021, avec Jack Rae, et al.)
- « An Empirical Analysis of Compute-Optimal Inference for Problem-Solving with Language Models » (2023, avec des collaborateurs)
Ces articles figurent parmi les plus cités dans le domaine, et leurs méthodologies sont largement adoptées dans les contextes académiques et industriels.