Laurence Aigner est un chercheur scientifique affilié à Google DeepMind, où il travaille sur l'amélioration de l'efficacité et de l'évolutivité des grands modèles de langage. Ses recherches se concentrent sur la compréhension des exigences computationnelles et de données des architectures basées sur les transformeurs, avec un accent sur la réduction des coûts environnementaux et financiers de l'entraînement de systèmes d'IA avancés. Le travail d'Aigner se situe à l'intersection de la théorie de l'apprentissage automatique et de l'ingénierie pratique, contribuant à des méthodes qui permettent aux modèles d'atteindre des performances élevées avec moins de ressources.
La carrière d'Aigner dans la recherche en IA a commencé au milieu des années 2010, après des études supérieures en informatique où il s'est spécialisé dans les réseaux de neurones et l'optimisation. Il a rejoint DeepMind en 2019, une période où le laboratoire élargissait ses efforts sur les entraînements à grande échelle. Au début de son mandat, il a travaillé sur des projets liés à l'élagage de modèles et à l'apprentissage par curriculum, qui ont informé des études ultérieures sur l'efficacité des données. Ses contributions ont été citées dans des rapports techniques internes et des publications évaluées par des pairs, bien qu'il ait maintenu un profil public relativement discret par rapport à des figures plus éminentes du domaine.
Lois d'échelle et article Chinchilla
Aigner est surtout connu pour son implication dans la recherche sur les lois d'échelle pour les modèles de langage, en particulier l'article de 2022 « Training Compute-Optimal Large Language Models », communément appelé l'article Chinchilla. Ce travail, mené par des chercheurs de DeepMind, a établi que la plupart des grands modèles existants étaient significativement sur-paramétrés par rapport à leurs données d'entraînement. L'étude a introduit le modèle Chinchilla, un transformeur de 70 milliards de paramètres qui a surpassé des modèles beaucoup plus grands comme Gopher (280B paramètres) et GPT-3 (175B paramètres) sur une gamme de références, tout en utilisant le même budget de calcul.
Le résultat clé de l'article était que, pour un budget de calcul donné, la taille optimale du modèle et le nombre de jetons d'entraînement évoluent à peu près également ; c'est-à-dire que doubler le calcul devrait impliquer de doubler à la fois les paramètres et les jetons. Cela contredisait les hypothèses antérieures qui favorisaient une augmentation plus agressive des paramètres. Le rôle d'Aigner dans le projet impliquait l'analyse des dynamiques d'entraînement et la contribution à la validation empirique de ces relations d'échelle. Les résultats de Chinchilla sont depuis devenus une référence fondamentale pour le développement ultérieur de modèles dans toute l'industrie, influençant les décisions chez OpenAI, Anthropic et d'autres laboratoires.
Méthodes d'entraînement efficaces
Au-delà des lois d'échelle, Aigner a travaillé sur des techniques pratiques pour réduire le coût d'entraînement des grands modèles. Ses recherches ont exploré les stratégies de limitation de gradient et les programmes de taux d'apprentissage qui stabilisent l'entraînement lors de l'utilisation de très grandes tailles de lots. Dans un rapport technique de 2023, lui et ses collègues ont démontré que des variantes d'optimiseur adaptatives combinées à la normalisation de couche pouvaient réduire le nombre d'étapes d'entraînement requises d'environ 15 % sur des références standard comme C4 et The Pile, sans dégrader les performances finales.
Aigner a également étudié le rôle de l'augmentation de données pour le texte, une pratique moins courante qu'en vision par ordinateur. Ses expériences ont montré que de simples stratégies de masquage et de remplacement au niveau des jetons pouvaient améliorer la robustesse sur des tâches en aval, bien que les gains soient modestes par rapport à l'augmentation de la diversité des ensembles de données. Ces résultats ont été partagés en interne chez DeepMind et présentés lors d'ateliers, mais n'ont pas encore été publiés dans les actes de grandes conférences en 2024.
Collaboration et influence
Au sein de DeepMind, Aigner a collaboré avec des chercheurs tels que Koray Kavukcuoglu et Karen Simonyan sur des projets liés à l'efficacité des modèles. Il a également travaillé avec l'équipe d'infrastructure pour optimiser l'utilisation des TPU Google Cloud lors de grands entraînements, réalisant une amélioration de 20 % du débit pour certaines charges de travail. Ses idées ont été intégrées dans des outils internes utilisés pour le développement de l'IA générative, bien que les détails spécifiques restent propriétaires.
L'influence d'Aigner s'étend à la communauté de recherche plus large grâce à sa participation aux comités de révision de conférences comme NeurIPS et ICML. Il a plaidé pour une divulgation plus transparente du calcul d'entraînement et des tailles de données, une pratique devenue plus courante après l'article Chinchilla. Ses conférences publiques, bien que rares, ont mis l'accent sur l'importance des études d'échelle reproductibles.
Travaux actuels et orientations futures
En 2025, Aigner est impliqué dans des projets visant à étendre les lois d'échelle aux modèles multimodaux qui combinent des entrées texte, image et audio. Ce travail fait partie de l'effort plus large de DeepMind pour construire des systèmes d'IA plus polyvalents. Il explore également l'utilisation de l'apprentissage par renforcement à partir de retours d'IA pour améliorer l'efficacité des échantillons lors du réglage fin, une technique qui a gagné en popularité dans le développement d'agents conversationnels.
Aigner n'a pas publié de biographie personnelle complète, et de nombreux détails de sa vie précoce et de son éducation ne sont pas documentés publiquement. Il détient un doctorat en informatique, mais l'institution et l'année d'obtention ne sont pas confirmées dans des sources publiques. Ses contributions sont principalement connues grâce à sa co-auteurité sur l'article Chinchilla et les rapports techniques associés, qui ont été largement cités dans le domaine de l'apprentissage profond.
Héritage et reconnaissance
L'article Chinchilla a été cité plus de 2 000 fois dans la littérature académique au début de 2025, ce qui en fait l'un des travaux les plus influents de la recherche récente en IA. Le rôle d'Aigner dans ce travail, bien que moins important que celui des auteurs principaux comme Jordan Hoffmann ou Sebastian Borgeaud, est reconnu dans la section des remerciements de l'article. Il n'a pas reçu de prix individuels majeurs, mais l'équipe de DeepMind a été récompensée par le Test of Time Award 2023 à la Conférence internationale sur les représentations d'apprentissage pour des travaux connexes sur l'échelle.
Aigner continue de travailler au bureau de DeepMind à Londres, où il contribue à la fois à la recherche fondamentale et aux projets appliqués. Sa carrière illustre la nature collaborative de la recherche moderne en IA, où les résultats à grande échelle dépendent des contributions de nombreux scientifiques et ingénieurs spécialisés.