Iosif Lazaridis est un informaticien dont les recherches portent sur le comportement de mise à l'échelle des grands modèles de langage. Il est surtout connu pour avoir co-écrit l'article de 2022 « Training Compute-Optimal Large Language Models », qui a introduit les lois de mise à l'échelle de Chinchilla, et pour sa contribution au modèle Gopher. Ses travaux ont influencé la manière dont les chercheurs et les entreprises allouent les ressources de calcul lors de l'entraînement de grands modèles de langage.
Les contributions de Lazaridis se situent à l'intersection de la théorie du apprentissage automatique et de l'ingénierie pratique. En analysant systématiquement comment la taille du modèle, la taille de l'ensemble de données et le budget de calcul interagissent, il a contribué à établir des lignes directrices devenues standard dans le domaine. Ses résultats ont été largement adoptés par les laboratoires académiques et les groupes de recherche industriels, y compris ceux de Google DeepMind, où il a mené une grande partie de ses recherches.
Lois de mise à l'échelle de Chinchilla
Le résultat central des travaux de Lazaridis avec le modèle Chinchilla a été la dérivation de lois de mise à l'échelle spécifiant le ratio optimal entre les paramètres du modèle et les jetons d'entraînement pour un budget de calcul donné. L'équipe a constaté que de nombreux modèles existants, y compris Gopher, étaient significativement sur-paramétrés et sous-entraînés. Pour un budget de calcul fixe, la taille optimale du modèle croît approximativement proportionnellement à la puissance cinquième du budget de calcul, tandis que le nombre de jetons d'entraînement devrait croître approximativement proportionnellement à la puissance trois cinquièmes.
Cette découverte a conduit à la création de Chinchilla, un modèle de 70 milliards de paramètres entraîné sur 1,4 billion de jetons. Malgré moins de paramètres que Gopher (280 milliards), Chinchilla a surpassé Gopher sur une large gamme de références, démontrant qu'un entraînement efficace en calcul pouvait produire de meilleures performances. Les résultats de l'article sont depuis devenus un point de référence pour les décisions d'entraînement dans le monde académique et industriel.
Gopher et le chemin vers Chinchilla
Avant l'article sur Chinchilla, Lazaridis a contribué au développement de Gopher, un modèle transformeur de 280 milliards de paramètres. Gopher faisait partie d'un effort plus large chez DeepMind pour repousser les limites de la modélisation du langage. L'article sur Gopher, publié en 2021, a analysé les performances du modèle sur 152 tâches diverses, montrant que l'augmentation de la taille du modèle améliorait généralement les performances, mais avec des rendements décroissants sur certaines tâches.
L'analyse de l'entraînement et de l'évaluation de Gopher a fourni la base empirique pour les travaux sur Chinchilla. En comparant des modèles de tailles différentes entraînés sur des quantités de données différentes, l'équipe a pu isoler les effets de la capacité du modèle par rapport aux données d'entraînement. Cette approche systématique a été une contribution méthodologique clé, allant au-delà des simples courbes de mise à l'échelle vers une compréhension plus nuancée de l'entraînement optimal en calcul.
Impact sur le domaine
Les lois de mise à l'échelle de Chinchilla ont eu un impact profond sur la manière dont les grands modèles sont entraînés. Avant leur publication, de nombreuses organisations suivaient la tendance à augmenter les paramètres du modèle tout en maintenant l'ensemble de données d'entraînement relativement fixe. Les résultats de Chinchilla ont suggéré que cette approche était sous-optimale, conduisant beaucoup à se tourner vers l'entraînement de modèles plus petits sur des ensembles de données plus grands.
Ce changement est évident dans les modèles ultérieurs de diverses organisations. Par exemple, le GPT-3 d'OpenAI avait 175 milliards de paramètres entraînés sur 300 milliards de jetons, ce que l'analyse de Chinchilla suggérait comme sur-paramétré. Les modèles ultérieurs, tels que ceux de la série LLaMA de Meta, ont explicitement adopté le ratio de Chinchilla, entraînant des modèles de 65 milliards de paramètres sur 1,4 billion de jetons. Les principes ont également influencé les décisions chez Anthropic et d'autres laboratoires, façonnant la conception de modèles comme Claude.
Méthodologie et contributions plus larges
Au-delà des résultats spécifiques, les travaux de Lazaridis illustrent une approche empirique rigoureuse pour comprendre les réseaux de neurones. L'article sur Chinchilla a impliqué une expérimentation extensive, entraînant plus de 400 modèles avec des nombres de paramètres et des budgets de jetons variés. Cette analyse empirique à grande échelle a nécessité une ingénierie minutieuse et des méthodes statistiques pour garantir des conclusions fiables.
Les recherches de Lazaridis touchent également à des sujets tels que la augmentation de données et le rôle de la qualité des données d'entraînement. Bien que l'article sur Chinchilla se soit concentré principalement sur la quantité, des travaux ultérieurs ont exploré comment la composition et la curation des ensembles de données affectent le comportement de mise à l'échelle. Ses contributions ont aidé à établir les lois de mise à l'échelle comme un outil fondamental pour raisonner sur le développement de modèles, semblable au rôle des programmes de taux d'apprentissage en optimisation.
Héritage et orientations actuelles
Au milieu des années 2020, Lazaridis continue de travailler dans le domaine de l'intelligence artificielle, bien que ses projets spécifiques actuels ne soient pas largement publiés. Ses travaux avec DeepMind ont été cités des milliers de fois, et l'article sur Chinchilla est considéré comme l'une des publications les plus influentes de l'histoire récente du apprentissage profond.
Les principes qu'il a contribué à établir sont désormais enseignés dans des cours universitaires sur l'apprentissage automatique à grande échelle et sont régulièrement appliqués dans l'industrie. Le passage à un entraînement optimal en calcul a également eu des implications économiques, car il affecte le coût de l'entraînement et l'empreinte environnementale de la recherche en IA. En fournissant un cadre clair pour équilibrer le calcul, les données et la taille du modèle, les recherches de Lazaridis ont contribué à rendre le développement de l'IA à grande échelle plus efficace et plus accessible.