Jeffrey Kaplan est un informaticien spécialisé dans l'intelligence artificielle et l'apprentissage automatique. Il est surtout connu pour son rôle de co-auteur de l'article présentant GPT-3, l'un des plus grands et des plus influents grands modèles de langage développés par OpenAI. Les travaux de Kaplan ont contribué à la compréhension du comportement de mise à l'échelle des réseaux de neurones et au développement de systèmes d'IA plus sûrs.
Les recherches de Kaplan se situent à l'intersection de la mise à l'échelle des modèles, de la dynamique d'entraînement et de l'alignement de l'IA. Ses contributions ont aidé à façonner l'approche moderne de la construction de systèmes d'IA générative, notamment dans les domaines de l'architecture des modèles et de la prédiction des performances.
Début de carrière et formation
Kaplan a obtenu sa licence en physique et en mathématiques, où il a acquis de solides bases en raisonnement quantitatif. Il a ensuite poursuivi des études supérieures en apprentissage automatique, se concentrant sur les modèles probabilistes et les techniques d'optimisation. Au cours de ses années universitaires, il a été influencé par la communauté de recherche plus large d'institutions comme le CSAIL du MIT et le Stanford AI Lab, bien que ses postes directs aient été dans le secteur privé.
Ses premiers travaux ont consisté à appliquer l'apprentissage profond à des tâches de traitement du langage naturel, ce qui l'a finalement conduit à rejoindre OpenAI en 2019. À cette époque, OpenAI passait de la recherche sur l'apprentissage par renforcement à la mise à l'échelle des modèles basés sur les transformeurs.
GPT-3 et lois de mise à l'échelle
La contribution la plus notable de Kaplan a eu lieu en 2020, lorsqu'il a co-écrit l'article « Language Models are Few-Shot Learners », qui présentait GPT-3. Ce modèle, fort de 175 milliards de paramètres, a démontré que les transformeurs à grande échelle pouvaient accomplir un large éventail de tâches avec un minimum de réglage fin, en s'appuyant sur l'apprentissage contextuel. Le rôle de Kaplan a consisté à concevoir les expériences et à analyser les performances du modèle à différentes échelles.
Avant GPT-3, Kaplan était l'auteur principal d'une étude de 2020 examinant les lois de mise à l'échelle pour les modèles de langage neuronaux. Ces travaux ont établi des relations de loi de puissance prévisibles entre la taille du modèle, la taille de l'ensemble de données et le budget de calcul, guidant ainsi la manière dont OpenAI allouait les ressources pour les modèles suivants. Ces résultats ont influencé les développements ultérieurs de l'architecture des modèles, tels que les améliorations des réseaux résiduels et les techniques de normalisation de couche utilisées dans les LLM modernes.
Passage à Anthropic
En 2021, Kaplan a quitté OpenAI pour rejoindre Anthropic, une société concurrente spécialisée dans la sécurité de l'IA, cofondée par d'anciens chercheurs d'OpenAI. Chez Anthropic, ses recherches se sont orientées vers l'interprétabilité et l'alignement, en particulier autour du RLHF (apprentissage par renforcement à partir de retours humains) et des techniques visant à réduire les sorties nuisibles. Il a contribué au développement de Claude, le modèle assistant d'Anthropic, en mettant l'accent sur les principes de l'IA constitutionnelle.
Ses travaux chez Anthropic ont exploré comment rendre les modèles plus transparents et plus contrôlables, en abordant des problèmes tels que l'hallucination et les biais. Il a également étudié les effets de la mise à l'échelle de la température et de l'échantillonnage top-p sur la diversité des sorties, cherchant à équilibrer créativité et sécurité.
Contributions à la recherche
Le portfolio de recherche de Kaplan comprend des études sur les algorithmes d'optimisation, tels que l'optimiseur Adam et ses variantes, ainsi que des stratégies d'apprentissage curriculaire. Il a également publié sur le clipping de gradient et le dropout comme méthodes de stabilisation de l'entraînement. Ses articles co-écrits privilégient souvent les résultats empiriques aux garanties théoriques, un style courant dans les laboratoires de recherche industriels.
En plus des lois de mise à l'échelle, il a contribué à la compréhension des mécanismes d'attention multi-têtes et de leur rôle dans la capture des dépendances à longue portée. Ces travaux ont des implications pour les architectures séquence à séquence et les modèles encodeur-décodeur utilisés en traduction et en synthèse.
Impact plus large et influence dans l'industrie
Les conclusions de Kaplan sur les lois de mise à l'échelle ont été largement adoptées dans l'industrie de l'IA, influençant le développement matériel chez des entreprises comme NVIDIA et Intel, bien que ces firmes se concentrent principalement sur les puces, et non sur les modèles. Ses idées ont contribué à justifier d'importants investissements dans les infrastructures de calcul, telles que les services cloud AWS et Azure, pour l'entraînement de grands modèles. Notamment, ses travaux ont également été cités dans des recherches menées par des groupes de Google DeepMind et de l'Université de Toronto.
Son plaidoyer pour une mise à l'échelle prudente a encouragé les discussions sur les coûts environnementaux et économiques de l'entraînement des modèles, suscitant un intérêt pour les techniques d'élagage de modèles et d'efficacité. La double orientation de Kaplan sur la performance et la sécurité le place parmi le petit groupe de chercheurs qui font le pont entre les travaux de pointe sur les capacités et les préoccupations d'alignement.
Vie personnelle et héritage
On sait peu de choses sur la vie personnelle de Kaplan, car il maintient un profil bas en dehors de ses publications professionnelles. Depuis le début des années 2020, il reste actif dans la recherche en IA, contribuant aux efforts continus pour comprendre et contrôler les systèmes neuronaux à grande échelle. Son héritage est lié au cadre empirique qui sous-tend la génération actuelle de grands modèles de langage, devenus essentiels pour de nombreuses applications modernes d'apprentissage automatique.