Jared Kaplan est un physicien théoricien et chercheur en apprentissage automatique, connu pour avoir dirigé la recherche qui a établi les lois d'échelle empiriques pour les modèles de langage, et comme cofondateur et scientifique en chef d'Anthropic.
Contexte et lois d'échelle
Kaplan occupait un poste de professeur en physique théorique à l'Université Johns Hopkins avant de passer à la recherche en IA, un parcours qu'il a décrit comme ayant façonné son approche consistant à traiter le comportement des modèles comme un système empirique et quantitatif à mesurer plutôt que seulement à concevoir par intuition. En 2020, alors affilié à OpenAI, il a dirigé « Scaling Laws for Neural Language Models », un article qui a montré que la perte sur les tâches de modélisation du langage suit des relations de loi de puissance lisses avec la taille du modèle, la taille de l'ensemble de données et le calcul d'entraînement. L'article a fourni aux laboratoires un cadre prédictif pour décider comment allouer un budget de calcul fixe, et il a directement informé l'entraînement de GPT-3. Un suivi largement cité de 2022 de DeepMind, l'article « Chinchilla », a révisé les conclusions originales de Kaplan sur le ratio optimal de paramètres par rapport aux jetons d'entraînement, mais le cadre de loi de puissance sous-jacent qu'il a contribué à établir est resté fondamental pour la planification des grands cycles d'entraînement dans les laboratoires de pointe.
Anthropic
En 2021, Kaplan a cofondé Anthropic aux côtés de Dario Amodei, Daniela Amodei, Tom Brown, Chris Olah et d'autres qui avaient travaillé ensemble chez OpenAI. En tant que scientifique en chef d'Anthropic, il a supervisé des directions de recherche couvrant le pré-entraînement, l'alignement et l'étude empirique des capacités des modèles à mesure qu'ils évoluent, poursuivant le programme de recherche axé sur l'échelle qu'il avait commencé chez OpenAI. Le cadre de sécurité publique d'Anthropic, y compris sa politique d'échelle responsable (voir Responsible scaling policies), repose en partie sur le principe que la croissance des capacités est suffisamment prévisible à partir des tendances d'échelle pour être planifiée et contrôlée, une idée directement issue des recherches antérieures de Kaplan.
Influence
Les travaux de Kaplan sur les lois d'échelle sont fréquemment cités aux côtés de l'article GPT-3 comme l'un des deux développements qui ont convaincu le domaine plus large que continuer à faire évoluer les modèles transformers de manière prévisible, plutôt que de chercher de nouvelles architectures fondamentalement différentes, était le chemin le plus fiable vers d'autres gains de capacités, une conclusion qui a façonné la stratégie des laboratoires de pointe jusqu'au milieu des années 2020.
Son parcours en physique théorique est fréquemment mentionné dans les profils de la direction d'Anthropic comme une caractéristique distinctive parmi les fondateurs de laboratoires d'IA, et il a continué à établir des analogies explicites entre les méthodes empiriques utilisées pour étudier les systèmes physiques et la manière dont les laboratoires de pointe étudient maintenant le comportement des grands modèles entraînés avant et après leur déploiement.