Jan Leike est un chercheur en alignement de l'IA qui a co-dirigé l'équipe Superalignment d'OpenAI et a ensuite rejoint Anthropic après une démission très médiatisée d'OpenAI en 2024.
Carrière chez DeepMind et OpenAI
Leike détient un doctorat en théorie de l'apprentissage par renforcement de l'Université nationale australienne. Avant de rejoindre OpenAI, il a travaillé comme scientifique de recherche chez DeepMind sur la sécurité de l'IA et les problèmes d'alignement. Chez OpenAI, il a travaillé de manière approfondie sur des techniques visant à entraîner des modèles pour qu'ils soient plus utiles et honnêtes, contribuant au programme de recherche RLHF qui a façonné ChatGPT et co-écrivant plus tard les travaux d'OpenAI sur la supervision à grande échelle et la généralisation faible-à-forte.
Superalignment et démission
En juillet 2023, OpenAI a annoncé l'équipe Superalignment, co-dirigée par Leike et le cofondateur d'OpenAI Ilya Sutskever, avec pour objectif déclaré de résoudre le problème technique de l'alignement d'un hypothétique futur système d'IA superintelligent en quatre ans, soutenu par un engagement de ressources informatiques significatives. Les travaux de l'équipe ont touché à l'interprétabilité, à la supervision à grande échelle et à la recherche automatisée sur l'alignement.
En mai 2024, Leike a démissionné d'OpenAI, déclarant publiquement que « la culture et les processus de sécurité ont pris le pas sur les produits brillants » au sein de l'entreprise et que son équipe avait du mal à obtenir les ressources informatiques qui lui avaient été promises. Sa démission est survenue la même semaine que le départ de Sutskever et a attiré une attention considérable sur les tensions internes chez OpenAI concernant l'équilibre entre le déploiement rapide de produits et la recherche en sécurité à long terme, tensions qui avaient également émergé lors de la crise du conseil d'administration d'OpenAI en novembre 2023.
Passage chez Anthropic
Peu après avoir quitté OpenAI, Leike a rejoint Anthropic pour poursuivre ses recherches sur l'alignement, rejoignant un groupe croissant de chercheurs, y compris des arrivées antérieures comme Jared Kaplan et Chris Olah, qui avaient quitté OpenAI pour Anthropic en raison de désaccords sur la priorisation de la sécurité. Chez Anthropic, il a poursuivi ses travaux liés à la supervision à grande échelle et à l'évaluation des modèles.
Influence
La lettre de démission publique de Leike est devenue l'un des documents les plus largement diffusés dans les discussions de la communauté de la sécurité de l'IA sur la question de savoir si les incitations internes des laboratoires de pointe soutiennent de manière fiable leurs engagements déclarés en matière de sécurité, un débat étroitement lié à des questions plus larges dans l'gouvernance de l'IA et le risque à long terme de l'IA. Son départ, suivant des sorties similaires d'autres chercheurs axés sur la sécurité, a été fréquemment cité comme preuve que les équipes d'alignement internes dans les laboratoires commerciaux en évolution rapide subissent une pression structurelle pour concurrencer les délais de produits en matière de ressources informatiques et d'effectifs.