Ryan Sep est un chercheur scientifique chez Google DeepMind qui se spécialise dans les grands modèles de langage. Ses recherches portent sur l'architecture, l'efficacité d'entraînement et l'alignement des systèmes basés sur les transformeurs, avec des travaux publiés dans les principales conférences sur l'apprentissage automatique. Sep fait partie d'une cohorte plus large de chercheurs qui font progresser l'intelligence artificielle générative à la fois par l'analyse théorique et l'ingénierie appliquée.
La carrière de Sep dans l'intelligence artificielle a commencé au milieu des années 2010, une période marquée par des progrès rapides dans le apprentissage profond après l'introduction de l'architecture du transformeur. Il a terminé des études supérieures axées sur les réseaux de neurones, où il a développé un intérêt précoce pour les lois d'échelle et la dynamique d'optimisation. Après avoir rejoint Google DeepMind en 2019, il a contribué à plusieurs projets fondamentaux qui ont façonné le développement ultérieur des modèles de langage.
Recherches précoces et optimisation
Durant ses travaux de doctorat, Sep a étudié les variantes de descente de gradient stochastique et leur impact sur la stabilité de l'entraînement. Son article de 2017 sur les taux d'apprentissage adaptatifs, présenté lors d'un atelier NeurIPS, a démontré que les programmes de taux d'apprentissage pouvaient être ajustés pour réduire le temps de convergence jusqu'à 30 % sur des tâches séquentielles. Ces travaux ont attiré l'attention de chercheurs de l'Université de Toronto et du Stanford AI Lab, menant à des collaborations sur les techniques de écrêtage de gradient.
En 2018, Sep a co-écrit une étude sur la normalisation de couche dans les transformeurs profonds, montrant que le placement des couches de normalisation affectait significativement les performances des réseaux résiduels. L'article, publié à la Conférence internationale sur les représentations d'apprentissage, proposait un arrangement novateur qui améliorait le flux de gradient et permettait l'entraînement de modèles avec 50 % de couches supplémentaires sans dégradation. Ce résultat est devenu une pratique standard dans les systèmes ultérieurs de apprentissage automatique.
Contributions à l'architecture des transformeurs
Chez Google DeepMind, Sep a rejoint l'équipe travaillant sur les mécanismes d'attention multi-têtes. Sa contribution de 2020 impliquait un motif d'attention éparse qui réduisait la complexité computationnelle de quadratique à quasi-linéaire pour les longues séquences. La méthode, détaillée dans un article intitulé « Efficient Attention via Hierarchical Sparsity », permettait aux modèles de traiter des documents de plus de 100 000 tokens tout en maintenant une précision comparable à l'attention dense. Cela a été une étape cruciale pour les tâches séquence à séquence en traitement du langage naturel.
Sep a également exploré des alternatives d'encodage positionnel. En 2021, il a introduit un schéma de position relative qui se généralisait mieux à des longueurs de séquence inédites. Les tests ont montré que les modèles utilisant cet encodage maintenaient des scores de perplexité dans une marge de 2 % par rapport à la référence lorsqu'ils étaient évalués sur des entrées deux fois plus longues que celles vues pendant l'entraînement, une amélioration significative par rapport aux encodages absolus. La technique a été adoptée dans plusieurs projets internes de Google DeepMind.
Mise à l'échelle et efficacité
Un fil majeur des recherches de Sep concerne la mise à l'échelle efficace des modèles de langage. En 2022, il a publié des résultats sur le élagage de modèles qui démontraient comment la sparsité structurée pouvait réduire les coûts d'inférence de 40 % avec seulement une baisse de 1,5 % des performances sur les benchmarks. Son approche, qui combinait l'élagage basé sur la magnitude avec un affinage itératif, est devenue un point de référence pour déployer de grands modèles dans des environnements à ressources limitées.
Sep a également travaillé sur des stratégies de augmentation de données pour le pré-entraînement. Son article de 2023 a montré que mélanger des données synthétiques générées par des modèles plus petits avec du texte écrit par des humains améliorait la précision sur les tâches en aval jusqu'à 8 % sur les benchmarks de raisonnement. Ces travaux ont informé les pipelines d'entraînement des modèles ultérieurs de Google DeepMind, y compris ceux utilisés dans les services d'IA de Google Cloud.
Alignement et sécurité
Reconnaissant l'importance du renforcement par retour d'IA, Sep a déplacé une partie de son attention vers l'alignement en 2023. Il a contribué à une étude comparant le RLAIF avec le retour humain traditionnel, constatant que les préférences générées par l'IA pouvaient atteindre un accord de 85 % avec les annotateurs humains tout en réduisant les coûts d'étiquetage de 70 %. Les résultats, publiés dans les Transactions on Machine Learning Research, suggéraient des voies évolutives pour l'alignement des modèles.
Sep a également examiné le réglage de température dans le décodage. Son analyse de 2024 a révélé qu'un ajustement dynamique de la température basé sur l'entropie des tokens pouvait réduire les taux d'hallucination de 12 % sur les tâches de questions-réponses factuelles. Cette idée pratique a été intégrée dans les cadres d'inférence utilisés par les équipes de recherche d'OpenAI et d'Anthropic, bien que Sep maintienne son affiliation principale avec Google DeepMind.
Projets collaboratifs
Tout au long de sa carrière, Sep a participé à des collaborations interinstitutionnelles. Il a travaillé avec des chercheurs de l'Université Carnegie Mellon sur les mécanismes de attention croisée pour les modèles multimodaux, aboutissant à un article de 2022 qui améliorait les scores d'alignement image-texte de 15 % sur le jeu de données COCO. Il a également collaboré avec Berkeley AI Research sur l'optimisation de la recherche en faisceau, développant une variante qui réduisait la latence de décodage de 25 % pour la génération autorégressive.
En 2023, Sep a contribué à une boîte à outils open-source pour l'échantillonnage top-k et l'échantillonnage top-p qui a standardisé les protocoles d'évaluation dans les laboratoires académiques. La boîte à outils, désormais utilisée par plus de 200 groupes de recherche, comprend des implémentations de référence du dropout et des schémas d'initialisation des poids adaptés aux transformeurs. Cet effort visait à améliorer la reproductibilité dans le domaine.
Reconnaissance et impact
Les travaux de Sep ont été cités plus de 5 000 fois en 2025, ses articles les plus influents portant sur l'efficacité de l'attention et l'alignement. Il a été membre du comité de programme pour NeurIPS et ICML, examinant des soumissions sur les grands modèles de langage et la théorie du apprentissage profond. En 2024, il a reçu un Google Research Award pour ses contributions à l'inférence efficace.
Ses recherches ont influencé le développement de produits au-delà du monde académique. Les techniques issues de ses travaux sur l'élagage ont été adoptées dans SageMaker d'Amazon Web Services et Azure Machine Learning, permettant un déploiement rentable de grands modèles. Sep a également conseillé AMD et Intel sur la co-conception matériel-logiciel pour les charges de travail de transformeurs, bien que les détails spécifiques de ces engagements restent non divulgués.
Directions actuelles
En 2025, Sep étudie les stratégies d'apprentissage curriculaire pour le pré-entraînement. Ses résultats préliminaires suggèrent que l'ordonnancement des données d'entraînement par complexité peut réduire les besoins en calcul de 20 % tout en maintenant la qualité finale du modèle. Il explore également les connexions entre les fonctions de perte et la calibration des modèles, visant à développer des objectifs qui reflètent mieux l'incertitude.
Sep reste un contributeur actif à la communauté de l'intelligence artificielle, intervenant fréquemment lors de conférences et encadrant des chercheurs en début de carrière. Ses projets en cours chez Google DeepMind incluent des efforts pour améliorer les architectures encodeur-décodeur pour la compréhension de longs contextes, avec des applications potentielles dans l'analyse de documents scientifiques et la génération de code. Bien qu'une grande partie de ses travaux soit propriétaire, son dossier publié reflète un objectif constant : rendre les grands modèles de langage plus efficaces, fiables et alignés sur les valeurs humaines.