Stephen Merce est un chercheur scientifique chez Google DeepMind, où il travaille sur le traitement du langage naturel (NLP) et les systèmes d'apprentissage automatique à grande échelle. Ses recherches se concentrent sur l'amélioration de l'efficacité et de la fiabilité des grands modèles de langage, en particulier dans les domaines de la dynamique d'entraînement, de l'optimisation et de l'évaluation des modèles. Merce est actif dans ce domaine depuis le milieu des années 2010, contribuant à la fois à la littérature académique et aux systèmes d'IA déployés.
Le travail de Merce se situe à l'intersection de l'intelligence artificielle et de l'apprentissage automatique, avec un fort accent sur les architectures d'apprentissage profond. Il a collaboré avec des chercheurs de plusieurs institutions, notamment l'Université de Toronto et le Stanford AI Lab, et ses articles ont été présentés lors de grandes conférences telles que NeurIPS, ICML et ACL. Ses recherches actuelles chez Google DeepMind portent sur le développement de méthodes pour faire évoluer les modèles transformer tout en réduisant les coûts de calcul et en améliorant l'interprétabilité.
Début de carrière et formation
Merce a obtenu sa licence en informatique à l'Université Carnegie Mellon en 2012, où il s'est d'abord intéressé à l'IA et au NLP. Il a ensuite poursuivi un doctorat à l'Université de Toronto sous la supervision d'Aaron Courville, se concentrant sur l'apprentissage séquence-à-séquence et les mécanismes d'attention. Sa thèse de doctorat, achevée en 2017, a introduit des approches novatrices pour l'attention multi-têtes qui ont amélioré la qualité de traduction tout en réduisant le nombre de paramètres.
Pendant son doctorat, Merce a effectué un stage chez OpenAI en 2016, où il a travaillé sur les premières versions de modèles génératifs. Cette expérience a façonné son intérêt ultérieur pour les méthodes d'entraînement à grande échelle. Après avoir obtenu son diplôme, il a passé deux ans comme chercheur postdoctoral au Berkeley AI Research, collaborant avec Anima Anandkumar sur des méthodes basées sur les tenseurs pour la compression de réseaux neuronaux.
Contributions aux modèles de langage
Chez Google DeepMind, Merce a participé à plusieurs projets liés à l'IA générative. Il a contribué au développement de mécanismes d'attention efficaces, notamment une variante de l'attention croisée qui réduit l'utilisation de la mémoire dans les tâches à contexte long. Son article de 2021, « Efficient Attention via Sparse Factorization », a introduit une méthode qui a permis une accélération de 30 % sur les benchmarks de traduction automatique tout en maintenant la précision.
Merce a également travaillé sur les schémas d'encodage positionnel pour les transformers, proposant un encodage positionnel apprenable qui s'adapte aux entrées de longueur variable. Ce travail a été cité dans des recherches ultérieures sur les modèles séquence-à-séquence et a influencé la conception de plusieurs modèles de langage open-source.
En 2022, il a collaboré avec des chercheurs d'Anthropic sur une étude de la stabilité du RLHF (apprentissage par renforcement à partir de retours humains). L'article conjoint, publié à l'ICML 2023, a analysé l'impact des programmes de taux d'apprentissage sur le « reward hacking », fournissant des lignes directrices pratiques pour entraîner des modèles alignés. Cette collaboration n'a pas conduit à un projet conjoint formel, mais a abouti à un rapport technique largement discuté.
Optimisation et méthodes d'entraînement
Une part importante des recherches de Merce aborde les défis d'optimisation dans l'apprentissage profond. Il a publié sur les variantes de l'optimiseur Adam, proposant une méthode de taux d'apprentissage adaptatif qui améliore la convergence sur des objectifs non convexes. Son article de 2019, « Adaptive Clipping for Stable Training », a introduit une technique de clipping de gradient qui empêche les gradients explosifs dans les grands transformers, adoptée dans plusieurs pipelines d'entraînement industriels.
Merce a également exploré des stratégies d'apprentissage curriculaire pour les modèles de langage, montrant que l'ordre des données d'entraînement par difficulté peut réduire le nombre d'étapes nécessaires pour atteindre une perplexité cible. Ses expériences sur l'augmentation de données pour les tâches de NLP ont démontré que les données synthétiques générées par des modèles plus petits peuvent efficacement compléter les ensembles de données annotés par des humains.
Évaluation et interprétabilité
Ces dernières années, Merce s'est concentré sur les métriques d'évaluation pour les grands modèles de langage. Il a co-écrit un article de 2023 proposant un nouveau benchmark pour la cohérence factuelle dans la synthèse, utilisé par les équipes de Google Cloud et d'AWS pour évaluer la fiabilité des modèles. Son travail sur l'élagage de modèles a montré que jusqu'à 40 % des paramètres d'un transformer entraîné peuvent être supprimés sans perte significative de performance, permettant un déploiement plus efficace sur des appareils de périphérie.
Merce s'intéresse également à l'interprétabilité, en particulier à la compréhension de la manière dont les réseaux neuronaux représentent la structure linguistique. Il a utilisé des classificateurs de sondage pour analyser les représentations internes des transformers, révélant que certaines couches encodent l'information syntaxique plus fortement que d'autres. Cette recherche a des implications pour le débogage et l'amélioration des performances des modèles.
Collaborations et impact
Merce a maintenu des collaborations avec des institutions académiques, notamment le MIT CSAIL et l'Université d'Oxford. Il a été réviseur pour de grandes conférences et a été membre du comité de programme pour ACL et EMNLP. Son travail a été cité dans plus de 3 000 articles académiques, selon Google Scholar, bien que ce nombre soit approximatif et inclue des auto-citations.
Au sein de Google DeepMind, Merce a travaillé avec Jakob Uszkoreit et Lukasz Kaiser sur des améliorations des transformers, bien que la nature exacte de ces collaborations ne soit pas documentée publiquement. Il a également encadré plusieurs stagiaires qui ont ensuite occupé des postes chez OpenAI et Apple.
Prix et reconnaissance
Merce a reçu le prix du meilleur article à l'Atelier sur le NLP efficace de 2020, un événement plus restreint, pour son travail sur l'attention éparse. Il a également été finaliste pour le Google Faculty Research Award 2022, bien qu'il n'ait pas gagné. En 2023, il a été invité à donner un discours principal à la Conférence sur la modélisation du langage, où il a présenté ses vues sur l'avenir de l'IA efficace.
Travail actuel et orientations futures
En 2025, Merce dirige un projet chez Google DeepMind sur l'apprentissage continu pour les modèles de langage, visant à permettre aux modèles de mettre à jour leurs connaissances sans oubli catastrophique. Ce travail implique des techniques de normalisation par lots adaptées aux couches de transformer et explore l'utilisation de la mise à l'échelle de température pour contrôler la diversité des sorties lors du fine-tuning.
Merce a également exprimé son intérêt pour l'intersection de l'IA et du matériel, collaborant avec des équipes d'AMD et d'Intel sur l'optimisation de l'inférence pour leurs accélérateurs. Bien que ces efforts soient préliminaires, ils reflètent une tendance plus large vers la co-conception d'algorithmes et de puces.
Publications sélectionnées
- « Efficient Attention via Sparse Factorization » (2021)
- « Adaptive Clipping for Stable Training » (2019)
- « Probing Linguistic Structure in Transformer Representations » (2020)
- « Curriculum Learning for Neural Machine Translation » (2018)
- « On the Stability of RLHF » (avec des chercheurs d'Anthropic, 2023)
Références
Les publications de Merce sont indexées dans des bases de données majeures telles que DBLP et Google Scholar. Son profil Google DeepMind liste ses intérêts de recherche et ses articles sélectionnés, bien qu'il ne fournisse pas une biographie complète. Cet article s'appuie sur des informations publiquement disponibles et peut ne pas capturer tous les aspects de sa carrière.