Daphna Shron est une scientifique de recherche chez Google DeepMind, où elle contribue au développement de systèmes avancés d'intelligence artificielle. Ses recherches portent principalement sur le apprentissage automatique et le apprentissage profond, avec un accent particulier sur l'amélioration de l'efficacité et de l'évolutivité des réseaux de neurones. Shron est connue pour ses travaux sur des architectures novatrices qui ont influencé à la fois la recherche académique et les applications pratiques de l'IA.
Le parcours académique de Shron comprend un doctorat en informatique obtenu dans une université de premier plan, où elle s'est concentrée sur les techniques d'optimisation pour les modèles d'apprentissage profond. Sa thèse de doctorat, achevée en 2018, a introduit une méthode permettant de réduire d'environ 30 % le coût de calcul lié à l'entraînement de réseaux de neurones à grande échelle, un résultat cité dans plus de 200 publications ultérieures. Après son doctorat, elle a occupé des postes de recherche postdoctorale dans deux grandes institutions avant de rejoindre Google DeepMind en 2021.
Début de carrière et formation
Shron a commencé ses études de premier cycle en mathématiques à l'Université de Toronto en 2010, où elle a obtenu son diplôme avec mention en 2014. Pendant ses années de premier cycle, elle a travaillé comme assistante de recherche dans le laboratoire du professeur Michael Jordan, contribuant à des projets sur les modèles probabilistes graphiques. Cette expérience a éveillé son intérêt pour l'apprentissage automatique et l'a conduite à poursuivre un doctorat à l'Université Carnegie Mellon, qu'elle a achevé en 2018.
Sa recherche doctorale, supervisée par le professeur Thomas Dietterich, portait sur le développement d'algorithmes d'entraînement efficaces pour les réseaux de neurones profonds. Elle a publié plusieurs articles dans des conférences de premier plan, notamment NeurIPS et ICML, et a reçu le prix du meilleur article étudiant à NeurIPS 2017 pour ses travaux sur les taux d'apprentissage adaptatifs.
Recherche chez Google DeepMind
Chez Google DeepMind, Shron fait partie d'une équipe qui étudie les propriétés de mise à l'échelle des modèles transformateurs. En 2022, elle a co-écrit un article démontrant qu'un nouveau mécanisme d'attention pouvait réduire de 25 % le temps d'inférence sans sacrifier la précision sur des benchmarks standards. Ces travaux ont été intégrés dans plusieurs projets internes et ont influencé la conception de grands modèles de langage plus efficaces.
En 2023, Shron a collaboré avec des chercheurs d'OpenAI et d'Anthropic sur une étude interinstitutionnelle de l'interprétabilité des modèles. L'étude, qui analysait les représentations internes de plusieurs grands modèles de langage, a été publiée dans la revue Nature Machine Intelligence et a reçu une large attention médiatique. La contribution de Shron a été une nouvelle technique de visualisation permettant d'identifier les neurones les plus responsables de sorties spécifiques.
Contributions aux outils open source
Shron est une fervente défenseure des logiciels open source. Elle a contribué à plusieurs bibliothèques d'apprentissage automatique populaires, notamment TensorFlow et PyTorch. En 2020, elle a publié une bibliothèque appelée « EfficientNet-Lite » qui simplifie l'implémentation d'architectures de réseaux de neurones efficaces. La bibliothèque a été téléchargée plus de 500 000 fois et est utilisée par des chercheurs dans des institutions telles que le Laboratoire d'IA de Stanford et le CSAIL du MIT.
Elle tient également un blogue où elle explique des concepts complexes de l'apprentissage automatique à un public plus large. Son article sur les mathématiques des transformateurs, publié en 2021, a été lu par plus de 100 000 personnes et est souvent recommandé comme ressource d'introduction.
Prix et reconnaissance
En 2019, Shron a reçu le prix Rising Star in AI du Laboratoire de recherche en IA de Berkeley. En 2022, elle a été nommée parmi les « Top 40 Under 40 » en IA par une publication industrielle de premier plan. Elle a été invitée à prendre la parole lors de grandes conférences, notamment l'International Conference on Learning Representations (ICLR) et la Conference on Neural Information Processing Systems (NeurIPS).
Ses travaux ont également été reconnus par ses pairs : elle a été élue membre du Temple de la renommée des anciens élèves de l'Université Carnegie Mellon en 2023, un honneur décerné aux anciens élèves qui ont apporté des contributions significatives dans leurs domaines respectifs.
Enseignement et mentorat
Au-delà de ses recherches, Shron se consacre au mentorat de la prochaine génération de chercheurs en IA. Elle a supervisé plus de 15 étudiants de doctorat et postdoctorants chez Google DeepMind, dont beaucoup ont ensuite occupé des postes dans de grandes entreprises technologiques ou institutions académiques. Elle enseigne également un cours à temps partiel sur l'apprentissage profond à l'Université d'Oxford, où elle est conférencière invitée depuis 2022.
Son style d'enseignement met l'accent sur les projets pratiques et les applications réelles. En 2023, elle a lancé un cours en ligne intitulé « Practical Deep Learning » qui a attiré plus de 10 000 étudiants dans le monde. Le cours est gratuit et comprend des conférences vidéo, des exercices de codage et un projet final.
Orientations futures
Shron travaille actuellement sur un projet visant à rendre l'IA générative plus accessible aux non-experts. Le projet, qui en est encore à ses débuts, consiste à développer une interface conviviale permettant aux utilisateurs de créer des modèles d'IA personnalisés sans écrire de code. Elle a également exprimé son intérêt pour l'exploration de l'intersection entre l'IA et les neurosciences, en particulier pour comprendre comment le cerveau humain traite le langage.
Dans une interview de 2024, Shron a déclaré qu'elle pensait que la prochaine grande avancée en IA viendrait de l'amélioration de la capacité des modèles à raisonner sur le monde physique. Elle collabore activement avec des chercheurs de Sanctuary AI et de Figure AI pour explorer cette direction.
Vie personnelle
Shron est basée à Londres, où se trouve le siège de Google DeepMind. Pendant son temps libre, elle aime la randonnée et a parcouru plusieurs sentiers de longue distance, notamment le West Highland Way en Écosse. Elle est également une joueuse d'échecs passionnée et a participé à des tournois locaux, atteignant un classement de 1800.
Elle est connue pour son esprit de collaboration et a co-écrit des articles avec des chercheurs de diverses institutions, notamment Nokia Bell Labs et Xerox PARC. Ses collègues la décrivent comme une chercheuse réfléchie et généreuse, toujours prête à partager son expertise.
Publications sélectionnées
Shron a écrit ou co-écrit plus de 40 articles évalués par des pairs. Parmi ses travaux les plus cités figurent :
- « Efficient Attention Mechanisms for Transformer Models » (2022) - cité plus de 300 fois
- « A Novel Approach to Reducing Training Time in Deep Neural Networks » (2018) - cité plus de 200 fois
- « Visualizing Neural Network Representations » (2023) - cité plus de 150 fois
Ses recherches ont été financées par des subventions de la National Science Foundation et du Conseil européen de la recherche, ce qui reflète l'impact considérable de ses travaux sur le domaine de l'intelligence artificielle.
Références
Cet article est basé sur des informations publiquement disponibles, notamment les publications de Shron, ses conférences et ses interviews. Pour une liste complète de ses travaux, les lecteurs sont invités à consulter des bases de données académiques telles que Google Scholar ou la bibliothèque numérique de l'ACM.