Aakanksha Chowdhery est une informaticienne reconnue pour ses travaux sur les systèmes de Machine learning et les communications sans fil. Elle est surtout connue comme l'auteure principale de l'article de 2022 présentant le Pathways Language Model (PaLM), un Large language model développé chez Google DeepMind. Ses recherches couvrent les architectures de Deep learning efficaces, l'entraînement distribué et les systèmes en réseau, avec des applications dans le calcul en nuage et en périphérie.
La carrière de Chowdhery a fait le pont entre le monde académique et l'industrie. Elle a obtenu son doctorat à l'Université Stanford, où sa thèse portait sur l'optimisation des réseaux et les systèmes sans fil. Elle a ensuite rejoint Google Research, contribuant à des projets qui ont amélioré l'évolutivité et l'efficacité de l'entraînement des Neural network. Son travail sur PaLM, qui comptait 540 milliards de paramètres, a démontré des avancées significatives dans les tâches d'apprentissage en quelques exemples et de raisonnement, influençant les développements ultérieurs dans le domaine de la Generative AI.
Jeunesse et éducation
Chowdhery est née en Inde et a poursuivi ses études de premier cycle en génie électrique à l'Institut indien de technologie (IIT) de Delhi, où elle a obtenu son diplôme en 2007. Elle s'est ensuite installée aux États-Unis pour ses études supérieures, obtenant une maîtrise et un doctorat en génie électrique à l'Université Stanford en 2012 et 2015, respectivement. À Stanford, elle a travaillé sous la supervision de professeurs du laboratoire des systèmes d'information, se concentrant sur l'optimisation inter-couches pour les réseaux sans fil et les algorithmes distribués.
Ses recherches doctorales ont abordé les défis de l'allocation des ressources et de la gestion des interférences dans les réseaux hétérogènes. Ces travaux ont jeté les bases de son intérêt ultérieur pour l'application de techniques d'optimisation aux charges de travail de Machine learning, en particulier dans des environnements distribués et à ressources limitées.
Carrière chez Google et PaLM
Chowdhery a rejoint Google Research en 2015 en tant que chercheuse scientifique. Ses premiers travaux chez Google ont porté sur l'amélioration de l'efficacité des modèles de Deep learning pour les applications sur appareil, notamment la reconnaissance vocale et la classification d'images. Elle a contribué au développement de techniques de compression et de quantification des modèles, qui sont essentielles pour déployer des Neural network sur des appareils mobiles et embarqués.
En 2021, elle est devenue l'auteure principale du projet PaLM, un effort à grande échelle pour entraîner un modèle de langage basé sur Transformer (architecture) avec 540 milliards de paramètres. L'article sur PaLM, publié en avril 2022, a rapporté des résultats de pointe sur de nombreux benchmarks, notamment le raisonnement, la génération de code et la traduction. La capacité du modèle à effectuer un apprentissage en quelques exemples avec un raisonnement en chaîne de pensée a été un point fort notable. Le rôle de Chowdhery consistait à coordonner une équipe de chercheurs et d'ingénieurs, à concevoir l'infrastructure d'entraînement et à relever les défis liés au Model Pruning et au Gradient Clipping pour garantir un entraînement stable.
Le modèle PaLM a ensuite été intégré aux offres de produits de Google, et son architecture a influencé des modèles ultérieurs comme PaLM 2 et Gemini. Les contributions de Chowdhery ont été largement citées, faisant d'elle une figure éminente de la communauté de recherche sur les Large language model.
Contributions à la recherche
Au-delà de PaLM, Chowdhery a publié de nombreux articles sur des sujets tels que la Multi-Head Attention, le Positional Encoding et les algorithmes d'entraînement efficaces. Elle a exploré l'utilisation du Curriculum Learning et du Learning Rate Scheduling pour améliorer la convergence dans les modèles à grande échelle. Son travail met souvent l'accent sur le déploiement pratique, comblant le fossé entre le Machine learning théorique et les systèmes réels.
Elle a également étudié l'intersection des réseaux sans fil et de l'IA, proposant des méthodes pour l'inférence distribuée en périphérie. Cela inclut des recherches sur le Data Augmentation et la Batch Normalization dans des contextes d'apprentissage fédéré, où les données restent sur les appareils locaux. Son approche interdisciplinaire a été reconnue par plusieurs prix du meilleur article lors de conférences telles que IEEE INFOCOM et ACM MobiCom.
Prix et reconnaissance
Chowdhery a reçu de nombreux honneurs, notamment le Google Research Award et la bourse de troisième cycle de Stanford. Elle a été nommée Rising Star en génie électrique et informatique par le MIT en 2016. Son travail sur PaLM a été présenté dans les principales publications technologiques, et elle a été conférencière invitée à des conférences comme NeurIPS et ICML.
Carrière ultérieure et impact
En 2024, Chowdhery continue de travailler dans le domaine, bien qu'elle ait quitté Google pour poursuivre des recherches indépendantes et des rôles de conseil. Elle a participé à des initiatives visant à démocratiser l'accès aux outils d'Artificial intelligence, en particulier pour les applications éducatives et de santé. Ses idées sur la mise à l'échelle des modèles Transformer (architecture) ont informé les pratiques industrielles d'entreprises comme OpenAI et Anthropic, qui se sont appuyées sur les innovations architecturales introduites dans PaLM.
L'héritage de Chowdhery réside dans sa capacité à combiner une analyse théorique rigoureuse avec une ingénierie à grande échelle. Son travail a contribué à façonner le paysage moderne de la Generative AI, rendant les grands modèles plus accessibles et efficaces. Elle reste une voix influente dans les discussions sur le développement responsable de l'IA et l'avenir du Deep learning.
Publications sélectionnées
- Chowdhery, A., et al. (2022). « PaLM: Scaling Language Modeling with Pathways. » arXiv preprint arXiv:2204.02311.
- Chowdhery, A., et al. (2019). « Efficient On-Device Training with Gradient Filtering. » Actes de la 36e Conférence internationale sur l'apprentissage automatique (ICML).
- Chowdhery, A., et al. (2016). « Cross-Layer Optimization for Wireless Networks. » IEEE Transactions on Information Theory.
Ces publications mettent en évidence sa double expertise en systèmes et en algorithmes, une combinaison qui reste rare et précieuse dans le domaine de l'Artificial intelligence.