Aakanksha Chowdhery es una científica informática reconocida por su trabajo en sistemas de Machine learning y comunicaciones inalámbricas. Es más conocida como la autora principal del artículo de 2022 que presentó el Pathways Language Model (PaLM), un Large language model desarrollado en Google DeepMind. Su investigación abarca arquitecturas eficientes de Deep learning, entrenamiento distribuido y sistemas en red, con aplicaciones tanto en computación en la nube como en el borde.
La carrera de Chowdhery ha unido el ámbito académico y la industria. Completó su doctorado en la Universidad de Stanford, donde su tesis se centró en la optimización de redes y sistemas inalámbricos. Posteriormente, se unió a Google Research, contribuyendo a proyectos que mejoraron la escalabilidad y eficiencia del entrenamiento de Neural networks. Su trabajo en PaLM, que tenía 540 mil millones de parámetros, demostró avances significativos en tareas de aprendizaje con pocos ejemplos y razonamiento, influyendo en desarrollos posteriores en Generative AI.
Vida temprana y educación
Chowdhery nació en India y cursó sus estudios de pregrado en ingeniería eléctrica en el Instituto Indio de Tecnología (IIT) de Delhi, graduándose en 2007. Luego se mudó a los Estados Unidos para realizar estudios de posgrado, obteniendo una maestría y un doctorado en ingeniería eléctrica de la Universidad de Stanford en 2012 y 2015, respectivamente. En Stanford, trabajó bajo la supervisión de profesores del laboratorio de sistemas de información, centrándose en la optimización entre capas para redes inalámbricas y algoritmos distribuidos.
Su investigación doctoral abordó desafíos en la asignación de recursos y la gestión de interferencias en redes heterogéneas. Este trabajo sentó las bases para su interés posterior en aplicar técnicas de optimización a cargas de trabajo de Machine learning, particularmente en entornos distribuidos y con recursos limitados.
Carrera en Google y PaLM
Chowdhery se unió a Google Research en 2015 como científica investigadora. Su trabajo inicial en Google implicó mejorar la eficiencia de modelos de Deep learning para aplicaciones en dispositivos, incluyendo reconocimiento de voz y clasificación de imágenes. Contribuyó al desarrollo de técnicas de compresión y cuantización de modelos, que son críticas para desplegar Neural networks en dispositivos móviles y embebidos.
En 2021, se convirtió en la autora principal del proyecto PaLM, un esfuerzo a gran escala para entrenar un modelo de lenguaje basado en Transformer (architecture) con 540 mil millones de parámetros. El artículo de PaLM, publicado en abril de 2022, reportó resultados de última generación en numerosos puntos de referencia, incluyendo razonamiento, generación de código y traducción. La capacidad del modelo para realizar aprendizaje con pocos ejemplos mediante el uso de indicaciones de cadena de pensamiento fue un punto destacado notable. El rol de Chowdhery implicó coordinar un equipo de investigadores e ingenieros, diseñar la infraestructura de entrenamiento y abordar desafíos relacionados con Model Pruning y Gradient Clipping para asegurar un entrenamiento estable.
El modelo PaLM fue posteriormente integrado en las ofertas de productos de Google, y su arquitectura influyó en modelos posteriores como PaLM 2 y Gemini. Las contribuciones de Chowdhery fueron ampliamente citadas, estableciéndola como una figura prominente en la comunidad de investigación de Large language models.
Contribuciones de investigación
Más allá de PaLM, Chowdhery ha publicado extensamente sobre temas como Multi-Head Attention, Positional Encoding y algoritmos de entrenamiento eficientes. Ha explorado el uso de Curriculum Learning y Learning Rate Scheduling para mejorar la convergencia en modelos a gran escala. Su trabajo a menudo enfatiza el despliegue práctico, cerrando la brecha entre el Machine learning teórico y los sistemas del mundo real.
También ha investigado la intersección de las redes inalámbricas y la IA, proponiendo métodos para la inferencia distribuida en el borde. Esto incluye investigación sobre Data Augmentation y Batch Normalization en entornos de aprendizaje federado, donde los datos permanecen en dispositivos locales. Su enfoque interdisciplinario ha sido reconocido con varios premios al mejor artículo en conferencias como IEEE INFOCOM y ACM MobiCom.
Premios y reconocimientos
Chowdhery ha recibido numerosos honores, incluyendo el Google Research Award y la Stanford Graduate Fellowship. Fue nombrada Rising Star en Ingeniería Eléctrica y Ciencias de la Computación por el MIT en 2016. Su trabajo en PaLM fue destacado en las principales publicaciones tecnológicas, y ha sido oradora invitada en conferencias como NeurIPS e ICML.
Carrera posterior e impacto
A partir de 2024, Chowdhery continúa trabajando en el campo, aunque ha ido más allá de Google para emprender investigación independiente y roles de asesoría. Ha estado involucrada en iniciativas para democratizar el acceso a herramientas de Artificial intelligence, particularmente para aplicaciones educativas y de atención médica. Sus ideas sobre el escalado de modelos Transformer (architecture) han informado las prácticas industriales en empresas como OpenAI y Anthropic, que han construido sobre las innovaciones arquitectónicas introducidas en PaLM.
El legado de Chowdhery reside en su capacidad para combinar un análisis teórico riguroso con ingeniería a gran escala. Su trabajo ha ayudado a dar forma al panorama moderno de Generative AI, haciendo que los modelos grandes sean más accesibles y eficientes. Sigue siendo una voz influyente en las discusiones sobre el desarrollo responsable de la IA y el futuro del Deep learning.
Publicaciones seleccionadas
- Chowdhery, A., et al. (2022). "PaLM: Scaling Language Modeling with Pathways." arXiv preprint arXiv:2204.02311.
- Chowdhery, A., et al. (2019). "Efficient On-Device Training with Gradient Filtering." Proceedings of the 36th International Conference on Machine Learning (ICML).
- Chowdhery, A., y otros. (2016). "Cross-Layer Optimization for Wireless Networks." IEEE Transactions on Information Theory.
Estas publicaciones destacan su doble experiencia en sistemas y algoritmos, una combinación que sigue siendo rara y valiosa en el campo de la Artificial intelligence.