Aakanksha Chowdhery é uma cientista da computação reconhecida por seu trabalho em sistemas de Machine learning e comunicações sem fio. Ela é mais conhecida como autora principal do artigo de 2022 que introduziu o Pathways Language Model (PaLM), um Large language model desenvolvido no Google DeepMind. Sua pesquisa abrange arquiteturas eficientes de Deep learning, treinamento distribuído e sistemas em rede, com aplicações tanto em computação em nuvem quanto na borda.
A carreira de Chowdhery transita entre a academia e a indústria. Ela concluiu seu doutorado na Universidade de Stanford, onde sua tese focou em otimização de redes e sistemas sem fio. Posteriormente, ingressou no Google Research, contribuindo para projetos que melhoraram a escalabilidade e a eficiência do treinamento de Neural network. Seu trabalho no PaLM, que possuía 540 bilhões de parâmetros, demonstrou avanços significativos em aprendizado com poucos exemplos e tarefas de raciocínio, influenciando desenvolvimentos subsequentes em Generative AI.
Início da Vida e Educação
Chowdhery nasceu na Índia e cursou sua graduação em engenharia elétrica no Instituto Indiano de Tecnologia (IIT) de Deli, formando-se em 2007. Em seguida, mudou-se para os Estados Unidos para estudos de pós-graduação, obtendo um mestrado e um doutorado em engenharia elétrica pela Universidade de Stanford, em 2012 e 2015, respectivamente. Em Stanford, trabalhou sob a supervisão de professores no laboratório de sistemas de informação, focando em otimização entre camadas para redes sem fio e algoritmos distribuídos.
Sua pesquisa de doutorado abordou desafios de alocação de recursos e gerenciamento de interferência em redes heterogêneas. Esse trabalho estabeleceu as bases para seu interesse posterior em aplicar técnicas de otimização a cargas de trabalho de Machine learning, particularmente em ambientes distribuídos e com recursos limitados.
Carreira no Google e o PaLM
Chowdhery ingressou no Google Research em 2015 como cientista de pesquisa. Seus primeiros trabalhos na empresa focaram em melhorar a eficiência de modelos de Deep learning para aplicações em dispositivos, incluindo reconhecimento de fala e classificação de imagens. Ela contribuiu para o desenvolvimento de técnicas de compressão e quantização de modelos, que são essenciais para implantar Neural network em dispositivos móveis e embarcados.
Em 2021, tornou-se autora principal do projeto PaLM, um esforço em larga escala para treinar um modelo de linguagem baseado em Transformer (architecture) com 540 bilhões de parâmetros. O artigo do PaLM, publicado em abril de 2022, relatou resultados de ponta em diversos benchmarks, incluindo raciocínio, geração de código e tradução. A capacidade do modelo de realizar aprendizado com poucos exemplos, usando prompts de cadeia de pensamento, foi um destaque notável. O papel de Chowdhery envolveu coordenar uma equipe de pesquisadores e engenheiros, projetar a infraestrutura de treinamento e enfrentar desafios relacionados a Model Pruning e Gradient Clipping para garantir um treinamento estável.
O modelo PaLM foi posteriormente integrado às ofertas de produtos do Google, e sua arquitetura influenciou modelos subsequentes como PaLM 2 e Gemini. As contribuições de Chowdhery foram amplamente citadas, estabelecendo-a como uma figura proeminente na comunidade de pesquisa de Large language model.
Contribuições de Pesquisa
Além do PaLM, Chowdhery publicou extensivamente sobre tópicos como Multi-Head Attention, Positional Encoding e algoritmos eficientes de treinamento. Ela explorou o uso de Curriculum Learning e Learning Rate Scheduling para melhorar a convergência em modelos de larga escala. Seu trabalho frequentemente enfatiza a implantação prática, preenchendo a lacuna entre o Machine learning teórico e os sistemas do mundo real.
Ela também investigou a interseção entre redes sem fio e inteligência artificial, propondo métodos para inferência distribuída na borda. Isso inclui pesquisa sobre Data Augmentation e Batch Normalization em ambientes de aprendizado federado, onde os dados permanecem em dispositivos locais. Sua abordagem interdisciplinar foi reconhecida com vários prêmios de melhor artigo em conferências como IEEE INFOCOM e ACM MobiCom.
Prêmios e Reconhecimento
Chowdhery recebeu inúmeras honrarias, incluindo o Prêmio de Pesquisa do Google e a Bolsa de Pós-Graduação de Stanford. Em 2016, foi nomeada uma "Estrela em Ascensão" em Engenharia Elétrica e Ciência da Computação pelo MIT. Seu trabalho no PaLM foi destaque em importantes publicações de tecnologia, e ela tem sido palestrante convidada em conferências como NeurIPS e ICML.
Carreira Posterior e Impacto
Em 2024, Chowdhery continua ativa no campo, embora tenha se afastado do Google para buscar pesquisa independente e papéis de consultoria. Ela tem se envolvido em iniciativas para democratizar o acesso a ferramentas de Artificial intelligence, particularmente para aplicações educacionais e de saúde. Suas percepções sobre a escalabilidade de modelos Transformer (architecture) influenciaram práticas da indústria em empresas como OpenAI e Anthropic, que construíram sobre as inovações arquiteturais introduzidas no PaLM.
O legado de Chowdhery reside em sua capacidade de combinar análise teórica rigorosa com engenharia em larga escala. Seu trabalho ajudou a moldar a paisagem moderna da Generative AI, tornando modelos grandes mais acessíveis e eficientes. Ela permanece uma voz influente em discussões sobre o desenvolvimento responsável de IA e o futuro do Deep learning.
Publicações Selecionadas
- Chowdhery, A., et al. (2022). "PaLM: Scaling Language Modeling with Pathways." arXiv preprint arXiv:2204.02311.
- Chowdhery, A., et al. (2019). "Efficient On-Device Training with Gradient Filtering." Proceedings of the 36th International Conference on Machine Learning (ICML).
- Chowdhery, A., & outros. (2016). "Cross-Layer Optimization for Wireless Networks." IEEE Transactions on Information Theory.
Essas publicações destacam sua dupla expertise em sistemas e algoritmos, uma combinação que permanece rara e valiosa no campo da Artificial intelligence.