Aakanksha Chowdhery是一位计算机科学家，因其在机器学习系统和无线通信方面的工作而闻名。她最为人熟知的身份是2022年论文的第一作者，该论文介绍了Pathways语言模型（PaLM），这是一个在谷歌深度思维开发的大语言模型。她的研究涵盖高效的深度学习架构、分布式训练和网络系统，并应用于云端和边缘计算。
Chowdhery的职业生涯跨越了学术界和工业界。她在斯坦福大学完成了博士学位，其论文专注于网络优化和无线系统。她后来加入谷歌研究院，参与的项目提升了神经网络训练的可扩展性和效率。她在PaLM上的工作（该模型拥有5400亿参数）展示了少样本学习和推理任务的显著进步，影响了后续生成式人工智能的发展。
早年生活与教育
Chowdhery出生于印度，在印度理工学院（IIT）德里分校攻读电气工程本科，于2007年毕业。随后她移居美国攻读研究生，分别于2012年和2015年在斯坦福大学获得电气工程硕士和博士学位。在斯坦福期间，她在信息系统实验室的教授指导下工作，专注于无线网络的跨层优化和分布式算法。
她的博士研究解决了异构网络中资源分配和干扰管理的挑战。这项工作为她后来将优化技术应用于机器学习工作负载（尤其是在分布式和资源受限环境中）的兴趣奠定了基础。
谷歌职业生涯与PaLM
Chowdhery于2015年加入谷歌研究院，担任研究科学家。她在谷歌的早期工作涉及提高设备端深度学习模型（包括语音识别和图像分类）的效率。她为模型压缩和量化技术的发展做出了贡献，这些技术对于在移动和嵌入式设备上部署神经网络至关重要。
2021年，她成为PaLM项目的第一作者，这是一个大规模训练基于变换器的语言模型（拥有5400亿参数）的项目。PaLM论文于2022年4月发表，报告了在众多基准测试（包括推理、代码生成和翻译）上的最先进结果。该模型通过思维链提示进行少样本学习的能力是一个显著亮点。Chowdhery的角色涉及协调一个由研究人员和工程师组成的团队，设计训练基础设施，并解决与模型剪枝和梯度裁剪相关的挑战，以确保稳定训练。
PaLM模型后来被整合到谷歌的产品中，其架构影响了后续模型，如PaLM 2和Gemini。Chowdhery的贡献被广泛引用，确立了她在大语言模型研究领域的突出地位。
研究贡献
除了PaLM之外，Chowdhery还在多头注意力、位置编码和高效训练算法等主题上发表了大量论文。她探索了使用课程学习和学习率调度来改善大规模模型的收敛性。她的工作通常强调实际部署，弥合了理论机器学习与现实世界系统之间的差距。
她还研究了无线网络与人工智能的交叉领域，提出了边缘分布式推理的方法。这包括在联邦学习环境中对数据增强和批量归一化的研究，其中数据保留在本地设备上。她的跨学科方法在IEEE INFOCOM和ACM MobiCom等会议上获得了多项最佳论文奖。
奖项与认可
Chowdhery获得了众多荣誉，包括谷歌研究奖和斯坦福研究生奖学金。她于2016年被麻省理工学院评为电气工程与计算机科学领域的“新星”。她在PaLM上的工作被主要科技出版物报道，并且她曾受邀在NeurIPS和ICML等会议上发表演讲。
后期职业生涯与影响
截至2024年，Chowdhery继续在该领域工作，尽管她已离开谷歌，转而从事独立研究和咨询角色。她参与了旨在普及人工智能工具访问的倡议，特别是在教育和医疗应用方面。她对扩展变换器模型的见解影响了开放人工智能和人类智能等公司的行业实践，这些公司基于PaLM中引入的架构创新进行了构建。
Chowdhery的遗产在于她能够将严谨的理论分析与大规模工程相结合。她的工作帮助塑造了现代生成式人工智能的格局，使大型模型更加可访问和高效。她仍然是关于负责任AI发展和深度学习未来讨论中的有影响力的声音。
精选出版物
- Chowdhery, A., 等人（2022年）。“PaLM：通过Pathways扩展语言建模。”arXiv预印本arXiv:2204.02311。
- Chowdhery, A., 等人（2019年）。“通过梯度过滤进行高效的设备端训练。”第36届国际机器学习会议（ICML）论文集。
- Chowdhery, A., 及其他人（2016年）。“无线网络的跨层优化。”IEEE信息理论汇刊。
这些出版物突显了她在系统和算法方面的双重专长，这种组合在人工智能领域仍然罕见且宝贵。