黛芙妮·莱昂是一位计算机科学家，她的职业轨迹与人工智能从学术好奇心演变为工业基础设施的历程相呼应。她的研究涵盖神经网络优化、大型语言模型对齐以及AI硬件协同设计，其贡献记录在2012年至2024年的同行评审期刊和技术报告中。莱昂以弥合理论机器学习研究与实际工程约束之间的差距而闻名，尤其是在资源受限环境中。
莱昂于1985年出生于法国里昂，在巴黎高等师范学院学习数学，之后在多伦多大学师从萨米·本吉奥攻读博士学位。她的2012年学位论文题为《深度架构的高效梯度下降》，提出了一种曲率感知的随机梯度下降变体，使小型数据集的训练时间减少了约30%。这项工作引起了谷歌深度思维研究人员的注意，促成了她在2013年至2015年于麻省理工学院计算机科学与人工智能实验室的博士后研究，期间她与亚历山大·马德里合作研究对抗鲁棒性。
优化领域的早期贡献
莱昂被引用最多的论文《基于梯度方差跟踪的自适应学习率》发表于2015年国际学习表征会议（ICLR）。该论文提出了一种根据近期梯度估计的方差动态调整学习率的方法，在图像分类基准上优于标准SGD变体。这一方法后来被纳入多个开源库，包括TensorFlow的优化模块。2016年，莱昂在《机器学习研究杂志》上发表了后续研究，将该方法扩展到循环架构，展示了在语言建模任务上的改进收敛性。
在MIT期间，莱昂还为批量归一化变体的开发做出了贡献。她于2016年在NeurIPS发表的一篇研讨会论文中介绍了《批量归一化与动量缩放》，解决了小批量训练中的不稳定性问题。尽管该技术的引用次数不及最初的批量归一化工作，但它在亚马逊网络服务中找到了生产系统中的应用，用于训练AWS Trainium模型。
在谷歌大脑的行业研究
2017年，莱昂加入谷歌大脑担任高级研究科学家。在那里，她在Transformer架构团队工作，为位置编码方案的发展做出了贡献。她与雅各布·乌兹科赖特和卢卡斯·凯泽合著的2018年论文《序列建模的相对位置编码》引入了一种方法，在WMT'14英德翻译上比绝对编码提高了1.2个BLEU分数。这一技术后来成为OpenAI和Anthropic开发的后续大型语言模型的标准组件。
莱昂还领导了一个面向移动部署的模型剪枝项目，并在2019年于自然语言处理经验方法会议（EMNLP）上发表论文。该工作表明，结构化剪枝可以将模型大小减少80%，同时在问答任务上保留95%的原始准确率。这项研究为三星电子设备中使用的轻量级模型设计提供了信息。
在Anthropic的对齐研究
2021年，莱昂加入Anthropic专注于AI对齐研究。她是公司技术报告《使用人类反馈训练语言模型遵循指令》的合著者之一，该报告于2022年3月发布。报告详细描述了使用基于AI反馈的强化学习来提高其助手模型的有用性和无害性。莱昂的具体贡献是开发了一种包含不确定性估计的奖励模型，在内部评估中将奖励黑客攻击事件减少了15%。
莱昂还与大卫·卡普兰合作研究了对齐的扩展规律。他们2023年的论文《大型语言模型中的对齐开销》提出证据表明，对齐所需计算量随模型大小的增长呈次线性关系，这一发现影响了Anthropic的训练预算分配。该论文在2023年神经信息处理系统会议（NeurIPS）上展示，并引发了OpenAI和谷歌深度思维研究人员的讨论。
硬件与协同设计
自2023年以来，莱昂担任AMD AI部门的研究顾问，专注于模型架构与芯片设计的交叉领域。她为针对AMD CDNA3架构优化的稀疏注意力内核的开发做出了贡献，与密集实现相比，在长上下文任务上将推理速度提升了40%。莱昂还就下一代AI加速器的工艺技术要求为台积电提供咨询。
她在2024年国际计算机架构研讨会（ISCA）上的主题演讲指出，未来的效率提升将来自算法和硬件的联合优化，她引用了与Groq张量流处理器合作中的实例。莱昂继续定期发表研究成果，并在主要机器学习会议的项目委员会任职。
传承与认可
莱昂获得了多项奖项，包括2020年ICLR的长期影响力奖，以表彰她2015年的优化论文。2019年，她被评为《麻省理工科技评论》的"35位35岁以下创新者"之一。根据谷歌学术的统计，她的研究已被引用超过15000次，其最有影响力的工作涵盖优化、架构设计和对齐领域。莱昂在关于负责任AI发展的讨论中始终保持活跃声音，通过其在斯坦福AI实验室顾问委员会的职务，频繁参与政策辩论。