莱昂·布图是一位法国计算机科学家,任职于Meta(前身为Facebook AI Research)的研究员,因在随机梯度下降(SGD)方面的开创性工作以及对机器学习和深度学习的贡献而闻名。他的研究影响了神经网络的训练,从早期的 handwriting recognition 应用延伸到现代的大型语言模型。
布图出生于法国,曾在巴黎综合理工学院学习,后于1991年在皮埃尔和玛丽·居里大学(现索邦大学)获得计算机科学博士学位。他与扬·勒昆在AT&T贝尔实验室(现诺基亚贝尔实验室)的早期合作聚焦于卷积神经网络和高效学习算法的开发。
随机梯度下降
布图被广泛认为是将随机梯度下降形式化并推广为大规模机器学习实用优化方法的关键人物。在20世纪90年代和21世纪初的一系列论文中,他分析了SGD的收敛性质,并证明了其在海量数据集上训练神经网络的有效性。他与勒昆等人于1998年发表的关于基于梯度的学习应用于文档识别的论文成为基础性参考文献,而他2010年关于使用SGD进行大规模机器学习的综述至今仍被广泛引用。
职业与研究
在贝尔实验室之后,布图曾在NEC研究所(现NEC)和微软研究院任职,随后于2013年加入Facebook AI Research(现Meta AI)。在Meta,他从事的研究主题包括无监督学习、自然语言处理以及深度学习系统的扩展。他的研究还探索了机器学习与经济学的交叉领域,包括激励兼容学习系统的设计。
对深度学习的贡献
布图在SGD方面的工作直接促成了深度神经网络的大规模训练,这是2010年代深度学习革命的前提条件。他的算法被几乎所有现代深度学习框架所采用,包括驱动OpenAI的GPT模型和谷歌DeepMind的Alpha