乔治·诺塞达尔（生于1952年）是一位应用数学家和计算机科学家，现任西北大学沃尔特·P·墨菲教授。他因对非线性优化的贡献而闻名，尤其是L-BFGS算法和教科书《数值优化》，这些成果在确定性和随机性环境中均已成为基础性工作。他的研究直接影响了现代机器学习和深度学习应用，包括图像和语音识别、推荐系统以及搜索引擎。
诺塞达尔的研究弥合了理论优化与实际算法设计之间的鸿沟，解决了支撑神经网络模型训练的大规模优化问题。他的贡献在优化软件的开发中被广泛引用，并且对于现代大型语言模型平台所使用的大规模学习系统的效率至关重要。
传记
诺塞达尔在墨西哥出生并长大。他于1974年在墨西哥国立大学获得物理学学士学位，随后于1978年在莱斯大学获得数学科学博士学位，导师为理查德·A·塔皮亚。1978年至1981年间，诺塞达尔在墨西哥国立大学担任助理教授。之后，他在纽约大学库朗数学科学研究所担任了两年（1981–1983）研究助理。
1983年，诺塞达尔加入西北大学电气工程与计算机科学系，并在那里工作至2012年。随后，他转入工业工程与管理科学系，担任大卫与凯伦·萨克斯教授并自2013年至2017年担任系主任。他持有沃尔特·P·墨菲教授职位，这反映了他在计算科学领域的持续影响力。
研究贡献
诺塞达尔最著名的工作是有限内存BFGS（L-BFGS），这是一种广泛用于大规模优化问题的拟牛顿方法。L-BFGS已成为人工智能研究中的标准工具，特别是在计算完整海森矩阵不可行的模型训练场景中。他与斯蒂芬·J·赖特合著的教科书《数值优化》是该领域的标准参考书。
他的研究涵盖确定性和随机优化，解决了现代学习系统中常见的数据增强和梯度裁剪设置中的挑战。他探索了应用于机器人、交通流和博弈论中的均衡问题，以及金融和偏微分方程约束问题中的优化。这些贡献为SGD变体和Adam优化器开发中使用的实用算法提供了信息，影响了神经网络训练的方式。
2001年，诺塞达尔共同创立了Ziena Optimization Inc.，并共同开发了KNITRO软件包，这是非线性优化的领先工具。他于2002年至2012年担任Ziena的首席科学家，之后该公司于2015年被Artelys收购。KNITRO在工业界和学术界被广泛用于解决复杂的优化问题。
奖项与荣誉
诺塞达尔在其职业生涯中获得了众多奖项。1998年，他受邀在柏林国际数学家大会上发表演讲。他于2004年被命名为ISI高被引研究者，并于2010年成为SIAM会士。他于2009年获得查尔斯·布罗伊登奖，并于2012年获得乔治·B·丹齐格奖。2017年，诺塞达尔被授予INFORMS约翰·冯·诺依曼理论奖，以表彰他对优化理论的基础性贡献。
2020年，他因对优化算法和机器学习软件的理论、设计与实现的贡献而当选为美国国家工程院院士。这一荣誉凸显了他的工作对从运筹学到生成式人工智能技术等领域的实际影响。
遗产与影响
诺塞达尔的算法已嵌入广泛使用的优化库和商业软件中。他关于L-BFGS（一种有限内存拟牛顿方法）的工作已成为科学计算和统计学中大规模问题的标准工具。与Ziena Optimization Inc.共同开发的KNITRO软件包被各行业用于解决非线性规划问题，包括机器人、金融和偏微分方程约束优化中的应用。
截至2020年代，他的方法也与神经网络模型的训练相关，其中二阶信息可以比基本随机梯度方法改善收敛性。尽管许多现代深度学习框架依赖像Adam优化器这样的自适应方法，但L-BFGS在特定问题类别中仍然重要，例如具有平滑目标和小批量大小的问题。
部分荣誉
诺塞达尔的荣誉包括受邀在1998年柏林国际数学家大会上发表演讲，并于2004年被命名为ISI高被引研究者。他于2009年获得查尔斯·布罗伊登奖，并于2012年获得乔治·B·丹齐格奖。他于2010年成为SIAM会士，2017年获得INFORMS约翰·冯·诺依曼理论奖，并于2020年因对优化算法和机器学习软件的理论、设计与实现的贡献而当选为美国国家工程院院士。
软件与行业影响
2001年，诺塞达尔共同创立了Ziena Optimization Inc.，并于2002年至2012年担任首席科学家。该公司开发了KNITRO，这是一个广泛用于工程和运筹学的非线性优化软件包。Ziena于2015年被Artelys收购，KNITRO在该所有权下继续得到维护。这些努力将学术研究与用于亚马逊网络服务和其他云平台优化任务的实用工具联系起来。
部分出版物
诺塞达尔的出版物记录包括一百多篇论文和有影响力的教科书《数值优化》（1999年，2006年与斯蒂芬·J·赖特合作出版第二版）。他关于L-BFGS和拟牛顿方法的论文已被引用数万次，塑造了优化领域。他还发表了关于大规模算法实现、随机优化和求解器软件设计的论文。
他指导了许多学生和研究人员，他们后来为工业研究实验室做出了贡献，包括谷歌云、亚马逊网络服务和OpenAI等组织，以及更广泛的人工智能生态系统。
遗产与影响
诺塞达尔开发的算法已嵌入许多用于机器学习框架的优化库中。特别是L-BFGS方法，仍然是内存有限问题的可靠选择，使其在模型剪枝和课程学习等资源效率至关重要的场景中具有相关性。他的教科书仍然是运筹学和计算机科学研究生及从业者的标准参考书。
诺塞达尔当选美国国家工程院院士反映了他对理论和软件实现的双重贡献。他的工作推动了从特斯拉自动驾驶到谷歌DeepMind研究等应用领域的进步，在这些领域中，稳健的优化对于强化学习和其他先进范式至关重要。他正在进行的研究继续解决大型语言模型训练中固有的随机优化挑战。