约翰·霍普菲尔德（生于1933年）是美国物理学家和神经科学家，他于1982年提出了霍普菲尔德网络，这是一种递归神经网络形式，在统计物理学与神经系统的联想记忆之间建立了严谨的联系，并与杰弗里·辛顿共同获得2024年诺贝尔物理学奖，以表彰他们为利用人工神经网络实现机器学习所做的奠基性发现。
背景
霍普菲尔德接受过物理学家训练，在康奈尔大学获得博士学位，其早期职业生涯大部分时间致力于固体物理学研究，之后转向生物学和计算问题，先后在普林斯顿大学、贝尔实验室、加州理工学院任职，后来又回到普林斯顿大学。他从凝聚态物理学跨越到神经科学和计算科学的跨学科路径，塑造了他为神经网络研究带来的独特方法。
霍普菲尔德网络
在1982年的一篇论文中，霍普菲尔德描述了一种递归神经网络类型，即现在所称的霍普菲尔德网络，其中神经元彼此全连接，并根据来自所有其他神经元的加权输入更新其状态，随时间收敛到稳定模式，即“吸引子”。霍普菲尔德表明，这种动态可以用统计物理学中的自旋玻璃数学来理解，其中网络的稳定状态对应于能量函数的局部最小值。这使得网络能够充当内容可寻址存储器，能够从部分或嘈杂的线索中回忆出完整的存储模式，这一能力不同于感知器的简单前馈模式识别。霍普菲尔德引入的基于能量的框架影响了后来的几代模型，包括戴维·鲁梅尔哈特和杰弗里·辛顿的玻尔兹曼机，并被认为是神经网络数学研究以及更广泛的深度学习的奠基性贡献。
2024年诺贝尔物理学奖
2024年10月，霍普菲尔德和杰弗里·辛顿共同获得诺贝尔物理学奖，以表彰“利用人工神经网络实现机器学习的奠基性发现和发明”，这是2024年诺贝尔奖对人工智能研究的更广泛认可浪潮的一部分，该浪潮中德米斯·哈萨比斯及其合作者也因AlphaFold获得了化学奖。物理学奖委员会引用了霍普菲尔德利用统计物理学工具建模联想记忆的贡献，以及辛顿将这些思想扩展到玻尔兹曼机和后续反向传播训练网络的工作。该奖项在物理学界引发了一些争论，即神经网络研究是否属于传统意义上的物理学，尽管委员会将这一荣誉框定在霍普菲尔德所采用的物理方法上，而非应用领域。
遗产
霍普菲尔德网络被认为是现代深度学习的奠基架构之一，它们引入的基于能量的视角至今仍是一个活跃的研究领域，包括有时被称为“现代霍普菲尔德网络”的变体，这些变体在数学上与注意力机制相关联，而注意力机制是当今Transformer架构的基础，支撑着大型语言模型。霍普菲尔德的职业生涯跨越了物理学和计算科学，体现了当代人工智能研究中许多跨学科起源的典范。