霍普菲尔德网络，亦称联想记忆，是一种通过能量最小化过程来存储和检索模式的循环神经网络形式。它以物理学家约翰·霍普菲尔德的名字命名，该网络由单层二元神经元组成，每个神经元与除自身外的所有其他神经元相连，权重双向且对称。模式通过赫布学习规则习得，并通过固定部分输入进行回忆，随后允许网络动态演化至对应于已存储模式的局部能量最小值。这使得网络对噪声或不完整数据具有鲁棒性，因为它能从部分线索中恢复完整模式。
该网络的起源既涉及认知心理学，也涉及统计力学。在心理学领域，联想记忆模型可追溯至20世纪50年代和60年代，包括W. K.泰勒1956年基于赫布训练的模型、卡尔·施泰因布赫的Lernmatrix（1961年），以及图沃·科霍宁的梯度下降联想记忆（1974年）。在物理学领域，磁学的伊辛模型由罗伊·J·格劳伯于1963年研究，并带有时间依赖动力学，为网络提供了数学基础。通过赫布学习来适应类伊辛系统的想法由弗兰克·罗森布拉特（1960年）、中野馨（1971年）、甘利俊一（1972年）和威廉·A·利特尔（1974年）独立提出。约翰·霍普菲尔德1982年的论文将这些思想与谢林顿–柯克帕特里克自旋玻璃模型（1975年）相结合，确立了离散霍普菲尔德网络；1984年的一篇论文将其扩展至连续激活函数。
结构与动力学
该网络由N个二元阈值单元组成，每个单元取值为+1或-1（在某些约定中为0/1）。网络状态是一个由N位组成的向量V。不同神经元i和j之间的连接是对称的，对于存储模式V^s，权重为w_ij = V_i^s V_j^s，自连接w_ii = 0。在回忆过程中，网络异步更新神经元，每个神经元在其加权输入超过阈值时触发。此过程最小化能量函数，驱动系统至代表已存储模式的局部最小值。赫布学习规则通过求和贡献来存储多个模式，但容量有限；经典霍普菲尔德网络对于N个神经元大约能存储0.14N个模式。
应用与局限性
霍普菲尔德网络已应用于物理学、心理学、神经科学和机器学习理论。它们在认知科学中作为联想记忆模型，在统计力学中作为神经动力学的简化模型。然而，其二元神经元、有限的扩展性以及与基于梯度学习的不兼容性，使其在现代实践中较为罕见。它们主要用作理论工具或在优化和模式完成等专门任务中，而非大规模应用。
现代发展
2016年，迪米特里·克罗托夫和霍普菲尔德修改了网络的动力学和能量函数以增加存储容量，由此产生了现在所称的密集联想记忆或现代霍普菲尔德网络。德米尔奇吉尔及其合作者在2017年扩展了这一思想，2016年至2020年间的一系列论文中发展了大容量模型的连续动力学。这些现代变体与变换器和大型语言模型有联系，因为它们的注意力机制可以被解释为一种联想记忆检索形式。
遗产
2024年，约翰·J·霍普菲尔德和杰弗里·E·欣顿因其对机器学习的基础性贡献（包括霍普菲尔德网络）被授予诺贝尔物理学奖。该网络仍是理解神经系统中信息存储与检索方式的基石，连接了物理学、生物学和计算科学。其原理持续为深度学习和生成式人工智能的研究提供启示，特别是在记忆增强架构中。