对比Hebbian学习（CHL）是一种用于神经网络的学习规则，它通过比较两个不同阶段（自由运行阶段和钳制阶段）的网络活动来更新突触权重。与标准误差反向传播不同，后者需要单独的前向和反向传播以及明确的误差信号，而CHL依赖于局部的、Hebbian式的更新，利用两个阶段中神经元激活相关性之间的差异。这使得它成为大脑中生物可塑性学习的候选机制，也是玻尔兹曼机及其变体等基于能量的模型的基础算法。
该规则于20世纪80年代和90年代发展起来，其中保罗·韦尔博斯（Paul Werbos）和杰弗里·辛顿（Geoffrey Hinton）等研究人员做出了重要贡献，韦尔博斯早期提出了反向传播，辛顿则在玻尔兹曼机的背景下探索了对比学习。核心思想是，网络可以先通过一个反映其输入的状态（自由阶段）进行收敛，然后被钳制到一个目标输出（钳制阶段），最后调整权重以减少这两个状态之间的差异。这个过程最小化了一个能量函数，驱动网络朝向钳制状态为低能量吸引子的配置。
机制与数学表述
在典型的CHL实现中，网络是循环或前馈架构，包含可见单元（输入和输出）和隐藏单元。在自由阶段，网络被呈现一个输入，激活通过网络传播，直到达到稳定状态，通常通过迭代收敛实现。在钳制阶段，输出单元被固定到期望的目标值，网络再次收敛到新的平衡。每个连接的权重更新由钳制阶段激活乘积与自由阶段激活乘积之差乘以学习率给出。
数学上，对于连接单元\(i\)到单元\(j\)的权重\(w_{ij}\)，更新为\(\Delta w_{ij} = \eta (x_i^+ x_j^+ - x_i^- x_j^-)\)，其中\(x^+\)表示钳制阶段的激活，\(x^-\)表示自由阶段的激活，\(\eta\)是学习率。该规则是对比散度的一种形式，这一概念后来由辛顿在2002年正式提出，用于训练受限玻尔兹曼机。该更新是局部的，因为它只需要前突触和后突触神经元处的可用信息，符合赫布关于“一起放电的神经元连接在一起”的假设，但关键的减法防止了权重的无界增长。
与反向传播的关系
CHL常与主导现代深度学习的反向传播算法进行对比。反向传播使用链式法则计算损失函数的精确梯度，需要全局误差信号通过网络反向传播。这在计算上高效，但在生物学上不可信，因为它需要精确、同步的信号传递和权重传输。相比之下，CHL仅使用局部信息，并且可以在连续时间动态系统中实现，使其作为皮层学习模型更可信。
实证研究表明，在某些架构中，特别是在具有对称权重的前馈网络中，CHL可以近似反向传播。在小学习率和足够收敛时间的极限下，CHL更新近似于平方误差损失的梯度。然而，CHL通常收敛较慢，且难以扩展到非常深的网络，这就是为什么它没有在大型语言模型或transformer等实际应用中取代反向传播的原因。
应用与变体
CHL已应用于一系列问题，包括联想记忆、模式补全和监督分类。它是玻尔兹曼机的基础学习规则，玻尔兹曼机是一种在20世纪80年代具有影响力的随机循环网络，但由于计算成本高而失宠。诸如均值场对比Hebbian学习规则等变体已被开发出来以处理确定性网络，并且该思想已扩展到脉冲神经网络，用于训练积分-放电神经元网络。
在2010年代和2020年代，随着对反向传播生物可塑性替代方案的探索，对CHL的兴趣复兴。MIT CSAIL和斯坦福人工智能实验室等机构的研究人员探索了将CHL与局部学习规则相结合的混合方法，以在没有全局误差信号的情况下训练深度网络。这些努力旨在理解皮层学习并构建节能的神经形态硬件。
局限性与挑战
CHL的一个主要局限性是其计算成本。收敛过程需要多次迭代才能达到平衡，而两阶段过程使推理时间比单次前向传播增加一倍。对于大型网络，这变得不可行。此外，CHL对收敛动态和学习率的选择敏感；选择不当可能导致振荡或收敛缓慢。对称权重的需求（能量函数正确定义所必需的）是另一个约束，在大多数生物回路中并不成立。
另一个挑战是，CHL不能自然地处理不可微激活或随机单元，除非进行额外近似。虽然对比散度为受限玻尔兹曼机提供了实用近似，但它不保证收敛到真实梯度，并且在更深架构中性能会下降。这些问题限制了CHL在主流机器学习中的采用，反向传播仍是标准。
遗产与当前研究
尽管存在局限性，CHL对该领域产生了持久影响。它为基于能量的模型提供了理论基础，并影响了无监督学习中对比方法的发展，如对比预测编码和SimCLR。比较自由和钳制状态的概念也构成了现代技术的基础，如Scellier和Bengio在2017年提出的均衡传播，它使用类似的两阶段方法来近似循环网络中的梯度。
当前关于CHL的研究侧重于使其更具可扩展性和鲁棒性。例如，最近的工作探索了在脉冲神经网络中使用CHL进行边缘计算，其中局部学习规则因硬件约束而至关重要。其他努力则研究将CHL与dropout和批归一化结合以提高泛化能力。虽然短期内不太可能取代反向传播，但CHL仍然是那些对神经科学与人工智能交叉领域感兴趣的人的一个活跃研究领域。