Almeida–Pineda循环反向传播是一种用于计算循环神经网络（RNN）中梯度（其动态收敛到不动点）的算法。它由Luís B. Almeida和Fernando Pineda于1987年独立推导，为训练具有反馈连接的网络提供了一种有原则的方法，而无需随时间展开网络。该方法通过求解线性系统来计算梯度，使其对于基于均衡的模型在计算上高效。
该算法将网络的稳态激活视为输入和权重的隐函数。通过应用隐函数定理，它推导出损失函数相对于权重的梯度的直接表达式，避免了像标准时间反向传播（BPTT）那样在每个时间步进行反向传播的需要。这种方法特别适用于设计为稳定状态的循环网络，如Hopfield网络和某些基于能量的模型。
历史背景
Almeida–Pineda循环反向传播的发展发生在神经网络学习算法研究激烈的时期。1986年，David Rumelhart、Geoffrey Hinton和Ronald Williams推广了前馈网络的反向传播，但将其扩展到循环架构仍然是一个开放的挑战。标准的BPTT将网络在时间上展开，计算成本高，并且存在梯度消失或爆炸的问题。
Almeida在里斯本技术大学工作，Pineda在约翰霍普金斯大学工作，他们独立认识到，对于收敛到不动点的网络，可以通过求解涉及网络动态雅可比矩阵的线性方程来计算梯度。他们1987年的论文为后来被称为循环反向传播的方法奠定了基础，尽管这两位作者最初并不知道彼此的工作。该算法有时被称为Almeida–Pineda算法，以表彰他们的同时贡献。
数学表述
核心思想是考虑一个循环网络，其状态向量\(s\)通过\(s_{t+1} = F(s_t, x, \theta)\)更新，其中\(x\)是输入，\(\theta\)是参数。在不动点\(s^\)处，更新满足\(s^ = F(s^, x, \theta)\)。损失\(L(s^)\)依赖于均衡状态。为了计算\(\partial L / \partial \theta\)，对不动点条件进行微分：
\[ \frac{\partial s^}{\partial \theta} = \frac{\partial F}{\partial s} \frac{\partial s^}{\partial \theta} + \frac{\partial F}{\partial \theta} \]
重新整理得到\((I - \partial F/\partial s) \, \partial s^/\partial \theta = \partial F/\partial \theta\)。损失的梯度为\(\partial L/\partial \theta = (\partial L/\partial s^) \, (I - \partial F/\partial s)^{-1} \, \partial F/\partial \theta\)。在实践中，求解线性系统\((I - \partial F/\partial s)^T v = (\partial L/\partial s^*)^T\)得到向量\(v\)，然后计算\(\partial L/\partial \theta = v^T \partial F/\partial \theta\)。这只需要一次线性求解，与时间步数无关。
与时间反向传播的比较
时间反向传播（BPTT）是训练RNN的标准方法，其中网络被展开有限步数并累积梯度。BPTT简单直接，但有缺点：它需要存储所有时间步的中间激活，导致高内存使用，并且在长序列上存在梯度消失或爆炸的问题。通常需要梯度裁剪和仔细的初始化来缓解这些问题。
Almeida–Pineda循环反向传播为达到不动点的网络提供了一种替代方案。它完全避免了展开，减少了内存需求，并提供了更直接的梯度计算。然而，它假设收敛到稳定的均衡，这对于所有循环架构并不保证。对于具有振荡或混沌动态的网络，该方法不适用。此外，对于大型网络，线性求解可能计算量大，但可以使用迭代求解器。
扩展与变体
已经提出了几种扩展来拓宽循环反向传播的适用性。一个值得注意的变体是2017年由Scellier和Bengio引入的均衡传播算法，它使用类似的固定点视角，但通过对比学习规则计算梯度。均衡传播与生物可塑性学习有关，并激发了基于能量的模型的研究。
另一个扩展是2019年由Bai、Kolter和Koltun开发的深度均衡模型（DEQ）中隐式微分的应用。DEQ将深度网络的输出视为权重共享层的固定点，其训练利用了与Almeida–Pineda相同的隐函数定理。这一联系重新引起了人们对经典算法的兴趣，显示了它与现代深度学习架构的相关性。
应用
循环反向传播已应用于各种循环网络稳定状态的领域。早期应用包括内容可寻址记忆和由Hopfield网络建模的优化问题。在1990年代，它被用于训练控制和信号处理任务中的循环网络，其中均衡状态对应于期望输出。
最近，Almeida–Pineda的原理影响了深度均衡模型的设计，这些模型已应用于自然语言处理、计算机视觉和科学计算。这些模型通过迭代重用单层，以更少的参数实现了与传统深度网络相当的性能。隐式微分方法还实现了内存高效的训练，这对大规模模型很有价值。
局限性与挑战
Almeida–Pineda循环反向传播的主要局限性在于其对固定点收敛的依赖。确保循环网络收敛到唯一且稳定的均衡需要仔细设计，通常涉及压缩映射或正则化。对于许多实际的RNN任务，例如具有长期依赖性的序列预测，动态不会稳定到固定点，使得BPTT更合适。
另一个挑战是线性求解的计算成本，在最坏情况下随网络大小的平方扩展。共轭梯度等迭代方法可以降低此成本，但会引入近似误差。此外，该算法需要动态的雅可比矩阵，对于大型网络计算成本可能很高。这些因素限制了它在主流深度学习中的采用，尽管它仍然是一个重要的理论工具。
遗产与影响
尽管在早期实际使用有限，Almeida–Pineda循环反向传播对神经网络理论产生了持久的影响。它证明了基于梯度的学习可以以有原则的方式扩展到循环系统，挑战了前馈架构的主导地位。隐函数定理方法已以各种形式被重新发现，包括在神经ODE和隐式层的训练中。
该算法也因其独立发现而闻名，突出了该领域思想的趋同演化。它经常在神经网络教科书中被引用，并且仍然是深度学习研究生课程中的标准主题。其影响在现代均衡模型和内存高效训练方法的研究中持续存在。
参见
参考文献
- Almeida, L. B. (1987). A learning rule for asynchronous perceptrons with feedback in a combinatorial environment. Proceedings of the IEEE First International Conference on Neural Networks.
- Pineda, F. J. (1987). Generalization of back-propagation to recurrent neural networks. Physical Review Letters, 59(19), 2229–2232.
- Scellier, B., & Bengio, Y. (2017). Equilibrium propagation: Bridging the gap between energy-based models and backpropagation. Frontiers in Computational Neuroscience.
- Bai, S., Kolter, J. Z., & Koltun, V. (2019). Deep equilibrium models. Advances in Neural Information Processing Systems.