反向传播是机器学习中广泛用于训练神经网络的算法。它利用链式法则，高效地计算损失函数相对于网络权重的梯度。该方法从输出层到输入层逐层反向传播导数，从而通过随机梯度下降或更复杂的优化器（如Adam优化器）实现学习。术语“反向传播”严格指梯度计算，但常被用来描述调整权重以最小化误差的整个学习过程。
1986年由David E. Rumelhart、Geoffrey E. Hinton和Ronald J. Williams发表的论文“Learning representations by back-propagating errors”是深度学习领域的里程碑。该论文发表于《自然》杂志，描述了多层网络的方法，并证明了隐藏层能够学习有用的内部表示。这项工作建立在早期发展（包括自动微分的反向模式）的基础上，但该论文的清晰性和实验结果使反向传播成为训练神经网络的标准工具。
理论基础
反向传播的核心思想是高效的链式法则计算。对于前馈网络，输入通过权重层和激活层传递以产生输出。损失函数衡量预测输出与目标输出之间的差异。为了减少这种误差，必须计算损失相对于每个权重的梯度。反向传播首先执行前向传播以计算激活值和损失值，然后执行反向传播以逐层计算导数。这涉及计算输出层的误差，并通过网络将其反向传播，利用链式法则组合局部导数。
从数学上讲，网络是函数的复合：对于输入x，输出通过一系列变换计算，每个变换应用权重矩阵和激活函数。代价函数C(y, g(x))衡量偏差。反向传播计算代价相对于各个权重的偏导数，然后用于沿负导数方向更新权重，这一过程称为梯度下降。
该方法具有通用性，不依赖于特定的激活函数（如sigmoid、修正线性单元或tanh）或损失函数（如平方误差或交叉熵）的选择，只要它们是可微的。这种灵活性使反向传播适用于各种架构。
历史背景与1986年论文
在1986年论文之前，神经网络领域经历了多次热潮与低谷。早期的感知机仅限于单层，只能学习线性可分问题。研究人员一直在探索多层网络，但缺乏实用的训练方法限制了其应用。Paul Werbos在1974年的博士论文中提出了反向传播，其他研究人员（包括David Parker和Yann LeCun）在1980年代初期也开发了类似的想法。然而，没有一项工作能产生与1986年论文相同的影响。
该论文证明了反向传播可以在隐藏层中学习有用的特征，并有效处理模式识别和序列预测等任务。它强调该算法的成功在于其能够在多层网络中发现内部表示。这些结果令人惊讶，重新点燃了学术界和工业界对神经网络的研究兴趣。该论文还引入了梯度下降可用于最小化代价函数的观点，这在今天的深度学习中仍然至关重要。
算法及其机制
反向传播通常分三个阶段进行：前向传播、反向传播和参数更新。在前向传播期间，输入依次通过每一层，应用线性组合和激活步骤。网络的输出使用损失函数与目标进行比较，产生标量代价。在反向阶段，计算代价相对于输出激活值的梯度，然后逐层传播。对于每一层，误差乘以激活函数的导数和权重矩阵，累积梯度。这些梯度指示每个权重的微小变化将如何改变代价。
参数更新阶段随后进行，其中权重被调整以减少代价，通常使用随机梯度下降（SGD）或像Adam这样的优化器。学习率控制调整的幅度。该循环在多次训练迭代中重复，通常使用小批量，直到网络收敛到合理的误差水平。
反向传播要求损失函数和所有激活函数是连续可微的。常见的选择包括逻辑sigmoid、初始化方案以及损失（如交叉熵）。计算复杂度与参数和层数成正比，使其适用于大规模应用。
应用与演变
自1986年论文以来，反向传播已成为广泛人工智能应用的基础训练方法。它用于训练各种架构，如用于图像识别的卷积网络、用于序列预测的循环网络，以及最近为大型语言模型提供动力的Transformer。深度学习和现代生成式AI系统（包括OpenAI GPT模型和Anthropic的Claude）的兴起依赖于高效的反向传播变体。
现代优化器增强了基础算法。例如，Adam优化器为每个参数使用自适应学习率，并且批归一化和层归一化常用于稳定训练。研究还涉及处理梯度消失问题，导致了残差网络和梯度裁剪技术。
尽管占据主导地位，反向传播仍有局限性。它对学习率和初始权重的选择敏感，并且对于非常大的模型，训练可能计算成本高昂。已经探索了替代训练方法，但反向传播仍然是最广泛使用的方法。
持续意义与未来方向
1986年的论文作为机器学习领域的关键突破具有历史意义。它将一种理论方法转变为实用工具。如今，人工智能、深度学习和机器学习领域已成为工业和研究的核心，投资达数十亿美元。该论文的影响力通过2024年诺贝尔物理学奖得到认可，该奖项授予Geoffrey Hinton以表彰他对机器学习的贡献，与John Hopfield共同获奖。
然而，反向传播也是一个争论的话题。一些研究人员指出了其局限性，例如更新问题以及在处理时间依赖关系方面的挑战，并提出了自监督或受生物启发的方法等替代方案。尽管如此，反向传播预计将在可预见的未来继续作为核心训练方法，即使系统扩展到数千个网络，如当前AI产品所示。
多伦多大学和斯坦福AI实验室一直是研究反向传播发展的中心之一。许多当代进展，如残差网络、批归一化和优化算法，都是为了补充反向传播而设计的，这显示了其在该领域中的生态位。
结论
1986年的反向传播论文展示了数学上优雅的方法如何推动技术革命。随着深度学习和AI的持续发展，该算法的原理比以往任何时候都更加重要。其遗产不仅体现在无数的应用中，还体现在其在当代研究中的基础性作用。该论文关于通过误差传播进行学习的原始愿景已被证明是灵活、可扩展且持久的。