时间反向传播（BPTT）是一种用于循环神经网络（RNN）的训练算法，它计算损失函数相对于网络权重的梯度。其工作原理是将循环网络“展开”成一个深度前馈网络，其中每个时间步对应一层，然后对展开后的结构应用标准的反向传播算法。这使得网络能够学习序列数据（如文本、语音或时间序列）中的时间依赖性。
该方法开发于1980年代末和1990年代初，建立在早期神经网络和机器学习工作的基础上。它成为训练RNN的基础技术，RNN广泛应用于从语言建模到语音识别等任务。尽管现代架构如Transformer (architecture)已在许多任务中很大程度上取代了RNN，但BPTT对于训练循环模型以及理解时间域中的基于梯度的学习仍然至关重要。
历史发展
反向传播的概念本身在1980年代得到普及，关键贡献者包括David Rumelhart、Geoffrey Hinton和Ronald Williams等研究人员。扩展到处理序列的循环网络需要一种方法来处理循环连接。BPTT作为一种直接的解决方案被引入：通过在时间上“展开”网络，每个时间步成为不同的层，从而可以应用标准的反向传播算法。
BPTT的早期工作是在多伦多大学和卡内基梅隆大学等机构进行的。该算法在1980年代末被形式化，到1990年代初，详细描述出现在教科书和研究论文中。它成为深度学习工具包中的标准工具，使得RNN能够训练用于序列预测和序列到序列建模等任务。
算法细节
BPTT的核心思想是将循环网络视为具有共享权重的深度前馈网络。对于长度为T的序列，网络被展开为T层，每层对应一个时间步。前向传播计算每个步骤的隐藏状态和输出，损失在所有时间步上累积。然后，反向传播通过使用链式法则，将误差从最终时间步传播回初始时间步，从而计算梯度。
数学上，损失相对于权重的梯度是每个时间步贡献的总和。这是通过维护隐藏状态的运行梯度来实现的，该梯度在反向传播随时间移动时更新。该算法对每个训练样本的计算复杂度为O(T)，与序列长度成线性关系，但它需要存储所有中间状态，导致内存使用也随T扩展。
一个关键挑战是梯度消失或爆炸问题，其中梯度在长序列上可能变得极小或极大。这通常通过诸如梯度裁剪（限制梯度大小）的技术以及诸如残差连接或门控单元（如LSTM或GRU）的架构修改来解决。
变体与改进
已经开发了几种BPTT变体来解决其局限性。截断BPTT（TBPTT）将序列分块处理，仅对固定时间步窗口执行反向传播。这减少了内存和计算成本，使其适用于非常长的序列。它常用于训练语言模型，其中序列可能包含数千个标记。
另一种变体是实时循环学习（RTRL），它无需展开即可在线计算梯度，但对于大型网络计算成本高昂。由于效率和简单性，BPTT仍然是大多数应用的首选。在实践中，TBPTT通常使用10到100个时间步的窗口大小，具体取决于任务。
现代深度学习框架，如OpenAI和Google DeepMind使用的框架，通过自动微分自动实现BPTT。这使得研究人员无需手动推导梯度即可训练RNN，但理解该算法对于调试和优化仍然至关重要。
应用与影响
BPTT在序列模型的发展中发挥了重要作用。它被用于训练早期RNN，用于语音识别、手写识别和语言建模等任务。在2010年代，使用BPTT训练的RNN在许多自然语言处理任务中达到了最先进水平，直到Transformer (architecture)架构的出现。
今天，BPTT仍用于专业领域，如强化学习中的控制任务，以及训练混合模型的循环组件。它也是深度学习课程中的教学基石，说明了时间设置中基于梯度的学习原理。
该算法的影响超出了RNN。展开动态系统并应用反向传播的概念用于其他领域，如训练神经网络求解微分方程，以及模型剪枝研究。其原理也适用于理解大型语言模型的训练，尽管这些模型通常使用前馈架构。
局限性与替代方案
BPTT有明显的局限性。内存需求随序列长度线性增长，这对于非常长的序列可能是不利的。梯度消失问题使得学习长距离依赖变得困难，尽管有LSTM和梯度裁剪等缓解措施。此外，BPTT本质上是顺序的，与Transformer (architecture)相比，更难在时间步上并行化，后者同时处理所有位置。
这些局限性推动了Transformer (architecture)架构的开发，该架构于2017年引入，使用多头注意力和位置编码来捕获依赖关系而无需循环。Transformer已在主流人工智能应用中很大程度上取代了RNN，特别是在大型语言模型中，如Anthropic和OpenAI的模型。
尽管发生了这种转变，BPTT在资源受限环境中训练循环模型以及处理自然适合顺序处理的任务时仍然具有相关性。它也是理解不同序列建模方法之间权衡的基准。截至2020年代初，研究仍在继续改进BPTT，例如通过可逆RNN减少内存使用，但该算法的核心原理保持不变。