梯度累积是一种用于训练神经网络和其他机器学习模型（尤其是深度学习模型）的技术，其目的是在内存限制阻止一次性处理所有样本时，近似实现大批量训练的效果。该方法不是在一次前向和反向传播中计算大批量的梯度，而是优化器在多个较小的迷你批次上累积梯度，并且仅在累积梯度达到所需的有效批量大小后才执行权重更新。这种方法使从业者能够训练批量大小超出单个设备（如GPU或TPU）内存容量的模型。
该方法与随机梯度下降（SGD）密切相关，SGD是一种迭代优化算法，于20世纪50年代通过Robbins–Monro算法引入。在SGD中，目标函数的真实梯度（在整个数据集上计算）由随机选择的子集上的梯度近似。一种常见的折中方案是迷你批次方法，即每一步在一小组样本上计算梯度。梯度累积通过在多组迷你批次上平均梯度后再更新模型参数，扩展了这一思想，从而有效地将批量大小与内存占用解耦。
动机与内存限制
训练大型模型（如大型语言模型和Transformer）需要大量内存来存储激活值、梯度和优化器状态。批量大小直接影响内存消耗：更大的批次需要更多内存用于中间计算。在内存有限的硬件（如消费级GPU或边缘设备）上，最大可行批量大小可能很小。然而，较小的批量大小可能导致梯度估计噪声较大和训练动态不稳定。梯度累积提供了一种解决方案，允许使用小批次进行前向和反向传播，同时在多个步骤中累积梯度以实现更大的有效批量大小，从而在不增加峰值内存使用的情况下提高梯度稳定性。
梯度累积的工作原理
在标准迷你批次训练中，模型处理大小为\(b\)的迷你批次，计算损失，执行反向传播以获得梯度，并立即使用优化器（如SGD或Adam）更新权重。使用梯度累积时，过程被修改：模型依次处理\(k\)个迷你批次，在每次反向传播后累积梯度（通常通过求和或平均）。在\(k\)步之后，使用累积梯度更新模型权重，并将梯度累积器重置为零。有效批量大小为\(k \times b\)。当损失函数是样本上的总和或平均值时，此方法在数学上等同于使用大小为\(k \times b\)的批量进行训练，前提是批归一化层得到妥善处理。
优势与应用场景
梯度累积广泛用于大批量有益但因内存限制而不可行的情况。例如，训练生成模型或微调大型语言模型通常需要数百或数千的批量大小以稳定训练并改善收敛。通过累积梯度，研究人员可以在内存有限的硬件（如单个GPU甚至基于CPU的系统）上模拟这些大批量。此外，梯度累积还支持在多个设备上进行训练而无需每一步同步梯度，这可以减少分布式训练中的通信开销。这对于像Amazon Web Services、Microsoft Azure和Google Cloud这样的云平台尤其相关，这些平台提供内存容量各异的GPU实例。
与批量大小和学习率的关系
使用梯度累积时，有效批量大小增加，这通常需要调整学习率。在实践中，一个常见的启发式方法是将学习率与批量大小线性缩放，正如先前关于大批量训练的研究所建议的那样。然而，最优缩放取决于模型架构、优化器和数据集。梯度累积不会改变每次权重更新所看到的样本数量；它只改变梯度的聚合方式。因此，随着有效批量大小的增加，总训练步数减少，这可能影响收敛速度和最终性能。从业者必须调整学习率和累积步数，以实现与真正大批量训练相当的结果。
实现注意事项
实现梯度累积涉及修改训练循环。在每次前向和反向传播后，梯度累积在模型的梯度缓冲区中（例如，使用PyTorch的accumulate_grad或TensorFlow的GradientTape配合持久变量）。仅在达到所需累积步数后执行优化器步骤。正确缩放损失至关重要：如果损失在迷你批次上平均，则累积梯度应除以累积步数以保持正确的梯度幅度。或者，如果损失是求和，则无需缩放。此外，批归一化层需要特别关注，因为它们计算当前迷你批次的统计量。使用梯度累积时，归一化的有效批量大小仍然是迷你批次大小，这可能导致与真正大批量训练不同的行为。一些框架通过跨设备同步批归一化自动处理此问题。
与其他技术的比较
梯度累积常与梯度检查点（通过反向传播期间重新计算激活值来减少内存）和混合精度训练（通过使用较低精度算术来减少内存）进行比较。这些技术可以组合使用：例如，将梯度累积与混合精度结合可以训练更大的有效批量大小。与跨多个GPU的分布式训练不同，梯度累积不需要设备间通信，使其更易于实现且不易产生同步开销。然而，它增加了顺序步骤的数量，如果迷你批次大小非常小且多次反向传播的开销显著，则可能减慢训练速度。
局限性与替代方案
梯度累积并非真正大批量训练的完美替代品。梯度估计来自不同的迷你批次，这可能因数据洗牌和批归一化统计量而引入细微差异。在某些情况下，这可能导致不同的收敛行为。替代方案包括使用更大内存的设备，如Cerebras系统或Groq加速器，这些设备提供高内存带宽和容量，或使用模型并行和流水线并行将批次分布到多个设备上。此外，一些优化器（如LAMB或LARS）设计用于直接处理大批量大小，可能减少对累积的需求。
历史背景与采用情况
在多个迷你批次上累积梯度的概念早于现代深度学习，其根源可追溯到20世纪80年代的“批量模式反向传播算法”。随着深度学习模型在2010年代规模增大以及内存约束成为瓶颈，这一概念逐渐受到重视。如今，梯度累积是主要深度学习框架（包括PyTorch、TensorFlow和JAX）中的标准功能，并被广泛用于训练OpenAI、Anthropic和Google DeepMind等组织的最先进模型。它也是研究和生产环境中的常见技术，尤其是在有限硬件上微调大型模型时。
结论
梯度累积是一种实用且广泛采用的技术，用于在内存约束下训练大型模型。通过在多个迷你批次上累积梯度，它能够模拟大批量大小而无需成比例的内存增加。虽然它引入了一些开销并需要仔细调整学习率和归一化层，但它仍然是深度学习从业者工具箱中的基本工具，特别是在大规模训练和微调任务中。