Warmup是一种在机器学习和深度学习中使用的训练技术，它在一段初始训练步数内，将学习率从较小的初始值逐渐增加到目标值。这种方法旨在稳定神经网络（尤其是大型模型，如大型语言模型和Transformer）训练的早期阶段。通过在开始时避免过大的学习率，warmup可以防止梯度不稳定，并帮助模型收敛到更好的最终解。
该技术通常与后续的衰减调度（如余弦退火或线性衰减）结合使用，形成完整的学习率调度。Warmup现在是训练许多最先进模型（包括由OpenAI、Anthropic和Google DeepMind开发的模型）的标准组成部分。它通常通过特定数量的warmup步数或定义学习率如何增加的warmup调度来实现。
动机与问题
在训练的初始阶段，模型权重是随机初始化的，通常使用Xavier或He初始化等方法。此时，梯度可能很大且充满噪声，尤其是在深层网络中。如果立即应用较高的学习率，优化器可能会采取过大且不稳定的步骤，导致损失发散或模型陷入较差的局部最小值。这个问题在具有许多层的模型（如残差网络或Transformer）中更为严重，因为不同层的梯度幅度可能差异显著。
Warmup通过允许模型首先进入损失景观中梯度更稳定且信息量更大的区域来解决这个问题。较小的初始学习率起到一种正则化的作用，防止可能破坏初始权重配置的剧烈更新。这对于使用层归一化或批归一化等技术的模型尤为重要，因为激活值的统计特性需要时间来稳定。
历史背景
Warmup的概念并不新鲜，但随着深度学习的兴起而变得突出。2010年代早期关于训练深度神经网络的工作（例如来自多伦多大学和斯坦福AI实验室的研究）就注意到了逐渐增加学习率的好处。然而，它是在2017年Google研究人员（包括Jakob Uszkoreit和Lukasz Kaiser）发表的论文“Attention Is All You Need”中引入Transformer架构后，才被广泛采用。该论文明确建议在训练Transformer模型时使用4000步的warmup阶段，这成为了常见的默认设置。
此后，warmup已被纳入许多训练框架，并成为Hugging Face的Transformers和PyTorch的学习率调度器中的默认设置。随着模型规模的扩大，其采用率也不断增长，因为更大的模型对超参数选择更为敏感。
Warmup的工作原理
Warmup通常由warmup步数（记为\(W\)）来定义。在这些步数内，学习率从较小的值（通常接近零）线性或二次地增加到目标学习率\(\eta_{max}\)。常见的线性调度为：
\[ \eta_t = \eta_{max} \cdot \frac{t}{W} \]
其中\(t = 1, 2, \ldots, W\)。在warmup阶段之后，学习率遵循衰减调度，如余弦衰减、指数衰减或逐步降低。某些调度使用非线性warmup，例如平方根或立方增加，这可能对某些架构有益。
\(W\)的选择取决于模型大小和数据集。对于小型模型，warmup可能仅持续几百步，而对于大型语言模型，它可能跨越数千甚至数万步。例如，训练像GPT-3这样具有数百亿参数的模型，需要数千步的warmup以避免不稳定性。
益处与效果
Warmup提供了几个具体的好处。首先，它提高了训练稳定性，降低了损失发散或梯度中出现NaN值的风险。其次，它通常能带来更好的最终性能，因为模型可以探索损失景观中更有利的区域。第三，它允许使用更高的峰值学习率，这可以在warmup阶段后加速收敛。
实证研究表明，当与Adam和其他自适应优化器结合使用时，warmup可能特别有效。Adam基于梯度历史维护每个参数的学习率，而在初始步骤中，这些估计是噪声较大的。Warmup通过限制步长直到优化器的方差估计稳定来缓解这个问题。
此外，warmup与梯度裁剪和权重初始化等其他技术相互作用。例如，在使用残差网络时，warmup有助于确保残差连接不会放大初始误差。
变体与扩展
已经开发了几种warmup的变体。一种常见的变体是“渐进式warmup”，其中学习率在固定步数内线性增加。另一种是“指数warmup”，它以指数方式增加学习率，但这不太常见。某些调度使用“warmup后衰减”的方法，即warmup后跟随余弦衰减至零，正如原始Transformer论文中推广的“Noam”调度。
另一个扩展是“随机warmup”，其中每次训练运行随机采样warmup步数，这可以作为一种超参数正则化形式。在某些情况下，warmup仅应用于特定层或参数，例如Transformer中的嵌入层，而其他情况则使用完整的warmup。
Warmup也与课程学习相关，后者先训练模型处理较简单的样本，然后再处理较难的样本。这两种技术都旨在稳定早期训练，但它们在不同的轴上操作：warmup调整学习率，而课程学习调整数据分布。
实际实现
在实践中，实现warmup需要设置三个超参数：初始学习率（通常设置为峰值学习率的一小部分，如0.1或0.01）、峰值学习率和warmup步数。峰值学习率通常通过超参数调优确定，而warmup步数通常设置为总训练步数的百分比，如1%至10%。
例如，在训练用于机器翻译的Transformer模型时，常见的配置是峰值学习率为0.0001，warmup步数为4000。相比之下，对于处理数万亿token的大型语言模型，warmup可能在总共500,000步中持续2000步。
PyTorch和TensorFlow等框架提供了支持warmup的内置调度器。例如，PyTorch的get_cosine_schedule_with_warmup函数创建了一个具有线性warmup后接余弦衰减的调度。类似地，Hugging Face的get_scheduler允许指定warmup比例。
与其他技术的关系
Warmup通常与其他稳定技术结合使用。梯度裁剪限制梯度的大小，即使没有warmup也能防止梯度爆炸，但组合使用更为稳健。层归一化和批归一化有助于稳定激活值，但它们不能直接解决初始大梯度的问题。
Warmup还补充了Dropout和其他正则化方法。通过以低学习率开始，模型在早期阶段不太可能过拟合噪声，从而使Dropout在后期更有效。
此外，warmup是许多现代架构训练配方中的关键组成部分，包括用于图像分割的U-Net和各种序列到序列模型。它也用于微调预训练模型，其中短暂的warmup（例如100步）有助于模型适应新任务而不会发生灾难性遗忘。
挑战与局限性
尽管有诸多好处，warmup引入了需要调优的额外超参数。选择过少的warmup步数可能导致不稳定性，而过多的步数可能减慢收敛速度。最佳的warmup持续时间因模型和数据集而异，没有通用的规则。
一些研究探索了warmup的替代方案，例如使用固定的低学习率或采用基于梯度统计调整学习率的自适应方法。然而，这些方法在实践中并未完全取代warmup，因为warmup仍然是一个简单而有效的基线。
另一个局限性是warmup主要针对随机梯度下降及其变体设计。对于其他优化算法，如二阶方法，其益处可能不那么明显，尽管在某些情况下仍会使用。
未来方向
随着模型规模持续增长，warmup仍然是一个活跃的研究领域。最近的工作研究了自动设置warmup持续时间的方法，例如使用验证损失来触发从warmup到衰减的转换。也有兴趣理解warmup的理论基础，一些研究将其与损失景观的曲率联系起来。
在生成式AI和大规模训练的背景下，warmup很可能仍将是一种标准做法。OpenAI、Anthropic和Google DeepMind等公司都发布了包含warmup阶段的训练细节，它也是许多开源训练脚本中的默认设置。随着新架构的出现，warmup将继续被调整和优化。
总之，warmup是一种简单而强大的技术，可提高神经网络训练的稳定性和性能。通过逐渐增加学习率，它允许模型导航优化初期混乱的阶段，从而获得更好的最终结果。它在整个领域的广泛采用凸显了其在现代机器学习中的重要性。