循环学习率（CLR）是一种用于训练人工神经网络的超参数调度方法，由莱斯利·史密斯（Leslie N. Smith）于2015年提出。与单调递减的学习率不同，CLR在预定义的最小值和最大值之间周期性地变化学习率。这种周期性波动旨在帮助优化器逃离鞍点和局部最小值，从而可能加快收敛速度并提升最终模型的性能。该技术在深度学习社区中广受欢迎，被视为一种实用的替代方案，因为它通常无需额外计算成本，有时还能带来精度提升。
CLR的核心思想在于，适中的学习率可以起到正则化的作用。通过周期性提高学习率，模型被鼓励探索损失景观的不同区域，而降低学习率则允许更精细的调整。这种方法与传统调度策略形成对比，后者仅随时间降低学习率，可能导致模型陷入较差的局部最优解。史密斯在包括CIFAR-10和ImageNet在内的多个数据集上的实验表明，CLR能够在更少的训练周期内达到最先进的性能，且无需大量超参数调优。
历史背景与动机
在CLR出现之前，常见的做法是使用固定学习率或逐步衰减策略，即在预定的训练周期按固定比例降低学习率。这些方法通常需要仔细调整初始学习率和衰减计划，往往依赖试错过程。史密斯观察到，最优学习率往往落在一个范围内，而在这个范围内循环可能比固定单一值更有效。他在2015年发表的论文《用于训练神经网络的循环学习率》（Cyclical Learning Rates for Training Neural Networks）中提供了实证证据，表明CLR可以将达到目标精度所需的训练迭代次数减少两到十倍。
这一动机还源于对深度网络中损失景观的观察，即高度非凸，包含许多平坦区域和陡峭谷地。固定学习率可能要么在平坦区域振荡，要么在陡峭谷地中越过最优解。CLR的周期性特性使优化器能够更稳健地穿越这些多样的地形。这一见解与更广泛的优化研究相呼应，例如带热重启的随机梯度下降，但CLR的不同之处在于它不重置优化器状态。
数学表述与变体
CLR由三个主要参数定义：最小学习率（base_lr）、最大学习率（max_lr）和步长（stepsize），其中步长是半个周期内的训练迭代次数。在迭代\( t \)时的学习率根据当前周期编号和周期内位置计算。最常见的变体是三角策略，其中学习率在前半周期从base_lr线性增加到max_lr，在后半周期线性降低回base_lr。这可以表示为：
\[ lr(t) = base\_lr + (max\_lr - base\_lr) \times \frac{|\text{cycle} - 2 \times \text{position}|}{\text{stepsize}} \]
其中cycle是当前周期编号，position是周期内的迭代位置。变体包括三角2策略，它在每个完整周期后将振幅（即max_lr与base_lr之差）减半，以及指数范围策略，它随时间指数衰减振幅。这些修改允许学习率范围逐渐缩小，结合了循环的优势与衰减的稳定性。
史密斯还引入了“学习率范围测试”（LR range test）作为配套技术。该测试涉及运行模型几个周期，同时将学习率从很小值线性增加到很大值，并记录损失。由此得到的曲线有助于确定合适的base_lr和max_lr，通常选择损失下降最陡峭区域对应的学习率。这一测试已成为深度学习实践中的标准诊断工具。
在深度学习框架中的实现
CLR已在大多数主流深度学习库中实现。在PyTorch中，torch.optim.lr_scheduler模块包含CyclicLR，支持三角、三角2和指数范围模式。用户可以指定base_lr、max_lr、step_size_up和step_size_down，以及cycle_momentum等可选参数，后者使动量与学习率成反比调整。类似地，TensorFlow的Keras API提供了CyclicLR回调，而fastai将CLR作为核心功能集成，其fit_one_cycle方法使用单周期变体，其中学习率在单个周期内先升后降。
实现的简便性促进了CLR的普及。例如，在典型的PyTorch训练循环中，可以这样定义调度器：
scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr=0.001, max_lr=0.01, step_size_up=2000, mode='triangular')
然后，在每个批次后调用scheduler.step()。这种简单性使从业者无需大幅修改代码即可尝试CLR。许多开源项目和教程已将CLR作为训练卷积神经网络及其他架构的默认推荐方案。
与其他学习率调度的关系
CLR属于更广泛的学习率调度家族，包括步进衰减、指数衰减和余弦退火。与这些单调递减的调度不同，CLR是非单调的，这是其定义性特征。余弦退火，如流行的SGDR（带热重启的随机梯度下降）方法，也涉及学习率的周期性提升，但它使用余弦函数，并通常包含重置优化器状态的重启。相比之下，CLR不需要重启，可与标准动量或Adam优化器配合使用。
另一个相关概念是单周期策略，它是CLR的一种特例，其中学习率在训练的前半部分从低值增加到高值，然后降低到远低于初始值的水平。该策略由fastai推广，已被证明能在更少的训练周期内达到高精度。单周期策略可以视为持续时间更长的单个CLR周期，且通常采用比典型CLR设置更高的最大学习率。
在实践中，CLR可以与其他技术结合使用，例如Batch Normalization（批归一化）可以稳定训练，因为学习率的变化可能与归一化统计量相互作用。同样，CLR常与Adam (Optimizer)（Adam优化器）或Stochastic Gradient Descent Variants（SGD变体）等优化器配合，并可应用于各种架构，包括Residual Network (ResNet)（残差网络）和U-Net（U-Net）模型。
实证表现与应用场景
实证研究表明，CLR能够提升测试精度并减少训练时间，适用于多种任务。在史密斯的原始论文中，他报告称CLR在CIFAR-10和CIFAR-100上以显著更少的训练周期达到了接近最先进的性能。例如，在CIFAR-10上使用ResNet架构，CLR在60个周期内达到约6%的错误率，而固定学习率需要100个周期才能达到类似性能。在ImageNet上，使用GoogLeNet架构，CLR在精度上与精心调优的步进衰减调度相当，但所需手动调优更少。
CLR也已应用于自然语言处理任务，例如训练Transformer (architecture)（Transformer）模型和Large language model（大型语言模型）。例如，在微调BERT风格模型时，CLR有助于避免灾难性遗忘并改善收敛。一些从业者将CLR与Reinforcement Learning from AI Feedback (RLAIF)（基于强化学习的人工智能反馈）或Curriculum Learning（课程学习）结合使用，以进一步增强训练动态。当最优学习率未知时，该技术尤其有用，因为学习率范围测试可以快速确定合适的范围。
然而，CLR并非万能。其效果可能取决于模型架构、数据集和优化器。对于超大规模模型，例如由OpenAI（OpenAI）或Google DeepMind（Google DeepMind）等机构训练的模型，由于分布式训练的复杂性和自定义调度器的使用，CLR可能不太常见。尽管如此，CLR仍然是机器学习从业者工具箱中的宝贵工具，尤其适用于较小规模的实验和研究。
实用指南与超参数选择
为base_lr和max_lr选择合适的值对CLR的成功至关重要。推荐使用学习率范围测试：从非常小的学习率（例如1e-6）开始，在几个周期内指数增加，并记录损失。可以将base_lr设置为损失开始下降时的学习率，将max_lr设置为损失开始上升或趋于平稳时的学习率。一个常见的经验法则是将base_lr设为max_lr的约十分之一，但这可能因情况而异。
步长（stepsize）通常设置为每个周期迭代次数的2到10倍。例如，如果一个周期有500次迭代，步长可能设为2000，意味着学习率每4个周期完成一个完整循环。较小的步长导致更频繁的循环，这可能有助于逃离局部最小值，但也可能引起不稳定。史密斯建议步长应至少为每个周期迭代次数的3倍，以允许模型在每个半周期内收敛。
当使用动量时，通常有益的做法是将cycle_momentum设为True，这会随着学习率的增加而降低动量，反之亦然。这种反比关系有助于保持稳定性。对于Adam等具有自适应学习率的优化器，CLR仍然适用，但应谨慎选择base_lr和max_lr，因为Adam的有效步长会按梯度幅度缩放。
局限性与批评
尽管CLR具有优势，但也存在局限性。一种批评是，学习率的周期性提升有时会导致损失激增，尤其是当max_lr设置过高时。如果不加以监控，这可能导致发散。此外，CLR并不保证优于精心调优的固定调度；它只是降低了对超参数选择的敏感性。在某些情况下，精心设计的余弦退火调度可能优于CLR，尤其是对于非常长的训练过程。
另一个局限性是，CLR主要针对基于批次的训练设计。在在线或流式设置中，周期的概念可能不直接适用。此外，对于损失景观更平滑的超大规模模型，CLR的益处不太明显，因为像带预热的AdamW这样的高级优化器已经有效。一些研究人员认为，CLR的收益部分源于变化学习率带来的隐式正则化，这可以通过其他形式的随机性来复制，例如Dropout（丢弃法）或Data Augmentation（数据增强）。
未来方向与相关研究
关于学习率调度的研究仍在不断发展。CLR启发了诸如“超收敛”现象等变体，其中使用高max_lr配合单周期策略可以在通常训练周期的一小部分内训练模型。这推动了自动化学习率查找器和用于超参数调优的贝叶斯优化方法的发展。在Artificial intelligence（人工智能）和Machine learning（机器学习）的背景下，CLR常作为基础技术被纳入课程和教材，并且仍是优化研究中比较的标准基线。
近期工作探索了将CLR与Gradient Clipping（梯度裁剪）结合以防止梯度爆炸，以及与Layer Normalization（层归一化）结合以改善循环网络的稳定性。此外，还有对自适应CLR的兴趣，即根据损失景观或梯度统计量调整上下界。随着Deep learning（深度学习）模型在规模和复杂性上的增长，对高效且稳健训练调度的需求可能会使CLR保持相关性，即使新方法不断涌现。
总之，循环学习率为学习率调度提供了一种简单而强大的方法。通过周期性振荡学习率，它可以提高收敛速度和最终模型质量，同时减轻超参数调优的负担。无论是作为独立技术还是更广泛训练策略的一部分，CLR都已在深度学习工具箱中赢得了其作为宝贵工具的地位。