循環學習率（Cyclic Learning Rates, CLR）是一種用於訓練人工神經網絡的超參數調度方法，由Leslie N. Smith於2015年提出。與單調遞減的學習率不同，CLR會在預先定義的最小值和最大值之間週期性地變化學習率。這種週期性波動旨在幫助優化器逃離鞍點和局部最小值，從而可能加快收斂速度並提升最終模型性能。該技術在深度學習社區中已獲得廣泛應用，作為一種更複雜調度方案的實用替代，通常無需額外計算成本，有時還能帶來準確率的提升。
CLR的核心思想在於，適度的學習率可以起到正則化的作用。通過週期性地提高學習率，模型被鼓勵去探索損失景觀的不同區域，而降低學習率則允許更精細的調整。這種方法與傳統的僅隨時間遞減學習率的調度方式形成對比，後者可能使模型陷入較差的局部最優解。Smith在多個數據集（包括CIFAR-10和ImageNet）上的實驗表明，CLR能夠以更少的訓練輪次達到與傳統方法相當甚至更好的結果，且無需大量的超參數調整。
歷史背景與動機
在CLR出現之前，常見的做法是使用固定學習率或按預定輪次進行階梯式衰減。這些方法需要仔細調整初始學習率和衰減計劃，往往依賴於反覆試驗。Smith觀察到，最優學習率通常落在一個範圍內，而在這個範圍內循環調整學習率可能比固定在單一數值更有效。他在2015年發表的論文《Cyclical Learning Rates for Training Neural Networks》中提供了實驗證據，表明CLR可以將達到目標精度所需的訓練迭代次數減少2到10倍。
這一動機還源於對深度網絡損失景觀的觀察：這些景觀高度非凸，包含許多平坦區域和尖銳谷地。固定學習率可能在平坦區域中震盪，或在尖銳谷地中越過最優點。CLR的週期性特性使優化器能夠更穩健地穿越這些多樣的地形。這一見解也與優化領域的相關研究相呼應，例如帶有熱重啟的隨機梯度下降，但CLR的區別在於它不會重置優化器狀態。
數學表述與變體
CLR由三個主要參數定義：最小學習率（base_lr）、最大學習率（max_lr）和步長（stepsize），其中步長是半個週期內的訓練迭代次數。在第 \( t \) 次迭代時，學習率根據週期編號和週期內的位置計算得出。最常見的變體是三角策略（triangular policy），在週期的前半段，學習率從base_lr線性增加到max_lr，後半段則線性下降回base_lr。其數學表達式為：
\[ lr(t) = base\_lr + (max\_lr - base\_lr) \times \frac{|\text{cycle} - 2 \times \text{position}|}{\text{stepsize}} \]
其中cycle是當前週期編號，position是週期內的迭代位置。其他變體包括三角2策略（triangular2），它在每個完整週期後將振幅（即max_lr與base_lr之差）減半；以及指數範圍策略（exp_range），它隨時間指數衰減振幅。這些修改允許學習率範圍逐漸縮小，結合了循環的優勢與衰減的穩定性。
Smith還引入了「學習率範圍測試」（LR range test）作為輔助技術。該測試涉及在幾個訓練輪次中線性增加學習率，從一個很小的值到一個很大的值，然後繪製損失隨學習率變化的曲線。這條曲線有助於確定合適的base_lr和max_lr範圍，通常選擇損失下降最陡峭的區域對應的學習率值。這一測試已成為深度學習實踐中的標準診斷工具。
在深度學習框架中的實現
CLR已在大多數主流深度學習庫中實現。在PyTorch中，torch.optim.lr_scheduler模塊提供了CyclicLR，支持triangular、triangular2和exp_range三種模式。用戶可以指定base_lr、max_lr、step_size_up和step_size_down，以及可選參數如cycle_momentum，該參數會使動量與學習率成反比變化。類似地，TensorFlow的Keras API提供了CyclicLR回調，而fastai則將CLR作為核心功能集成，其fit_one_cycle方法使用單週期變體，其中學習率先升後降。
實現的簡便性促進了CLR的普及。例如，在典型的PyTorch訓練循環中，可以這樣定義調度器：
scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr=0.001, max_lr=0.01, step_size_up=2000, mode='triangular')
然後在每個批次之後調用scheduler.step()。這種簡單性使得實踐者無需大量代碼修改即可實驗CLR。許多開源項目和教程已將CLR作為訓練卷積神經網絡及其他架構的默認推薦。
與其他學習率調度的關係
CLR是更廣泛的學習率調度家族的一部分，該家族包括階梯衰減、指數衰減和餘弦退火等方法。與這些單調遞減的調度不同，CLR是非單調的，這正是其定義性特徵。餘弦退火，特別是在帶有熱重啟的SGDR（Stochastic Gradient Descent with Warm Restarts）方法中，也涉及學習率的週期性上升，但它使用餘弦函數且通常包含重置優化器狀態。相比之下，CLR不需要重置狀態，可以與標準的動量或Adam優化器直接配合使用。
另一個相關概念是單週期策略（one-cycle policy），它是CLR的一種特例，其中學習率在訓練的前半段從低值升至較高值，然後在後半段降至遠低於初始值的水平。這一策略由fastai推廣，已被證明可以在更少的訓練輪次內實現高精度。單週期策略可以視為持續時間更長的單個CLR週期，且通常採用比典型CLR設置更高的最大學習率。
在實踐中，CLR可以與其他技術結合使用。例如，與Batch Normalization（批量歸一化）配合可以穩定訓練，因為週期性的學習率變化可能與歸一化統計數據相互作用。CLR也常與Adam (Optimizer)（Adam優化器）或帶動量的Stochastic Gradient Descent Variants（SGD變體）一起使用，並可應用於包括Residual Network (ResNet)（殘差網絡）和U-Net在內的各種架構。
實證表現與使用案例
實證研究表明，CLR可以提高測試準確率並縮短訓練時間。在Smith的原始論文中，他報告了CLR在CIFAR-10和CIFAR-100上以顯著更少的訓練輪次達到了接近最優的結果。例如，在CIFAR-10上使用ResNet架構時，CLR在60輪內達到了約6%的錯誤率，而固定學習率需要100輪才能達到類似性能。在ImageNet上，使用GoogLeNet架構時，CLR在無需大量手動調整的情況下達到了與精心調整的階梯衰減相當的準確率。
CLR也已應用於自然語言處理任務，例如訓練Transformer (architecture)（Transformer）模型和Large language model（大型語言模型）。在微調BERT風格模型時，CLR有助於避免災難性遺忘並改善收斂。一些實踐者將CLR與Reinforcement Learning from AI Feedback (RLAIF)（基於AI反饋的強化學習）或Curriculum Learning（課程學習）結合使用，以進一步增強訓練動態。當最優學習率未知時，該技術尤其有用，因為LR範圍測試可以快速識別合適的範圍。
然而，CLR並非萬能藥。其有效性可能取決於模型架構、數據集和優化器。對於非常大型的模型，例如由OpenAI或Google DeepMind等組織訓練的模型，由於分佈式訓練的複雜性和自定義調度器的使用，CLR可能較不常見。儘管如此，CLR仍然是機器學習實踐者工具箱中的寶貴工具，特別適用於較小規模的實驗和研究。
實用指南與超參數選擇
選擇合適的base_lr和max_lr對CLR的成功至關重要。LR範圍測試是推薦的方法：從一個非常小的學習率（例如1e-6）開始，在幾個訓練輪次內指數增加，並記錄損失。然後可以將base_lr設置為損失開始下降時的學習率，將max_lr設置為損失開始上升或趨於平穩時的學習率。一個常見的經驗法則是將base_lr設置為max_lr的約十分之一，但這可能因情況而異。
步長（stepsize）通常設置為每個訓練輪次迭代次數的2到10倍。例如，如果一個輪次有500次迭代，步長可能設為2000，意味著學習率每4個輪次完成一個完整週期。較小的步長會導致更頻繁的週期，這可能有助於逃離局部最小值，但也可能引起不穩定。Smith建議步長至少應為每個輪次迭代次數的3倍，以允許模型在每個半週期內收斂。
當使用動量時，通常建議將cycle_momentum設置為True，這會在學習率增加時降低動量，反之亦然。這種反向關係有助於保持穩定性。對於Adam等具有自適應學習率的優化器，CLR仍然可以應用，但應仔細選擇base_lr和max_lr，因為Adam的有效步長會按梯度幅度進行縮放。
侷限性與批評
儘管CLR具有優勢，但它也有侷限性。一個批評是，學習率的週期性上升有時會導致損失激增，特別是當max_lr設置過高時。如果不加以監控，這可能導致發散。此外，CLR並不能保證比精心調整的固定調度表現更好；它只是降低了對超參數選擇的敏感性。在某些情況下，精心設計的餘弦退火調度可能優於CLR，特別是對於非常長的訓練過程。
另一個侷限是，CLR主要針對基於批次的訓練設計。在在線或流式設置中，週期的概念可能無法直接應用。此外，對於損失景觀更平滑的超大規模模型，CLR的優勢不太明顯，因為像AdamW這樣帶有預熱的高級優化器已經很有效。一些研究人員認為，CLR的收益部分來自於變化學習率所帶來的隱式正則化，而這種效果可能可以通過其他形式的隨機性（如Dropout或Data Augmentation）來複製。
未來方向與相關研究
關於學習率調度的研究仍在持續發展。CLR啟發了「超收斂」（super-convergence）現象的研究，即使用高max_lr配合單週期策略可以在遠少於常規訓練輪次的情況下訓練模型。這導致了自動學習率查找器和用於超參數調整的貝葉斯優化方法的發展。在Artificial intelligence（人工智能）和Machine learning（機器學習）的背景下，CLR常作為基礎技術在課程和教材中講授，並且仍然是優化研究比較的標準基線。
最近的工作探索了將CLR與Gradient Clipping（梯度裁剪）結合以防止梯度爆炸，以及與Layer Normalization（層歸一化）結合以改善循環網絡的穩定性。還有對自適應CLR的興趣，其中學習率邊界會根據損失景觀或梯度統計數據進行調整。隨著Deep learning（深度學習）模型在規模和複雜性上的增長，對高效且穩健的訓練調度的需求可能會使CLR保持相關性，即使新方法不斷湧現。
總之，循環學習率提供了一種簡單而強大的學習率調度方法。通過週期性地振盪學習率，它可以改善收斂速度和最終模型質量，同時減輕超參數調整的負擔。無論是作為獨立技術還是作為更廣泛訓練策略的一部分，CLR都已在深度學習工具箱中贏得了其應有的地位。