순환 학습률(CLR)은 인공 신경망 훈련을 위한 하이퍼파라미터 스케줄링 방법으로, 2015년 Leslie N. Smith가 도입했습니다. 단조 감소하는 학습률을 사용하는 대신, CLR은 학습률을 사전 정의된 최소 및 최대 경계 사이에서 주기적으로 변화시킵니다. 이러한 주기적 변동은 옵티마이저가 안장점과 지역 최솟값을 벗어나도록 도와, 더 빠른 수렴과 더 나은 최종 모델 성능을 잠재적으로 이끌어냅니다. 이 기법은 더 복잡한 스케줄링 방식에 대한 실용적인 대안으로 딥러닝 커뮤니티에서 주목을 받았으며, 종종 추가 계산 비용이 필요 없고 때로는 정확도 향상을 가져옵니다.
CLR의 핵심 아이디어는 적당한 학습률이 일종의 정규화 역할을 할 수 있다는 것입니다. 학습률을 주기적으로 높이면 모델이 손실 지형의 다른 영역을 탐색하도록 장려되고, 낮추면 더 세밀한 조정이 가능합니다. 이 접근 방식은 시간이 지남에 따라 학습률만 감소시키는 전통적인 스케줄과 대조되며, 이는 모델을 좋지 않은 지역 최적점에 가둘 수 있습니다. Smith는 CIFAR-10 및 ImageNet을 포함한 다양한 데이터셋에서의 실험을 통해 CLR이 광범위한 하이퍼파라미터 튜닝 없이도 더 적은 에포크로 최첨단 결과를 달성할 수 있음을 입증했습니다.
역사적 배경 및 동기
CLR 이전에는 고정 학습률을 설정하거나 단계적 감소(step-wise decay)를 사용하는 것이 일반적이었으며, 이는 사전 결정된 에포크에서 비율을 일정 요소만큼 낮추는 방식이었습니다. 이러한 방법은 초기 학습률과 감소 스케줄을 시행착오를 통해 신중하게 조정해야 했습니다. Smith는 최적의 학습률이 종종 특정 범위 내에 있으며, 이 범위를 순환하는 것이 단일 값을 고수하는 것보다 더 효과적일 수 있다고 관찰했습니다. 그의 2015년 논문 "Cyclical Learning Rates for Training Neural Networks"는 CLR이 목표 정확도에 도달하는 데 필요한 훈련 반복 횟수를 때로는 2배에서 10배까지 줄일 수 있다는 경험적 증거를 제시했습니다.
동기는 또한 딥 네트워크의 손실 지형이 매우 비볼록하며, 많은 평평한 영역과 좁은 계곡으로 이루어져 있다는 관찰에서 비롯되었습니다. 고정 학습률은 평평한 영역에서 진동하거나 좁은 계곡을 지나칠 수 있습니다. CLR의 주기적 특성은 옵티마이저가 이러한 다양한 지형을 더 견고하게 횡단할 수 있게 합니다. 이 통찰은 따뜻한 재시작을 사용하는 확률적 경사 하강법에 대한 연구와 같은 최적화 분야의 더 넓은 연구와 일치하지만, CLR은 옵티마이저 상태를 재설정하지 않는다는 점에서 다릅니다.
수학적 공식 및 변형
CLR은 세 가지 주요 매개변수로 정의됩니다: 최소 학습률(base_lr), 최대 학습률(max_lr), 그리고 절반 주기의 훈련 반복 횟수인 단계 크기(stepsize)입니다. 반복 \( t \)에서의 학습률은 주기 번호와 주기 내 위치를 기반으로 계산됩니다. 가장 일반적인 변형은 삼각형 정책으로, 학습률이 주기의 전반부에서 base_lr에서 max_lr로 선형적으로 증가한 다음, 후반부에서 다시 base_lr로 선형적으로 감소합니다. 이는 다음과 같이 표현할 수 있습니다:
\[ lr(t) = base\_lr + (max\_lr - base\_lr) \times \frac{|\text{cycle} - 2 \times \text{position}|}{\text{stepsize}} \]
여기서 cycle은 현재 주기 인덱스이고 position은 주기 내 반복입니다. 변형에는 각 전체 주기 후 진폭(max_lr과 base_lr의 차이)을 절반으로 줄이는 triangular2 정책과 시간이 지남에 따라 진폭을 지수적으로 감소시키는 exp_range 정책이 포함됩니다. 이러한 수정은 학습률 범위의 점진적 감소를 허용하여 순환의 이점과 감소의 안정성을 결합합니다.
Smith는 또한 보조 기법으로 "LR 범위 테스트"를 도입했습니다. 이 테스트는 학습률을 작은 값에서 큰 값으로 선형적으로 증가시키면서 모델을 몇 에포크 동안 실행한 다음, 손실을 학습률에 대해 플로팅하는 것입니다. 결과 곡선은 base_lr과 max_lr에 적합한 범위를 식별하는 데 도움이 되며, 일반적으로 손실이 가장 가파르게 감소하는 값을 선택합니다. 이 테스트는 딥러닝 실무에서 표준 진단 도구가 되었습니다.
딥러닝 프레임워크에서의 구현
CLR은 대부분의 주요 딥러닝 라이브러리에서 구현되었습니다. PyTorch에서 torch.optim.lr_scheduler 모듈은 triangular, triangular2 및 exp_range 모드를 지원하는 CyclicLR을 포함합니다. 사용자는 base_lr, max_lr, step_size_up 및 step_size_down을 지정할 수 있으며, 학습률에 반비례하여 모멘텀을 조정하는 cycle_momentum과 같은 선택적 매개변수도 지정할 수 있습니다. 유사하게, TensorFlow의 Keras API는 CyclicLR 콜백을 제공하며, fastai는 CLR을 핵심 기능으로 통합하고, 학습률이 단일 주기 동안 먼저 증가한 다음 감소하는 one-cycle 변형을 사용하는 fit_one_cycle 메서드를 제공합니다.
구현의 용이성은 CLR의 인기에 기여했습니다. 예를 들어, 일반적인 PyTorch 훈련 루프에서 스케줄러를 다음과 같이 정의할 수 있습니다:
scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr=0.001, max_lr=0.01, step_size_up=2000, mode='triangular')
그런 다음 각 배치 후 scheduler.step()을 호출합니다. 이러한 단순성 덕분에 실무자는 큰 코드 변경 없이 CLR을 실험할 수 있습니다. 많은 오픈 소스 프로젝트와 튜토리얼이 합성곱 신경망 및 기타 아키텍처 훈련을 위한 기본 권장 사항으로 CLR을 채택했습니다.
다른 학습률 스케줄과의 관계
CLR은 단계 감소, 지수 감소 및 코사인 어닐링을 포함한 더 넓은 학습률 스케줄 계열의 일부입니다. 이러한 단조 스케줄과 달리 CLR은 비단조적이며, 이것이 정의적 특성입니다. 인기 있는 SGDR(Stochastic Gradient Descent with Warm Restarts) 방법에서 사용되는 코사인 어닐링도 학습률의 주기적 증가를 포함하지만, 코사인 함수를 사용하고 종종 옵티마이저 상태를 재설정하는 재시작을 포함합니다. 반면 CLR은 재시작이 필요 없으며 표준 모멘텀 또는 Adam 옵티마이저와 함께 적용할 수 있습니다.
또 다른 관련 개념은 one-cycle 정책으로, 이는 CLR의 특수한 경우로, 학습률이 훈련의 첫 부분에서 낮은 값에서 높은 값으로 증가한 다음 초기 값보다 훨씬 낮은 값으로 감소합니다. fastai에 의해 대중화된 이 정책은 더 적은 에포크로 높은 정확도를 달성할 수 있음을 보여주었습니다. one-cycle 정책은 더 긴 기간을 가진 CLR의 단일 주기로 볼 수 있으며, 종종 일반적인 CLR 설정보다 더 높은 최대 학습률을 통합합니다.
실제로 CLR은 배치 정규화, 드롭아웃 및 데이터 증강과 같은 다른 기법과 결합할 수 있습니다. 예를 들어, CLR을 Batch Normalization과 함께 사용하면 주기적 학습률 변화가 정규화 통계와 상호 작용할 수 있으므로 훈련을 안정화할 수 있습니다. 유사하게, CLR은 종종 Adam (Optimizer) 또는 모멘텀이 있는 SGD와 같은 Stochastic Gradient Descent Variants와 함께 사용되며, Residual Network (ResNet) 및 U-Net 모델을 포함한 다양한 아키텍처에 적용할 수 있습니다.
경험적 성능 및 사용 사례
경험적 연구는 CLR이 다양한 작업에서 테스트 정확도를 향상시키고 훈련 시간을 줄일 수 있음을 보여주었습니다. Smith의 원래 논문에서 그는 CLR이 CIFAR-10 및 CIFAR-100에서 훨씬 더 적은 에포크로 최첨단에 가까운 결과를 달성했다고 보고했습니다. 예를 들어, CIFAR-10에서 ResNet 아키텍처를 사용할 때 CLR은 60 에포크에서 약 6%의 오류율에 도달한 반면, 고정 학습률은 유사한 성능을 달성하는 데 100 에포크가 필요했습니다. ImageNet에서 GoogLeNet 아키텍처와 함께 CLR은 잘 튜닝된 단계 감소 스케줄과 유사한 정확도를 달성했지만 수동 튜닝은 덜 필요했습니다.
CLR은 또한 Transformer (architecture) 모델 및 Large language model 훈련과 같은 자연어 처리 작업에 적용되었습니다. 예를 들어, BERT 스타일 모델을 미세 조정할 때 CLR은 파괴적 망각을 피하고 수렴을 개선하는 데 도움이 될 수 있습니다. 일부 실무자는 Reinforcement Learning from AI Feedback (RLAIF) 또는 Curriculum Learning과 함께 CLR을 사용하여 훈련 역학을 더욱 향상시켰습니다. 이 기법은 최적의 학습률을 알 수 없을 때 특히 유용하며, LR 범위 테스트가 좋은 범위를 빠르게 식별할 수 있습니다.
그러나 CLR은 만능 해결책이 아닙니다. 그 효과는 모델 아키텍처, 데이터셋 및 옵티마이저에 따라 달라질 수 있습니다. OpenAI 또는 Google DeepMind와 같은 조직에서 훈련하는 매우 큰 모델의 경우 분산 훈련의 복잡성과 사용자 정의 스케줄러 사용으로 인해 CLR이 덜 일반적일 수 있습니다. 그럼에도 불구하고 CLR은 특히 소규모 실험과 연구에서 머신러닝 실무자의 도구 상자에서 여전히 가치 있는 도구로 남아 있습니다.
실용 지침 및 하이퍼파라미터 선택
CLR의 성공을 위해 base_lr과 max_lr의 적절한 값을 선택하는 것이 중요합니다. LR 범위 테스트가 권장 방법입니다: 매우 작은 학습률(예: 1e-6)로 시작하여 몇 에포크 동안 지수적으로 증가시키면서 손실을 기록합니다. base_lr은 손실이 감소하기 시작하는 학습률로 설정할 수 있고, max_lr은 손실이 증가하거나 평탄해지기 시작하는 지점으로 설정할 수 있습니다. 일반적인 휴리스틱은 base_lr을 max_lr의 약 1/10로 설정하는 것이지만, 이는 다를 수 있습니다.
단계 크기(stepsize)는 일반적으로 에포크당 반복 횟수의 2~10배로 설정됩니다. 예를 들어, 에포크에 500회 반복이 있다면 stepsize는 2000일 수 있으며, 이는 학습률이 4 에포크마다 전체 주기를 완료함을 의미합니다. 더 작은 stepsize는 더 빈번한 주기를 초래하여 지역 최솟값을 벗어나는 데 유리할 수 있지만 불안정성을 유발할 수도 있습니다. Smith는 stepsize가 에포크당 반복 횟수의 최소 3배가 되어야 각 절반 주기 내에서 모델이 수렴할 수 있다고 제안했습니다.
모멘텀을 사용할 때 cycle_momentum을 True로 설정하는 것이 종종 유리하며, 이는 학습률이 증가함에 따라 모멘텀을 감소시키고 그 반대도 마찬가지입니다. 이 역관계는 안정성을 유지하는 데 도움이 됩니다. 적응형 학습률을 가진 Adam과 같은 옵티마이저의 경우 CLR을 여전히 적용할 수 있지만, Adam의 유효 단계 크기가 기울기 크기에 의해 조정되므로 base_lr과 max_lr을 신중하게 선택해야 합니다.
한계 및 비판
장점에도 불구하고 CLR에는 한계가 있습니다. 한 가지 비판은 학습률의 주기적 증가가 특히 max_lr이 너무 높게 설정된 경우 손실 급증을 유발할 수 있다는 것입니다. 이는 모니터링하지 않으면 발산으로 이어질 수 있습니다. 또한 CLR은 잘 튜닝된 고정 스케줄보다 더 나은 성능을 보장하지 않으며, 단순히 하이퍼파라미터 선택에 대한 민감도를 줄입니다. 일부 경우, 특히 매우 긴 훈련 실행에서 신중하게 설계된 코사인 어닐링 스케줄이 CLR보다 더 나을 수 있습니다.
또 다른 한계는 CLR이 주로 배치 기반 훈련을 위해 설계되었다는 것입니다. 온라인 또는 스트리밍 설정에서는 주기 개념이 직접 적용되지 않을 수 있습니다. 또한 CLR의 이점은 손실 지형이 더 매끄럽고 AdamW와 같은 고급 옵티마이저가 워밍업과 함께 이미 효과적인 매우 큰 모델에서는 덜 두드러집니다. 일부 연구자는 CLR의 이점이 부분적으로 변화하는 학습률의 암묵적 정규화 때문이며, 이는 Dropout 또는 Data Augmentation과 같은 다른 형태의 확률성으로 재현될 수 있다고 주장했습니다.
미래 방향 및 관련 연구
학습률 스케줄에 대한 연구는 계속 진화하고 있습니다. CLR은 높은 max_lr과 one-cycle 정책을 사용하여 모델을 일반적인 에포크의 일부로 훈련할 수 있는 "초수렴(super-convergence)" 현상과 같은 변형에 영감을 주었습니다. 이는 자동 학습률 파인더와 하이퍼파라미터 튜닝을 위한 베이지안 최적화 접근 방식의 개발로 이어졌습니다. Artificial intelligence 및 Machine learning의 맥락에서 CLR은 종종 과정과 교과서에서 기본 기법으로 가르쳐지며, 최적화 연구에서 비교를 위한 표준 기준선으로 남아 있습니다.
최근 연구는 CLR을 Gradient Clipping과 결합하여 기울기 폭발을 방지하고, Layer Normalization과 결합하여 순환 네트워크의 안정성을 개선하는 것을 탐구했습니다. 또한 손실 지형이나 기울기 통계에 따라 경계를 조정하는 적응형 CLR에 대한 관심도 있습니다. Deep learning 모델이 크기와 복잡성에서 성장함에 따라 효율적이고 견고한 훈련 스케줄의 필요성은 새로운 방법이 등장하더라도 CLR을 관련성 있게 유지할 것입니다.
요약하면, 순환 학습률은 학습률 스케줄링에 대한 간단하면서도 강력한 접근 방식을 제공합니다. 학습률을 주기적으로 진동시킴으로써 수렴 속도와 최종 모델 품질을 개선하고 하이퍼파라미터 튜닝의 부담을 줄일 수 있습니다. 독립형 기법으로 사용되든 더 넓은 훈련 전략의 일부로 사용되든, CLR은 딥러닝 도구 상자에서 가치 있는 도구로 자리 잡았습니다.