코사인 어닐링은 기계 학습 모델, 특히 심층 학습 모델을 훈련할 때 사용되는 학습률 스케줄입니다. 이는 코사인 곡선을 따라 최적화 중 학습률을 조정하여, 초기 높은 값에서 시작하여 지정된 에포크 또는 반복 횟수에 걸쳐 최솟값으로 부드럽게 감소시킵니다. 이 접근 방식은 수렴 속도와 안정성 사이의 균형을 맞추기 위해 설계되었으며, 모델이 손실 함수의 더 나은 최솟값에 안착하도록 돕습니다. 이 스케줄은 신경망 아키텍처, 특히 대규모 언어 모델과 같은 트랜스포머 기반 모델을 위한 현대 훈련 파이프라인에서 단순성과 효율성 덕분에 널리 채택되고 있습니다.
최적화에서 학습률은 손실 함수의 최솟값을 향해 취하는 스텝 크기를 결정합니다. 일정한 학습률은 수렴을 느리게 하거나 진동을 유발할 수 있는데, 너무 높은 비율은 최솟값을 지나칠 수 있고 너무 낮은 비율은 정체될 수 있기 때문입니다. 코사인 어닐링은 훈련이 진행됨에 따라 더 미세한 조정을 허용하는 부드러운 감소를 제공하여 이 문제를 해결합니다. 스텝 기반 또는 지수 기반 스케줄과 달리 학습률을 갑작스럽게 낮추는 대신, 코사인 어닐링은 연속적이고 미분 가능한 감소를 제공하여 종종 더 안정적인 훈련 역학을 산출합니다.
수학적 공식
코사인 어닐링 스케줄은 다음 공식으로 정의됩니다:
\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min}) \left(1 + \cos\left(\frac{t \pi}{T}\right)\right)
여기서 \eta_t는 반복 또는 에포크 t에서의 학습률, \eta_{max}는 초기 학습률, \eta_{min}은 최소 학습률(종종 0으로 설정), T는 주기의 총 훈련 스텝 수입니다. 코사인 함수는 t가 0에서 T로 갈수록 1에서 -1로 감소하여 학습률이 \eta_{max}에서 \eta_{min}으로 부드럽고 곡선적인 방식으로 떨어지게 합니다. 이 공식은 아래에 설명된 대로 주기적으로 스케줄을 재설정하는 웜 재시작에 맞게 조정될 수 있습니다.
이 스케줄은 일반적으로 구현에 따라 에포크 또는 배치마다 적용됩니다. 예를 들어, PyTorch 및 TensorFlow와 같은 프레임워크에서 torch.optim.lr_scheduler.CosineAnnealingLR와 같은 내장 함수가 이 스케줄을 구현하여 실무자가 초기 학습률과 에포크 수를 지정할 수 있게 합니다. 부드러운 감소는 훈련을 불안정하게 만들 수 있는 급격한 변화를 피하는 데 도움이 됩니다.
역사적 배경
코사인 어닐링은 시간 기반, 스텝 기반 및 지수 감소와 같은 전통적인 스케줄의 대안으로 심층 학습 연구 맥락에서 도입되었습니다. 이러한 오래된 방법은 효과적이지만 감쇠 매개변수를 수동으로 조정해야 하는 경우가 많고 하이퍼파라미터 선택에 민감할 수 있습니다. 코사인 스케줄은 2017년 논문 "SGDR: Stochastic Gradient Descent with Warm Restarts"에서 Ilya Loshchilov와 Frank Hutter에 의해 대중화되었으며, 주기적 재시작과 함께 코사인 어닐링을 사용하여 수렴을 개선할 것을 제안했습니다. 이 연구는 \eta_{n+1} = \eta_0 / (1 + dn)과 같은 시간 기반 감쇠 공식(여기서 \eta_0는 초기 비율, d는 감쇠 매개변수)과 같은 학습률 스케줄에 대한 초기 연구를 기반으로 했습니다.
훈련 중 학습률을 변화시키는 아이디어는 학습률을 이득이라고 부르기도 하는 적응 제어 문헌에 뿌리를 두고 있습니다. 수년에 걸쳐 연구자들은 지수 감소 \eta_n = \eta_0 e^{-dn} 및 스텝 기반 감소를 포함한 많은 스케줄을 탐구했지만, 코사인 어닐링은 많은 작업에서 더 빠른 수렴과 더 나은 일반화를 달성하는 능력으로 인해 주목을 받았습니다.
다른 스케줄과의 관계
코사인 어닐링은 여러 면에서 일반적인 스케줄과 다릅니다. 시간 기반 스케줄은 반복 횟수에 반비례하여 학습률을 줄여 훈련 후반에 매우 작은 비율로 이어질 수 있습니다. 스텝 기반 스케줄은 사전 정의된 간격으로 비율을 요소만큼 낮추어 갑작스러운 변화를 일으킬 수 있습니다. 지수 스케줄은 연속적으로 감소하지만 종종 너무 빠릅니다. 대조적으로 코사인 어닐링은 너무 빠르지도 느리지도 않은 점진적인 감소를 제공하며, 초기 학습률을 적절히 설정하면 자연스럽게 "워밍업" 단계를 허용합니다.
최적화의 또 다른 핵심 구성 요소인 모멘텀은 종종 코사인 어닐링과 함께 사용됩니다. 모멘텀은 기울기가 일관된 방향을 가리킬 때 학습을 가속화하고 작은 요철 위로 공이 굴러가는 것과 유사하게 지역 최솟값을 피하는 데 도움이 됩니다. 모멘텀과 코사인 감소 학습률의 조합은 트랜스포머 모델 훈련에서 흔히 사용되며, 이 스케줄은 대규모 매개변수 공간의 최적화를 안정화하는 데 도움이 됩니다.
웜 재시작 및 변형
코사인 어닐링의 주목할 만한 변형은 웜 재시작 기술로, 주기 후 스케줄을 재설정하여 학습률이 더 높은 값으로 다시 점프할 수 있게 합니다. 이는 SGDR 방법에서 구현되며, 학습률은 길이 T의 주기에 걸쳐 코사인 곡선을 따르고, 종종 더 긴 지속 시간으로 새 주기로 재시작됩니다. 이 접근 방식은 모델이 지역 최솟값을 벗어나 손실 경관의 다른 영역을 탐색하도록 도와 성능을 향상시킬 수 있습니다. 웜 재시작 변형은 손실 표면이 비볼록한 심층 학습 작업에서 특히 유용합니다.
다른 변형에는 선형 워밍업 단계가 있는 코사인 어닐링이 포함되며, 여기서 학습률은 처음 몇 에포크 동안 작은 값에서 초기 최댓값으로 증가한 다음 코사인 방식으로 감소합니다. 이는 훈련 시작 시 불안정성을 피하기 위해 대규모 언어 모델 훈련에 종종 사용됩니다.
현대 AI에서의 응용
코사인 어닐링은 다양한 분야에서 최첨단 모델을 훈련하는 데 광범위하게 사용됩니다. 인공 지능 연구에서 많은 심층 학습 프레임워크의 기본 선택입니다. 예를 들어, 오픈AI와 구글 딥마인드는 트랜스포머 기반 아키텍처를 포함한 대규모 모델 훈련에 코사인 스케줄을 사용했습니다. 이 스케줄은 PyTorch 및 TensorFlow와 같은 인기 있는 라이브러리에도 통합되어 실무자가 쉽게 접근할 수 있습니다.
컴퓨터 비전에서 코사인 어닐링은 CIFAR-10 및 ImageNet과 같은 벤치마크 데이터 세트에서 정확도를 향상시키는 것으로 나타났습니다. 자연어 처리에서는 BERT 및 GPT와 같은 모델을 훈련하는 데 사용되며, 이 스케줄은 수백만 개의 매개변수에 걸쳐 학습률을 관리하는 데 도움이 됩니다. 이 기술은 또한 확산 모델 및 GAN을 포함한 생성형 AI 모델에도 적용되어 훈련을 안정화합니다.
장점 및 한계
코사인 어닐링의 주요 장점은 부드러운 감소로 진동 위험을 줄이고 모델이 좋은 최솟값으로 수렴하도록 돕는다는 것입니다. 또한 일부 다른 스케줄보다 하이퍼파라미터가 적게 필요하며, 주요 매개변수는 초기 및 최소 학습률과 주기 길이입니다. 그러나 이 스케줄은 적응형이 아니며 손실 경관이나 기울기 정보에 반응하지 않습니다. 대조적으로 Adam과 같은 적응형 방법은 기울기 통계를 기반으로 매개변수별 학습률을 조정하여 일부 설정에서 더 견고할 수 있습니다. 코사인 어닐링은 종종 이러한 최적화 도구와 함께 사용되며, 스케줄은 전역 학습률에 적용됩니다.
한계는 주기 길이 T를 설정하려면 총 에포크 수를 미리 알아야 한다는 것입니다. 훈련이 연장되면 스케줄을 재시작하거나 조정해야 할 수 있습니다. 또한 초기 학습률 선택은 여전히 중요하며, 코사인 감소에도 불구하고 너무 높은 비율은 발산을 일으킬 수 있습니다.
실제 구현
실제로 코사인 어닐링을 구현하는 것은 간단합니다. PyTorch에서는 torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0)을 사용할 수 있으며, 여기서 T_max는 에포크 수입니다. TensorFlow에서는 tf.keras.optimizers.schedules.CosineDecay 클래스가 유사한 기능을 제공합니다. 이러한 구현은 각 에포크 또는 배치에서 학습률을 자동으로 업데이트하여 연구자가 모델 아키텍처와 데이터에 집중할 수 있게 합니다.
예를 들어, 일반적인 훈련 루프는 초기 학습률 0.1을 설정하고 코사인 어닐링을 사용하여 100 에포크에 걸쳐 0으로 감소시킬 수 있습니다. 이 스케줄은 종종 컴퓨터 비전 작업에서 흔한 모멘텀 기반 최적화 도구(예: 모멘텀이 있는 SGD)와 결합됩니다. 대규모 언어 모델의 경우 워밍업 단계가 추가되는 경우가 많으며, 학습률은 처음 수천 스텝 동안 선형적으로 증가한 다음 코사인 감소를 따릅니다.
같이 보기
- learning-rate (사용 가능한 경우)
- stochastic-gradient-descent (사용 가능한 경우)
- optimization-algorithms (사용 가능한 경우)
- 심층 학습
참고 문헌
- Loshchilov, Ilya; Hutter, Frank (2017). "SGDR: Stochastic Gradient Descent with Warm Restarts." International Conference on Learning Representations.
- Géron, Aurélien (2017). "Gradient Descent." Hands-On Machine Learning with Scikit-Learn and TensorFlow. O'Reilly. pp. 113–124. ISBN 978-1-4919-6229-9.
- Plagianakos, V. P.; Magoulas, G. D.; Vrahatis, M. N. (2001). "Learning Rate Adaptation in Stochastic Gradient Descent." Advances in Convex Analysis and Global Optimization. Kluwer. pp. 433–444. ISBN 0-7923-6942-4.