Machine learning에서 학습률(learning rate)은 최적화 알고리즘의 튜닝 매개변수로, 손실 함수의 최솟값을 향해 이동할 때 각 반복 단계에서의 스텝 크기를 결정한다. 이는 새로 획득한 정보가 기존 정보를 얼마나 덮어쓰는지에 영향을 미치며, 모델이 학습하는 속도를 은유적으로 나타낸다. 적응 제어 문헌에서는 종종 이득(gain)이라고 불린다. 학습률을 설정하는 것은 절충을 수반한다. 너무 높은 학습률은 모델이 최솟값을 지나치게 overshoot하게 만들고, 너무 낮은 학습률은 수렴을 느리게 하거나 바람직하지 않은 지역 최솟값에 갇힐 위험을 초래한다. 학습률 스케줄링은 훈련 중에 학습률을 변화시켜 이러한 문제를 해결하며, 사전 정의된 스케줄이나 적응형 방법을 사용한다.
최적화에서의 역할
학습률은 손실 함수의 기울기에서 파생되는 하강 방향으로 취해지는 스텝의 크기를 결정한다. Deep learning에서 모델은 손실 함수를 최소화하기 위해 가중치를 반복적으로 조정하여 훈련되며, 학습률은 이러한 조정이 얼마나 공격적으로 이루어지는지를 제어한다. 일정한 높은 학습률은 최솟값 주변에서 진동을 유발할 수 있고, 일정한 낮은 학습률은 훈련을 비현실적으로 느리게 만들 수 있다. 시간에 따라 학습률을 스케줄링하면 더 빠른 수렴을 달성하고, 진동을 방지하며, 좋지 않은 지역 최솟값을 피하는 데 도움이 된다. 학습률은 매개변수마다 다를 수도 있으며, 이 경우 뉴턴 방법에서와 같이 헤세 행렬의 역행렬을 근사하는 대각 행렬이 된다. 이는 준뉴턴 방법과 부정확한 선 탐색에서의 스텝 길이와 관련이 있다.
시간 기반 스케줄
시간 기반 스케줄은 각 반복에서 이전 학습률과 감쇠 매개변수를 기반으로 학습률을 조정한다. 공식은 \eta_{n+1} = \eta_0 / (1 + d n)이며, 여기서 \eta_0는 초기 학습률, d는 감쇠 매개변수, n은 반복 단계이다. 이 스케줄은 학습률을 점진적으로 줄여 훈련 초기에는 더 큰 스텝을, 후기에는 더 세밀한 조정을 가능하게 한다. 구현이 간단하고 감쇠 d라는 하나의 하이퍼파라미터만 필요하다. 그러나 학습률이 단조롭게 감소하므로 모든 문제에 최적이 아닐 수 있다.
단계 기반 스케줄
단계 기반 스케줄은 사전 정의된 간격으로 학습률을 변경한다. 반복 n에서의 학습률은 \eta_n = \eta_0 d^{\lfloor (1+n)/r \rfloor}이며, 여기서 d는 곱셈 계수(예: 절반으로 줄이기 위한 0.5)이고 r은 감소율(예: 10회 반복마다)이다. 바닥 함수는 감소 사이에 학습률이 일정하게 유지되도록 보장한다. 이 스케줄은 튜닝이 쉽고 모델이 최솟값에 안착하는 데 도움이 되는 이산적 감소를 제공하므로 실제로 흔히 사용된다. d와 r의 선택은 데이터 세트와 모델 아키텍처에 따라 달라진다.
지수 스케줄
지수 스케줄은 감소하는 지수 함수를 사용한다. \eta_n = \eta_0 e^{-d n}이며, 여기서 d는 감쇠 매개변수이다. 이는 단계 기반 스케줄의 이산적 감소와 달리 학습률의 부드럽고 연속적인 감소를 제공한다. 지수 감쇠는 초기 탐색과 후기 정제의 균형을 맞추기 때문에 Neural network 훈련에서 자주 사용된다. 감쇠 매개변수 d는 학습률이 얼마나 빨리 떨어지는지를 제어하며, d가 클수록 감쇠가 빨라져 조기 수렴을 유발할 수 있다.
워밍업과 코사인 어닐링
특히 Large language model의 현대 훈련에서는 종종 워밍업을 사용하는데, 이는 학습률이 처음 수천 단계 동안 작은 값에서 최고점으로 증가하는 방식이다. 이는 가중치가 무작위이고 기울기가 클 수 있는 초기 훈련 단계에서 불안정성을 방지한다. 워밍업 후에는 코사인 어닐링을 사용하여 학습률이 최고점에서 거의 0에 가까운 값으로 코사인 곡선을 따라 감소할 수 있다. 코사인 어닐링은 많은 Transformer (architecture) 기반 모델에서 최종 성능을 개선하는 것으로 나타났다. 일부 스케줄은 워밍업을 주기적 패턴과 결합하여 학습률이 경계 사이에서 진동하게 하여 모델이 지역 최솟값을 탈출하고 손실 지형의 다른 영역을 탐색할 수 있게 한다.
모멘텀과 감쇠
모멘텀은 학습률 스케줄과 함께 자주 사용되는 기법이다. 이는 언덕을 굴러 내려가는 공에 비유할 수 있으며, 공의 속도가 작은 요철을 넘고 기울기 방향이 일관될 때 속도를 높인다. 모멘텀은 질량과 유사한 하이퍼파라미터로 제어되며, 너무 높은 값은 모델이 최솟값을 overshoot하게 만들고, 너무 낮은 값은 이점을 줄인다. 반면 감쇠는 시간이 지남에 따라 스텝 크기를 줄여 학습을 안정시키고 진동을 방지하는 역할을 한다. 둘 다 일반적으로 Keras와 같은 딥러닝 라이브러리에 내장되어 있으며, 기본 구현과 튜닝 가능한 매개변수를 제공한다.
적응형 학습률
고정 스케줄의 주요 한계는 문제와 모델에 따라 달라지는 수동으로 선택된 하이퍼파라미터에 의존한다는 점이다. 적응형 경사 하강 알고리즘은 과거 기울기를 기반으로 매개변수별로 학습률을 조정하여 이 문제를 해결한다. 일반적인 방법으로는 Adagrad, Adadelta, RMSprop, Adam이 있다. 이러한 알고리즘은 일반적으로 딥러닝 프레임워크에 내장되어 있으며 Artificial intelligence 모델 훈련의 표준이 되었다. 2014년에 도입된 Adam은 모멘텀과 매개변수별 스케일링을 결합하며 Generative AI 및 기타 응용 분야에서 널리 사용된다. 적응형 방법은 수동 스케줄 튜닝의 필요성을 줄이지만, 많은 실무자들은 최상의 결과를 위해 여전히 그 위에 스케줄을 사용한다.
실용적 고려 사항
초기 학습률을 선택하는 것은 중요하다. 일반적인 기법으로는 0.01 또는 0.001과 같은 기본값을 사용하거나, 학습률 범위 테스트를 수행하여 몇 에폭 동안 학습률을 선형적으로 증가시켜 적합한 범위를 찾는 방법이 있다. 최적의 스케줄은 종종 모델 크기, 데이터 세트, 최적화기에 따라 달라진다. 예를 들어, OpenAI와 Google DeepMind는 대규모 모델 훈련에 워밍업과 코사인 감쇠를 사용한다고 보고했다. 실제로 스케줄은 검증 성능이 더 이상 개선되지 않을 때 훈련을 중단하는 조기 중단과 결합되는 경우가 많다. 스케줄 선택은 최종 모델 품질, 훈련 시간, 안정성에 크게 영향을 미칠 수 있으므로 모든 훈련 파이프라인에서 핵심 하이퍼파라미터가 된다.