머신 러닝과 통계학에서 학습률(learning rate)은 최적화 알고리즘의 튜닝 파라미터로, 손실 함수의 최솟값을 향해 이동하는 각 반복(iteration)에서 스텝 크기를 결정한다. 학습률은 새로 획득한 정보가 기존 정보를 얼마나 대체하는지에 영향을 주기 때문에, 머신 러닝 모델이 "학습하는" 속도를 은유적으로 나타낸다. 적응 제어(adaptive control) 문헌에서는 학습률을 흔히 게인(gain)이라고 부른다.
학습률을 설정할 때는 수렴 속도와 오버슈팅(overshooting) 사이의 절충이 존재한다. 하강 방향은 보통 손실 함수의 기울기로 결정되지만, 학습률은 그 방향으로 얼마나 큰 스텝을 밟을지를 결정한다. 학습률이 너무 높으면 학습이 최솟값을 뛰어넘지만, 너무 낮으면 수렴에 너무 오래 걸리거나 바람직하지 않은 지역 최솟값에 갇힐 수 있다.
더 빠른 수렴, 진동 방지, 그리고 바람직하지 않은 지역 최솟값에 갇히는 것을 막기 위해 학습률은 훈련 중 학습률 스케줄에 따라 달라지거나 또는 적응형 학습(adaptive learning rate)을 사용하여 변경되곤 한다. 학습률과 그 조정은 매개변수마다 다를 수도 있으며, 이 경우 학습률은 대각 행렬로 해석될 수 있는데, 이는 뉴턴 방법의 헤시안 행렬의 역행렬에 대한 근사로 볼 수 있다. 학습률은 준뉴턴 방법(quasi-Newton) 및 관련 최적화 알고리즘에서의 비정밀 선형 탐색에 의해 결정되는 스텝 길이와 관련이 있다.
학습률 스케줄
학습률 스케줄은 학습 중에 학습률을 변경하며, 대부분 에포크(epoch) 또는 반환(iteration) 사이에 변경된다. 이는 주로 감쇠(decay)와 모멘텀(momentum)이라는 두 가지 매개변수로 수행된다. 학습률 스케줄에는 여러 종류가 있으며, 가장 흔한 것은 시간 기반(decay-based), 단계 기반(step-based), 지수적(exponential)이다.
감쇠는 학습을 적절한 지점에서 안정시키고 진동을 피하기 위해 사용되며, 진동은 학습률이 너무 높게 일정하면 학습이 반최솟값에서 앞뒤로 반복되어 발생할 수 있다. 감쇠는 하이퍼파라미터로 제어된다.
모멘텀은 언덕을 굴러 떨어지는 공과 유사하다. 공이 언덕의 가장 낮은 지점(오차가 가장 낮은 곳)에 안정적으로 있고 싶어 한다는 것으로, 모멘텀은 오차 비용 기울기가 오랜 시간 같은 방향을 향할 때 학습 속도를 높여(학습률을 증가시켜) 학습을 가속하고, 작은 움푹 들어간 곳을 '뛰어넘어' 지역 최솟값을 피하는 것 그리고 이중한다. 모멘텀은 공의 질량에 비유되는 하이퍼파라미터로 제어되며, 수동으로 선택해야한다 - 너무 높으면 우리가 찾고자 하는 최솟값을 공이지나치고 걷어차고, 너무 낮으면 목적을 이루지 못한다. 모멘텀을 포함하는 공식은 감쇠보다 더 복잡하지만 보통 Deep learning 라이브러리인 케라스 등에 내장되어 있다.
시간 기반 스케줄
시간 기반 학습 스케줄은 이전 시간 반복에서의 학습률에 따라 학습률을 변경한다. 감쇠를 고려하는 수학 공식은 다음과 같다.
η_{n+1} = η₀ / (1 + d n)
여기서 η는 학습률, η₀는 초기 학습률, d는 감쇠 파라미터, 그리고 n은 반복 스텝이다.
단계 기반 스케줄
단계 기반 학습 스케줄은 학습률을 미리 정의된 단계를 따르어 변경한다. 감쇠 적용 공식은 다음과 같이 정의된다.
η_n = η₀ d^(⌊(1+n)/r⌋)
여기서 η_n는 반복 n에서의 학습률이며, η₀는 초기 학습률, d는 학습률이 감소할 때 얼마나 변할지(1이면 반절감), 그리고 r은 감소율 또는 감소 주기(10은 10회마다 감소)에 해당한다. 바닥 함수(⌊…⌋)는 여기서 입력 값을 1보다 작은 값 모두에 대해 0으로 내리는 역할을 한다.
지수 기반 스케줄
지수 학습 스케줄은 단계 기반과 비슷하지만, 단계 대신 감소하는 지수 함수가 사용된다. 감쇠를 포함하는 수학식은 다음과 같다.
η_n = η₀ e^(−d n)
여기서 d는 감쇠 파라미터이다.
적응형 학습률
학습률 스케줄의 문제는 모두 학습 세션마다 수동으로 선택해야 하는 하이퍼파라미터에 의존하며, 문제나 모델에 따라 크게 달라질 수 있다는 점이다. 이를 해결하기 위해 Adagrad, Adadelta, RMSprop, Adam 등 여러 종류의 적응형 경사 하강 알고리즘이 있으며, 이들은 케라스와 같은 딥러닝 라이브러리에 일반적으로 내장되어 있다.
워밍업 및 순환 스케줄
고전적인 감쇠 스케줄외에도, 대규모 모델의 현대학습에서는 워밍업(warmup)과 순환 스케줄(cyclical schedules)을 자주 사용한다. 워밍업은 초기 소량의 학습률로 시작하여 에포크를 거치며 점진적으로 증가시키는 것이다. 이는 초기 학습 단계에서 안정을 도우며, 특히 Transformer (architecture) 기반 모델에 유용하다. 순환 스케줄인 예로 코사인 어닐링(cosine annealing)은 학습률을 최솟값과 최댓값 사이로 주기적으로 변화시켜 지역 최솟값을 탈출하고 일반화를 개선하는데 도움을 줄 수 있다.
실용의 고려 사항
학습률 스케줄의 선택은 Neural network 모델의 훈련에 크게 영향을 미를 수 있다. 예를 들어, Large language model을 훈련할 때, 일반적으로 선형 워밍업 후 코사인 감쇠를 사용하는 관행이 있다. 이러한 방법은 OpenAI와 Google DeepMind와 같은 기관이 대규모 학습 수행에 사용한다. 초기 학습률은 경험적 규칙이나 학습률 파인더(learning rate find에서)를 실행하여 여러 후보 값을 시험하는 방법으로 설정하기도 한다.
최적화 알고리즘과의 관계
학습률 스케줄링은 최적화 알고리즘의 선택과 밀접하게 연결된다. Machine learning 프레임워크인 TensorFlow와 PyTorch 등은 SGD, Adam 또는 RMSprop 등 최적화기와 함께 사용할 수 있는 기본 제공 스케줄러를 가지고 있다. 스케줄과 최적화기의 내부 상태(예: Adam의 모멘텀 버퍼)와의 상호작용은 중요하다. 예를 들어, 학습률을 너무 급작하게 줄이면 최적화기가 과도하게 발발할 수 있다.
역사와 발전
학습 중 학습률을 조정하는 개념은 초기 Artificial intelligence와 Machine learning 연구에서 거슬러 올라간다. Thomas G. Dietterich와 Michael I. Jordan 같은 연구자들은 학습 시스템의 최적화 이해에 기초를 제공했다. 2010년대에는 딥러닝의 대두로 인해 순환 학습률과 워밍업에 대한 논문이 널리 인용되면서 스케줄링에 대한 관심이 다시 커졌다.