AMSGrad는 기계 학습 및 딥 러닝에서 신경망을 훈련하는 데 사용되는 최적화 알고리즘이다. 2018년 Sashank J. Reddi, Satyen Kale, Sanjiv Kumar가 'On the Convergence of Adam and Beyond'라는 제목의 논문에서 제안했다. AMSGrad는 널리 사용되는 Adam 최적화기의 변형으로, 과거 기울기를 집계하는 방식을 수정하여 Adam의 이론적 수렴 문제를 해결하도록 설계되었다. 핵심 변경 사항은 AMSGrad가 지수 이동 평균 대신 과거 제곱 기울기의 실행 최대값을 유지하여 유효 학습률이 시간이 지남에 따라 증가하지 않도록 보장한다는 점이다. 이러한 조정은 특히 볼록 및 비볼록 최적화 문제에서 특정 설정에서 알고리즘의 수렴 보장을 개선한다. AMSGrad는 연구와 실제에서 널리 채택되었지만, Adam에 비해 실용적 이점은 종종 미미하고 문제에 따라 달라진다.
이 알고리즘은 각 매개변수에 대해 두 가지 상태 변수를 유지한다: 첫 번째 모멘트 추정치(기울기의 평균)와 두 번째 모멘트 추정치(제곱 기울기의 최대값). 각 반복에서 첫 번째 모멘트는 Adam과 유사하게 기울기의 지수 이동 평균으로 업데이트된다. 두 번째 모멘트는 현재 제곱 기울기와 이전 두 번째 모멘트 추정치의 요소별 최대값을 취하여 업데이트된다. 그런 다음 매개변수 업데이트는 수치 안정성을 위해 작은 엡실론 항을 사용하여 첫 번째 모멘트를 두 번째 모멘트의 제곱근으로 나눈다. 이 설계는 두 번째 모멘트가 감소하는 것을 방지하며, 이는 기울기 크기가 줄어들 때 Adam에서 발생할 수 있는 학습률 증가를 방지한다.
AMSGrad의 동기는 Adam이 특정 단순 볼록 문제에서 최적 솔루션으로 수렴하지 못할 수 있음을 보여주는 반례에서 비롯되었다. Reddi, Kale, Kumar는 Adam의 제곱 기울기 지수 이동 평균이 유효 학습률을 너무 크게 만들어 진동과 발산을 초래할 수 있음을 입증했다. 최대값을 사용함으로써 AMSGrad는 단조 비증가 학습률을 보장하여 수렴 보장을 복원한다. 논문은 또한 AMSGrad에 대한 후회 한계를 제공하여 확률적 설정에서 Adam과 동일한 차수의 후회를 달성함을 보여주었다.
배경 및 Adam 최적화기
Adam(Adaptive Moment Estimation)은 2014년 Diederik Kingma와 Jimmy Ba가 도입했으며 딥 러닝에서 가장 널리 사용되는 최적화기 중 하나가 되었다. Adam은 확률적 경사 하강법의 두 가지 확장의 장점을 결합한다: 제곱 기울기의 합을 기반으로 매개변수별 학습률을 조정하는 AdaGrad와 제곱 기울기의 지수 이동 평균을 사용하는 RMSProp. Adam은 기울기의 첫 번째 모멘트(평균)와 두 번째 모멘트(분산)를 모두 유지하고 초기 0 초기화를 고려하기 위해 편향 보정을 적용한다. 이 알고리즘은 하이퍼파라미터 선택에 대한 견고성과 희소 기울기 및 노이즈 데이터를 처리하는 능력으로 알려져 있다.
그러나 2018년 Reddi, Kale, Kumar는 Adam의 수렴 증명에서 결함을 식별했다. 그들은 일정한 학습률에서도 Adam이 전역 최적점으로 수렴하지 못하는 간단한 볼록 최적화 문제를 구성했다. 문제는 Adam의 두 번째 모멘트 추정치가 시간이 지남에 따라 감소할 수 있어 유효 단계 크기가 증가하고 잠재적으로 과도한 조정으로 이어질 수 있다는 점에서 비롯된다. 이 이론적 반례는 AMSGrad 개발의 동기가 되었다.
AMSGrad 알고리즘
AMSGrad 알고리즘은 공식적으로 다음과 같이 정의된다. \(\theta_t\)를 반복 \(t\)에서의 매개변수 벡터, \(g_t\)를 \(\theta_t\)에 대한 손실 함수의 기울기라고 하자. 알고리즘은 하이퍼파라미터 \(\alpha\)(학습률), \(\beta_1\), \(\beta_2\)(첫 번째 및 두 번째 모멘트의 지수 감쇠율), \(\epsilon\)(수치 안정성을 위한 작은 상수)를 사용한다. 업데이트 규칙은 다음과 같다:
- 기울기 \(g_t\)를 계산한다.
- 첫 번째 모멘트 추정치를 업데이트한다: \(m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t\).
- 최대값을 사용하여 두 번째 모멘트 추정치를 업데이트한다: \(v_t = \max(v_{t-1}, \beta_2 v_{t-1} + (1 - \beta_2) g_t^2)\).
- 편향 보정된 첫 번째 모멘트를 계산한다: \(\hat{m}_t = m_t / (1 - \beta_1^t)\).
- 매개변수를 업데이트한다: \(\theta_{t+1} = \theta_t - \alpha \hat{m}_t / (\sqrt{v_t} + \epsilon)\).
Adam과의 주요 차이점은 3단계에 있으며, Adam은 \(v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2\)(지수 이동 평균)을 사용하는 반면, AMSGrad는 이전 \(v_{t-1}\)과 현재 이동 평균의 요소별 최대값을 취한다. 이는 \(v_t\)가 비감소하도록 보장하여 유효 학습률 \(\alpha / (\sqrt{v_t} + \epsilon)\)이 비증가하도록 한다.
이론적 속성
AMSGrad는 Adam보다 더 강력한 수렴 보장을 제공하도록 설계되었다. 논문은 AMSGrad가 볼록 최적화에서 \(O(\sqrt{T})\)의 후회 한계를 달성하며, 이는 온라인 학습에 최적임을 증명했다. 반면 Adam은 특정 경우에 더 나쁜 후회 한계를 가질 수 있음이 입증되었다. 비볼록 문제의 경우 AMSGrad는 표준 가정 하에서 정지점으로의 수렴도 제공한다. 최대값 사용은 알고리즘이 단조 감소 단계 크기를 유지하도록 보장하며, 이는 확률적 최적화의 수렴 증명에서 일반적인 요구 사항이다.
그러나 일부 연구자들은 AMSGrad의 이론적 장점이 항상 더 나은 실용적 성능으로 이어지지 않는다고 지적했다. 많은 딥 러닝 작업에서 Adam과 AMSGrad는 유사하게 수행되며, 때로는 Adam이 AMSGrad를 능가할 수 있다. 둘 사이의 선택은 종종 특정 문제와 하이퍼파라미터 튜닝에 따라 달라진다.
실용적 사용 및 영향
AMSGrad는 TensorFlow, PyTorch, Keras를 포함한 주요 딥 러닝 프레임워크에 구현되었으며, 종종 Adam 최적화기 내의 옵션으로 제공된다(예: PyTorch의 amsgrad=True). ResNet부터 트랜스포머까지 다양한 모델 훈련에 사용되지만, Adam이나 모멘텀을 사용한 SGD에 비해 기본 선택으로는 덜 일반적이다. 실제로 AMSGrad는 Adam이 불안정한 훈련을 보이거나 수렴 문제가 의심될 때 시도되는 경우가 많다.
연구에 따르면 AMSGrad는 희소 기울기로 훈련하거나 손실 지형에 날카로운 최소값이 있는 경우와 같은 특정 시나리오에서 유용할 수 있다. 그러나 2019년 Lucas 등의 연구는 AMSGrad가 다양한 작업에서 Adam을 일관되게 능가하지 않으며 그 장점이 제한적임을 발견했다. 그럼에도 불구하고 AMSGrad는 SGD 변형 계열에 중요한 기여를 하며 적응형 최적화 방법에 대한 추가 연구에 영감을 주었다.
다른 최적화기와의 관계
AMSGrad는 AdaGrad, RMSProp, Adam을 포함하는 적응형 학습률 방법의 더 넓은 계열의 일부이다. 또한 적응형 학습률에서 가중치 감쇠를 분리하는 AdamW와 Nesterov 모멘텀을 통합하는 Nadam과 같은 후속 개발과도 관련이 있다. 과거 기울기의 최대값을 사용하는 아이디어는 적응형 학습률의 분산을 수정하는 RAdam 최적화기와 같은 다른 맥락에서도 탐구되었다. AMSGrad의 비증가 학습률 보장에 대한 초점은 더 안정적인 최적화기 설계에 영향을 주었다.
비판 및 한계
이론적 매력에도 불구하고 AMSGrad는 비판에 직면했다. 일부 연구자는 AMSGrad를 동기화하는 데 사용된 반례가 인위적이며 실제 최적화 문제를 반영하지 않는다고 주장한다. 다른 이들은 최대값 연산이 알고리즘을 초기 기울기에 더 민감하게 만들고 지나치게 보수적인 업데이트로 이어져 수렴을 늦출 수 있다고 지적했다. 또한 최대값 유지의 메모리 및 계산 오버헤드는 무시할 수 있지만 실용적 이득은 종종 미미하다.
주목할 만한 비판은 2019년 Chen과 Gu의 논문에서 나왔으며, AMSGrad의 수렴 보장이 특정 하이퍼파라미터 선택에 의존하며 실제로 알고리즘이 일부 비볼록 설정에서 여전히 수렴하지 못할 수 있음을 보여주었다. 이는 Adam과 AMSGrad의 장점을 결합한 적응형 최적화기에 대한 지속적인 연구로 이어졌다.
유산 및 영향
AMSGrad는 딥 러닝 최적화 분야에 지속적인 영향을 미쳤다. 이는 최적화기 동작을 이해하는 데 이론적 분석의 중요성을 강조하고 적응형 방법의 수렴 속성에 대한 연구 물결을 촉발했다. 이 알고리즘은 새로운 최적화기를 제안하는 논문에서 자주 인용되며 최적화 연구에서 표준 기준선으로 남아 있다. 대부분의 응용에서 기본 선택은 아닐 수 있지만, AMSGrad는 특히 Adam에서 수렴 문제를 겪는 연구자와 실무자에게 최적화기 도구 상자에서 귀중한 도구이다.
같이 보기
참고 문헌
- Reddi, S. J., Kale, S., & Kumar, S. (2018). On the Convergence of Adam and Beyond. International Conference on Learning Representations (ICLR).
- Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization. ICLR.
- Loshchilov, I., & Hutter, F. (2019). Decoupled Weight Decay Regularization. ICLR.
- Lucas, J., et al. (2019). On the Convergence of Adam and Beyond: A Closer Look. arXiv preprint.
참고: 참고 문헌은 완전성을 위해 제공되며, 기사는 지침에 따라 외부 링크를 포함하지 않는다.