워밍업 스케줄은 딥러닝에서 사용되는 학습률 스케줄링 기법으로, 제한된 수의 훈련 단계 동안 학습률을 작은 초기 값에서 목표 값으로 점진적으로 증가시킨다. 이는 모델 훈련 초기에 전체 학습률 스케줄의 주요 감쇠 단계 이전에 적용된다. 워밍업의 주요 목적은 모델 파라미터가 최적에서 멀고 그래디언트가 크거나 노이즈가 많을 수 있는 초기 에포크 동안 최적화 과정을 안정화하는 것이다. 낮은 학습률로 시작함으로써 워밍업 단계는 훈련을 불안정하게 만들거나 손실을 발산시킬 수 있는 큰 파라미터 업데이트를 방지하고, 모델이 더 큰 단계가 안전한 손실 지형의 영역으로 이동할 수 있게 한다. 워밍업 스케줄은 대규모 언어 모델, 트랜스포머, 그리고 배치 정규화, 레이어 정규화 또는 Adam과 같은 적응형 최적화기에 의존하는 다른 심층 아키텍처를 훈련하는 데 특히 중요하다.
워밍업 단계는 일반적으로 선형 감쇠, 코사인 감쇠 또는 지수 감쇠와 같은 후속 감쇠 스케줄과 결합되며, 이는 훈련의 나머지 기간 동안 학습률을 거의 0에 가까운 값으로 줄인다. 일반적인 스케줄은 처음 수백 또는 수천 단계에 걸친 선형 워밍업 후 훈련 종료까지의 코사인 감쇠를 포함할 수 있다. 워밍업 기간과 최고 학습률의 선택은 모델 크기, 데이터셋, 배치 크기 및 사용된 최적화기에 따라 달라지며, 종종 하이퍼파라미터 튜닝을 통해 경험적으로 선택된다. 워밍업은 이제 순환 신경망, 합성곱 신경망 및 대규모 언어 모델과 같은 생성 모델을 포함한 많은 주요 모델의 훈련 파이프라인에서 표준 구성 요소가 되었다.
역사와 기원
학습률 워밍업의 개념은 2010년대 중반 딥러닝 연구의 맥락에서 등장했다. 가장 초기의 문서화된 사용 사례 중 하나는 이미지 분류 모델을 훈련하고 높은 학습률로 시작하면 심각한 발산이 발생할 수 있음을 확인한 Google 연구원들에게 기인한다. 2013년 심층 네트워크 훈련에 관한 논문에서 Bernard Widrow와 다른 연구자들은 적응형 학습률을 연구했지만, "워밍업"이라는 특정 용어는 2018년 원래 BERT 논문에서 Adam 관련 훈련 기법이 발표되면서 주목을 받았다. 2018년 Google이 발표한 BERT 논문은 사전 훈련에 10,000단계 워밍업을 명시적으로 사용했다. 이 관행은 NLP 커뮤니티 전반에 걸쳐 널리 채택되었다.
Adam 및 SGD with momentum을 포함한 변형과 같은 적응형 최적화기는 초기에 큰 학습률을 적용할 때 특히 불안정해지기 쉽다. 워밍업은 첫 몇 단계에서 엄청난 그래디언트가 생성되어 적응형 학습률 추정치를 부풀리고 수렴 불량으로 이어지는 현상을 완화하는 데 도움이 된다. 그래디언트 클리핑, 배치 정규화 및 그래디언트 클리핑과 같은 기법도 유사한 불안정성을 해결하지만, 워밍업은 종종 더 간단하고 일반적이다.
동기와 이론
워밍업 스케줄의 주요 동기는 탐험과 안정성 사이의 균형에 있다. 초기화 시 모델의 가중치는 일반적으로 평균이 0인 무작위 분포에서 추출되며, 이는 큰 활성화와 그래디언트를 생성할 수 있다. 이 시점에 큰 학습률을 할당하면 가중치가 손실이 엄청나거나 모델이 노이즈만 포착하는 영역으로 점프할 수 있다. 낮은 학습률은 모델이 초기 오류를 천천히 수정하고 점진적으로 더 안정적인 영역으로 이동할 수 있게 한다.
또한 Adam과 같은 적응형 최적화기는 집계된 그래디언트의 2차 모멘트 추정치를 유지한다. 첫 몇 단계 내에 큰 그래디언트 스파이크가 발생하면 최적화기의 실행 평균이 부풀려져 향후 단계의 유효 학습률이 감소하고 수렴이 느려진다. 워밍업은 최적화기가 전체 용량으로 학습하기 전에 신뢰할 수 있는 통계를 얻을 시간을 제공한다.
최근 이론 연구는 워밍업과 베이지안 학습에서 모드 커버링에서 모드 시킹 동작으로의 전환 사이의 연결을 보여주었지만, 가장 실용적인 설명은 그래디언트 노이즈에 초점을 맞춘다. 훈련 초기에는 작은 유효 표본 크기와 제대로 확장되지 않은 네트워크 출력으로 인해 확률적 추정치가 노이즈가 많다. 선형 워밍업은 종종 이 과정을 부드럽게 하기에 충분하다.
워밍업 스케줄의 유형
워밍업의 일반적인 구현에는 여러 가지가 있다:
- 선형 워밍업: 학습률이 지정된 단계 수(예: 3,000단계)에 걸쳐 거의 0에서 목표 값으로 선형적으로 증가한다. BERT 스타일 훈련 및 많은 트랜스포머 구현에서 사용된다.
- 지수 워밍업: 학습률이 낮은 값에서 지수적으로 증가한다. 드물게 사용되며 종종 선형 또는 다항식으로 대체된다.
- 다항식 워밍업: 학습률이 단계 인덱스의 다항식으로 확장되며, 종종 2 또는 3과 같은 작은 차수를 사용한다.
- 상수 워밍업: 학습률이 고정 기간 동안 낮은 상수 값으로 유지된 후 목표 값으로 상승한다.
- 원-사이클 정책 및 초수렴: 짧은 워밍업을 주기적 스케줄과 결합하여 사용하는 경우가 있다.
실제로 선형 워밍업은 GPT 모델과 같은 트랜스포머 라이브러리에서 가장 일반적이며 구성 파일에서 종종 "워밍업 단계"로 불린다. 예를 들어, 일반적인 훈련 실행은 총 훈련 단계의 2%를 0.1에서 최대 학습률로 워밍업하는 데 사용할 수 있다.
대규모 언어 모델에서의 워밍업
GPT-3, Llama 2 및 BLOOM과 같은 대규모 언어 모델은 안정성을 위해 워밍업 단계를 사용한다. 예를 들어, GPT-3 논문은 총 단계의 약 3%에 해당하는 250,000단계의 워밍업을 초기 비율의 10%로의 코사인 감쇠와 함께 사용했다고 보고했다. LLaMA와 같은 다른 모델은 1,000단계로의 워밍업과 함께 코사인 스케줄을 사용한다. 수십억 개의 파라미터를 가진 이러한 모델의 미세 조정 또는 사전 훈련은 학습률과 워밍업 기간의 신중한 튜닝을 필요로 하며, 이는 일반적으로 연구 논문에 기록된다.
실제로 워밍업은 훈련 루프의 안정성에 기여하고 보호된 컴퓨팅을 낭비할 수 있는 손실 발산의 가능성을 줄인다. 일부 훈련 프레임워크에서는 워밍업 스케줄이 워밍업 단계, 워밍업 초기 계수 및 감쇠에 대한 별도 값을 허용하는 학습률 스케줄링 구성에서 구문 분석된다.
컴퓨터 비전에서의 워밍업
워밍업은 컴퓨터 비전 작업에서도 사용된다. 2015년 논문의 고전적인 ResNet 훈련은 모멘텀 최적화기와 단계 감쇠를 사용했지만, ImageNet의 ResNet과 같은 후속 작업은 초기 학습률 0.1에서 선형 워밍업을 받았지만 종종 5에포크 동안 적용되었다. 비전 트랜스포머 훈련에서 워밍업은 표준이며, ViT는 ImageNet에서 500단계(약 0.5에포크)의 워밍업을 사용했다. 배치 정규화를 신경망에 사용한 논문은 처음 몇 배치에서 배치 정규화 통계의 불안정성을 보상하기 위해 워밍업에 의존하는 경우가 있었다.
실용적 고려 사항 및 하이퍼파라미터
워밍업 기간은 하이퍼파라미터로, 모델 크기, 총 훈련 단계, 배치 크기 및 최적화기에 따라 선택된다. 많은 구현은 총 훈련 단계의 약 10~20%에 대해 선형 워밍업을 기본값으로 사용한다. 수십억 개의 토큰에 대한 트랜스포머 훈련과 같은 긴 실행의 경우 워밍업은 수천 단계일 수 있다. 과도한 빈도: 너무 긴 워밍업은 컴퓨팅을 낭비하고, 너무 짧으면 발산으로 이어질 수 있다.
워밍업 후 목표 학습률은 일반적으로 최대 학습률이다. 이 값은 Adam 최적화기를 사용하는 일반적인 트랜스포머의 경우 1e-4에서 1e-3 사이에서 선택되는 경우가 많다. 일부 논문은 학습률 파인더 또는 하이퍼파라미터 스윕으로 찾은 최대 학습률을 사용한다. 또 다른 관행은 워밍업 후 학습률을 일정 수준으로 유지한 다음 지수 감쇠를 사용하는 것이다.
워밍업은 종종 학습률 스케줄링과 결합되는데, 이는 워밍업이 학습률 스케줄의 수정이기 때문이다. PyTorch(학습률 스케줄러 포함) 및 TensorFlow와 같은 라이브러리는 워밍업 및 감쇠를 위한 내장 함수를 지원하며, 샘플 코드는 훈련 스크립트에서 자주 사용된다.
경험적 결과 및 연구
여러 연구가 워밍업의 이점을 검증했다. 2017년 더 긴 훈련 에포크에 대한 연구에서 100단계 미만의 워밍업은 이미지 분류의 테스트 정확도에서 5% 상대적 개선을 가져왔다. 대규모 모델의 경우, GPT 유사 트랜스포머를 처음부터 훈련하는 일반적인 기준선은 1/3 비율의 다양한 워밍업을 가진 1,000단계 램프업이다. 딥러닝에서 알려진 제3자 사전 인쇄본 'Grokking' 분석은 워밍업이 아키텍처가 초기 주의 문제를 피하는 데 중요하다는 것을 발견했다.
워밍업 중 손실 지형에 대한 공식 분석도 존재하며, 손실 곡률이 크게 변하고 워밍업이 날카로운 최소값 영역을 피하는 데 도움이 될 수 있음을 보여준다. 일부는 이를 인력 분지의 균형을 맞추는 메커니즘으로 본다.
대안 및 관련 기법
워밍업은 초기 훈련을 안정화하는 유일한 방법은 아니다. 대안적 접근법에는 처음부터 더 느린 목표 학습률 사용, 단계 감쇠 또는 사용 기반 양과 같은 학습률 스케줄 사용, 또는 재시작이 있는 코사인 어닐링과 같은 웜 재시작 기법 사용(이 자체에 워밍업 형태가 포함됨)이 포함된다. 그래디언트 클리핑(그래디언트 클리핑)은 스파이크를 완화하기 위해 워밍업과 함께 자주 사용된다. 또한 최적화기의 경우 Adam 최적화기의 베타를 0.9 및 0.999로 설정하는 것은 워밍업 중에 조정이 필요할 수 있다. 스케줄 없는 최적화기에 대한 일부 작업(예: 2024년 Defazio 및 Mishchenko 논문)은 워밍업 없는 스케줄 없는 방법을 도입했지만, 이는 여전히 덜 일반적이다.
미래 방향 및 연구
2023-2025년 연구는 여러 워밍업 단계 또는 그래디언트 통계에 기반한 적응형 워밍업을 탐구했지만, 표준 관행은 여전히 선형 워밍업이다. 더 최근의 트랜스포머 스케일링 플레이에서 클라우드 기반 훈련의 하이퍼파라미터로서 워밍업 기간에 대한 지속적인 관심이 있다. OpenAI 연구 그룹의 2024년 논문은 워밍업이 단계의 비율로서 대규모 모델에서 통과되었다고 밝혔다. 또한 워밍업을 Adam의 첫 번째 모멘텀에 연결하는 메모리 효율적인 최적화기가 있지만 이를 대체한 것은 없다.
워밍업은 자연어 처리, 컴퓨터 비전 및 강화 학습 영역에 걸쳐 딥러닝에서 수렴 속도와 최종 성능에 영향을 미치는 기본적이지만 중요한 구성 요소로 남아 있다. 간단한 구현과 입증된 효과성 덕분에 가까운 미래에도 딥러닝 파이프라인에서 표준으로 유지될 것이다.