개요
가중치 감쇠(Weight decay)는 머신러닝에서 과적합을 방지하기 위해 사용되는 정규화 기법으로, 손실 함수에 모델 가중치의 제곱 크기에 비례하는 패널티 항을 추가하는 방식이다. 이 패널티는 모델이 가중치를 작게 유지하도록 장려하며, 이는 일반적으로 더 단순한 모델로 이어져 보지 못한 데이터에 대한 일반화 성능을 향상시킨다. 가중치 감쇠는 가장 일반적으로 L2 정규화로 구현되며, 여기서 패널티는 가중치 제곱의 합에 하이퍼파라미터(종종 weight_decay 또는 lambda로 표기)를 곱한 값이다. 이는 심층 신경망과 대규모 언어 모델을 포함한 딥러닝 훈련의 표준 도구이며, 모든 주요 딥러닝 프레임워크에서 지원된다.
이 개념은 통계학의 능형 회귀(ridge regression, 티호노프 정규화라고도 함)에서 유래했으며, 선형 모델에 동일한 아이디어를 적용한다. 신경망 맥락에서 가중치 감쇠는 1980년대와 1990년대에 Anders Krogh와 John Hertz와 같은 연구자들의 연구를 통해 널리 알려졌으며, 그들은 일반화 성능 향상에 있어 그 효과를 입증했다. 오늘날 가중치 감쇠는 드롭아웃(dropout) 및 배치 정규화(batch normalization)와 같은 다른 정규화 기법과 함께 자주 사용되는 딥러닝 실무의 보편적인 관행이다.
메커니즘 및 수학적 공식
표준 훈련에서 손실 함수는 모델이 훈련 데이터에 얼마나 잘 맞는지를 측정한다. 가중치 감쇠를 적용하면 목적 함수는 다음과 같이 된다:
L_total = L_data + (lambda / 2) * sum(w_i^2)
여기서 L_data는 원래 손실(예: 교차 엔트로피)이고, lambda는 정규화 계수이며, 합은 모든 훈련 가능한 가중치에 대해 계산된다. 1/2 계수는 수학적 편의를 위해 포함되는 경우가 많으며, 미분을 단순화하기 때문이다. 경사 하강법 중 각 가중치의 업데이트 규칙은 다음과 같다:
w_i <- w_i - learning_rate (dL_data/dw_i + lambda w_i)
이는 가중치 감쇠가 각 단계에서 가중치를 (1 - learning_rate * lambda)만큼 효과적으로 축소함을 보여주며, 이는 경사 업데이트에 추가되는 효과이다. 이러한 축소 때문에 '가중치 감쇠'라는 용어가 사용된다.
실제로 PyTorch 및 TensorFlow와 같은 프레임워크는 가중치 감쇠를 손실에 추가되는 별도의 패널티로 구현하거나 옵티마이저(예: AdamW)의 매개변수로 구현한다. 후자의 방식인 분리된 가중치 감쇠(decoupled weight decay)는 감쇠를 경사를 통하지 않고 가중치에 직접 적용하며, 이는 적응형 옵티마이저에서 훈련 역학을 개선할 수 있다.
과적합 방지에서의 역할
과적합은 모델이 훈련 데이터의 노이즈까지 학습하여 새로운 데이터에 일반화하지 못할 때 발생한다. 큰 가중치는 종종 모델이 훈련 세트의 특정 패턴에 과도하게 맞춰졌음을 나타낸다. 가중치 감쇠는 큰 가중치에 패널티를 부과함으로써 모델이 더 분산되고 덜 극단적인 해를 찾도록 강제하며, 이는 일반적으로 일반화 성능을 향상시킨다. 이는 수백만 또는 수십억 개의 매개변수를 가진 모델이 훈련 데이터를 쉽게 암기할 수 있는 딥러닝에서 특히 중요하다.
실증 연구에 따르면 가중치 감쇠는 훈련 성능과 검증 성능 간의 격차를 크게 줄일 수 있다. 예를 들어, 합성곱 신경망을 사용하는 이미지 분류 작업에서 가중치 감쇠를 추가하면 테스트 정확도가 몇 퍼센트 포인트 향상되는 경우가 많다. 자연어 처리에서 가중치 감쇠는 트랜스포머와 대규모 언어 모델 훈련의 표준 구성 요소로, 대규모 말뭉치에 대한 과적합을 방지하는 데 기여한다.
L2 정규화 및 다른 기법과의 관계
가중치 감쇠는 손실 함수가 미분 가능하고 옵티마이저가 기본 확률적 경사 하강법(SGD)을 사용할 때 L2 정규화와 수학적으로 동일하다. 그러나 Adam과 같은 적응형 옵티마이저에서는 감쇠가 다르게 적용되므로 동등성이 깨진다. 이러한 문제를 해결하기 위해 Ilya Loshchilov와 Frank Hutter가 2019년에 도입한 AdamW는 분리된 가중치 감쇠를 적용하며, 이는 많은 트랜스포머 기반 모델(OpenAI 및 Google DeepMind의 모델 포함)의 기본 옵티마이저가 되었다.
가중치 감쇠는 종종 다른 정규화 기법과 함께 사용된다. 드롭아웃은 훈련 중 뉴런을 무작위로 비활성화하여 보완적인 정규화 형태를 제공한다. 배치 정규화는 주로 훈련 안정화를 위한 것이지만 약간의 정규화 효과도 있다. 조기 종료(early stopping)는 검증 성능이 정체될 때 훈련을 중단하는 또 다른 일반적인 관행이다. 가중치 감쇠는 이러한 기법의 대체재가 아니라 함께 사용될 때 잘 작동한다.
실용적 고려 사항 및 하이퍼파라미터 튜닝
가중치 감쇠 계수(lambda)는 튜닝이 필요한 하이퍼파라미터이다. 일반적인 값은 모델과 데이터에 따라 1e-4에서 1e-2 사이이다. 값이 너무 작으면 과적합을 방지하지 못할 수 있고, 너무 크면 모델이 너무 단순해져 데이터의 기본 패턴을 포착하지 못하는 과소적합이 발생할 수 있다. 실제로 lambda는 교차 검증이나 유사한 작업의 경험적 규칙을 통해 선택되는 경우가 많다.
가중치 감쇠는 일반적으로 편향(bias)을 제외한 모든 가중치에 적용되며, 편향은 과적합에 미치는 영향이 적기 때문이다. 일부 구현은 배치 정규화의 매개변수와 같이 스케일 불변인 정규화 계층의 매개변수도 감쇠에서 제외한다. 현대 프레임워크에서는 매개변수 그룹을 통해 이를 제어할 수 있다.
대규모 언어 모델과 같은 대규모 훈련에서는 가중치 감쇠 값이 0.01 또는 0.1로 설정되는 경우가 많다. 예를 들어, OpenAI의 GPT-3는 훈련 중 가중치 감쇠를 0.1로 사용했다. 마찬가지로 많은 트랜스포머 모델은 AdamW와 함께 가중치 감쇠를 사용한다.
역사적 발전 및 주요 기여
큰 가중치에 패널티를 부과하는 아이디어는 1970년대에 개발된 능형 회귀에서 비롯되었다. 신경망에서 가중치 감쇠는 1980년대 후반에 명시적으로 도입되었다. 1992년 Anders Krogh와 John Hertz의 중요한 논문 "A Simple Weight Decay Can Improve Generalization"은 가중치 감쇠가 신경망의 일반화를 향상시킬 수 있음을 입증했으며, 이는 이후 널리 채택되는 기반을 마련했다.
2010년대 딥러닝의 부상과 함께 가중치 감쇠는 심층 신경망 훈련의 표준 구성 요소가 되었다. 2019년 Ilya Loshchilov와 Frank Hutter가 AdamW를 도입하면서 적응형 옵티마이저와 가중치 감쇠의 상호 작용 문제가 해결되었고, 이후 많은 트랜스포머 기반 모델의 기본 선택이 되었다.
현대 AI 시스템에서의 응용
가중치 감쇠는 사실상 모든 딥러닝 프로젝트에서 사용되며, 소규모 모델부터 대규모 언어 모델에 이르기까지 광범위하게 적용된다. 컴퓨터 비전에서는 ResNet 및 EfficientNet과 같은 모델에 적용되며, 자연어 처리에서는 BERT, GPT, T5와 같은 모델 훈련에 사용된다. OpenAI, Anthropic, Google DeepMind와 같은 기업들은 훈련 파이프라인에 가중치 감쇠를 통합하여 모델의 일반화를 보장한다.
대규모 언어 모델의 맥락에서 가중치 감쇠는 다양한 작업을 수행해야 하는 모델이 훈련 말뭉치에 과적합되는 것을 방지하는 데 도움이 된다. 또한 모델이 특정 훈련 예제에 지나치게 의존하여 새로운 입력에 대한 성능이 저하되는 문제를 예방하는 역할도 한다.
한계 및 대안
가중치 감쇠는 효과적이지만 만능 해결책은 아니다. 다른 정규화 기법과 상호 작용이 좋지 않을 수 있으며, 그 효과는 아키텍처와 데이터에 따라 달라진다. 대안으로는 희소성(많은 가중치가 0이 됨)을 장려하는 L1 정규화와 완전 연결 계층에 특히 효과적인 드롭아웃이 있다. 최근에는 확률적 깊이(stochastic depth)와 데이터 증강(data augmentation)과 같은 기법도 정규화를 제공한다.
경우에 따라 가중치 감쇠를 너무 공격적으로 적용하면 과소적합이 발생할 수 있다. 또한 튜닝해야 할 추가 하이퍼파라미터가 필요하므로 대규모 실험에서 어려울 수 있다. 그럼에도 불구하고 가중치 감쇠는 머신러닝 실무자의 도구 상자에서 필수적인 도구로 남아 있다.
결론
가중치 감쇠는 시험을 견뎌온 간단하면서도 강력한 정규화 기법이다. 큰 가중치에 패널티를 부과함으로써 더 단순한 모델을 장려하고 일반화를 향상시킨다. L2 정규화와의 동등성과 AdamW와 같은 현대 옵티마이저로의 통합은 딥러닝에서 기본 선택이 되게 했다. 모델의 크기가 계속 증가함에 따라 가중치 감쇠는 강력하고 신뢰할 수 있는 AI 시스템을 훈련하는 데 필수적인 구성 요소로 남을 것이다.