그래디언트 클리핑은 딥러닝과 머신러닝에서 신경망 훈련을 안정화하기 위해 널리 사용되는 기법이다. 이는 역전파 중 계산된 그래디언트가 과도하게 커져 모델의 파라미터가 불규칙하게 업데이트되고 손실이 발산하는 폭주 그래디언트 문제를 해결한다. 그래디언트의 크기를 제한함으로써 그래디언트 클리핑은 최적화 과정이 안정적으로 유지되도록 보장하며, Transformer (architecture) 모델과 대규모 언어 모델(LLM)을 포함한 심층 아키텍처의 훈련을 가능하게 한다.
이 기법은 연구자들이 신경망 아키텍처를 더 깊이 탐구하면서 2010년대 초반에 도입되었다. 시간 단계에 걸쳐 가중치 행렬이 반복적으로 곱해지기 때문에 폭주 그래디언트가 특히 흔한 순환 신경망(RNN)의 부상과 함께 두각을 나타냈다. 오늘날 그래디언트 클리핑은 OpenAI, Anthropic, Google DeepMind와 같은 주요 AI 연구 기관의 훈련 파이프라인에서 표준 구성 요소이며, TensorFlow와 PyTorch 같은 인기 있는 프레임워크에 구현되어 있다.
그래디언트 클리핑의 메커니즘
그래디언트 클리핑에는 두 가지 주요 형태가 있다: 노름 클리핑과 값 클리핑이다. 노름 클리핑은 전역 노름 클리핑이라고도 하며, 모델 전체의 모든 그래디언트의 전역 노름을 계산한다. 이 노름이 사전 정의된 임계값을 초과하면 모든 그래디언트가 비례적으로 축소되어 전역 노름이 임계값과 같아진다. 이는 그래디언트의 방향을 보존하면서 크기를 제한한다. 반면 값 클리핑은 각 그래디언트 구성 요소를 [-1, 1]과 같은 지정된 범위로 개별적으로 클리핑한다. 이 방법은 더 단순하지만 그래디언트 방향을 왜곡할 수 있으며, 이는 수렴에 영향을 줄 수 있다.
노름 클리핑은 레이어 간 그래디언트의 상대적 스케일을 유지하기 때문에 심층 네트워크에서 일반적으로 선호된다. 값 클리핑은 더 단순한 모델이나 계산 단순성이 요구될 때 때때로 사용된다. 임계값의 선택은 중요하다: 너무 작은 임계값은 훈련을 느리게 할 수 있고, 너무 큰 임계값은 폭주 그래디언트를 방지하지 못할 수 있다.
수학적 공식화
그래디언트 벡터를 g로, 임계값을 c로 표시하자. 노름 클리핑의 경우 클리핑된 그래디언트 g'는 다음과 같이 주어진다:
g' = g * (c / ||g||) (||g|| > c인 경우), 그렇지 않으면 g
여기서 ||g||는 그래디언트 벡터의 L2 노름이다. 값 클리핑의 경우 각 구성 요소 g_i는 [-c, c] 범위로 클리핑되므로 g'_i = max(-c, min(c, g_i))이다.
노름 클리핑 연산은 거의 모든 곳에서 미분 가능하므로 자동 미분 프레임워크에 문제 없이 통합될 수 있다. 임계값 c는 실무자가 모델과 데이터 세트에 따라 조정하는 하이퍼파라미터이다.
역사적 배경
폭주 그래디언트 문제는 1990년대에 식별되었지만, 2010년대 딥러닝의 도래와 함께 더 시급해졌다. 2012년 Alexei Efros와 다른 연구자들은 컴퓨터 비전에서 그래디언트 정규화 기법을 탐구했다. 2013년 Thomas G. Dietterich와 동료들은 딥러닝 맥락에서 그래디언트 클리핑을 논의했다. 이 기법은 Yoshua Bengio와 다른 연구자들이 쓴 2013년 논문 "순환 신경망 훈련의 어려움에 관하여"에서 공식화되었으며, 이 논문은 문제를 강조하고 클리핑을 해결책으로 제안했다.
그 이후로 그래디언트 클리핑은 컴퓨터 비전에서 자연어 처리에 이르기까지 다양한 영역에서 채택되었다. 수백 개의 레이어를 가진 네트워크와 같은 매우 깊은 네트워크를 훈련하는 데 특히 중요하며, 여기서 폭주 그래디언트의 위험이 높다.
현대 AI에서의 응용
그래디언트 클리핑은 1,750억 개의 파라미터를 가진 GPT-3와 같은 대규모 모델을 훈련하는 데 필수적이다. 이러한 모델에서 그래디언트 벡터의 크기가 너무 커서 클리핑하지 않으면 수치적 불안정성이 발생할 수 있다. OpenAI와 Anthropic 같은 회사들은 수렴을 보장하기 위해 훈련 실행에서 그래디언트 클리핑을 사용한다. 예를 들어, OpenAI의 GPT-3 훈련은 2020년 논문에서 보고된 바와 같이 전역 노름 클리핑 임계값 1.0을 사용했다.
LLM 외에도 그래디언트 클리핑은 보상 신호가 큰 그래디언트 급증을 유발할 수 있는 강화 학습에서 사용된다. 또한 극단적인 업데이트를 보낼 수 있는 악의적인 클라이언트로부터 보호하기 위해 연합 학습에서도 사용된다.
변형 및 확장
그래디언트 클리핑의 효과를 개선하기 위해 여러 변형이 제안되었다. 적응형 클리핑은 최근 그래디언트의 통계에 따라 임계값을 조정한다. 그래디언트 노이즈는 그래디언트에 작은 무작위 노이즈를 추가하는 것으로, 일반화를 개선하기 위해 클리핑과 결합되기도 한다. 그래디언트 압축이라는 또 다른 변형은 그래디언트를 클리핑하면서 분산 훈련에서 통신 오버헤드를 줄인다.
생성형 AI 맥락에서 그래디언트 클리핑은 판별자와 생성자가 불안정한 그래디언트로 어려움을 겪을 수 있는 생성적 적대 신경망(GAN)의 훈련을 안정화하는 데 도움을 준다.
과제 및 한계
그래디언트 클리핑은 효과적이지만 만능 해결책은 아니다. 그래디언트 추정에 편향을 도입하여 수렴을 느리게 할 수 있다. 임계값 선택은 신중한 조정이 필요하며, 잘못된 선택은 최적이 아닌 성능으로 이어질 수 있다. 또한 그래디언트 클리핑은 종종 네트워크 아키텍처나 초기화에 있는 폭주 그래디언트의 근본 원인을 해결하지 못한다. 잔차 연결과 배치 정규화 같은 기법은 보완적인 해결책이다.
일부 경우 그래디언트 클리핑은 학습률 스케줄과 잘못 상호작용할 수 있다. 예를 들어 학습률이 너무 높으면 클리핑으로 인해 모델이 진동할 수 있다. 따라서 실무자는 다른 하이퍼파라미터와 함께 클리핑을 고려해야 한다.
프레임워크에서의 구현
현대 딥러닝 프레임워크는 그래디언트 클리핑에 대한 내장 지원을 제공한다. PyTorch에서 torch.nn.utils.clip_grad_norm_ 함수는 노름 클리핑을 구현하고, torch.nn.utils.clip_grad_value_는 값 클리핑을 구현한다. TensorFlow는 tf.clip_by_global_norm과 tf.clip_by_value에서 유사한 유틸리티를 제공한다. 이러한 함수는 연구 및 프로덕션 코드에서 널리 사용된다.
예를 들어, transformer 모델의 일반적인 훈련 루프에서 손실을 계산하고 옵티마이저 단계 전에 clip_grad_norm_(model.parameters(), max_norm=1.0)을 호출할 수 있다. 이는 그래디언트가 안전한 범위 내에 있도록 보장한다.
다른 기법과의 관계
그래디언트 클리핑은 종종 다른 안정화 기법과 함께 사용된다. Xavier 또는 He 초기화와 같은 가중치 초기화 방법은 처음부터 폭주 그래디언트의 위험을 줄인다. 학습률을 점진적으로 증가시키는 학습률 워밍업도 도움이 된다. Transformer (architecture) 모델에서 레이어 정규화와 잔차 연결은 그래디언트 문제를 완화하지만, 클리핑은 안전망으로 남아 있다.
인공지능 안전 맥락에서 그래디언트 클리핑은 극단적인 그래디언트가 의도하지 않은 행동으로 이어질 수 있는 강화 학습의 보상 해킹과 관련하여 때때로 논의된다.
미래 방향
모델이 계속 커짐에 따라 그래디언트 클리핑은 핵심 도구로 남을 것이다. 임계값을 자동으로 조정하는 적응형 클리핑 방법을 개발하기 위한 연구가 진행 중이다. 일부 연구는 클리핑의 이론적 기초를 탐구하며 최적화 이론과 연결한다. 분산 훈련에서 통신 효율적인 클리핑은 활발한 연구 영역이다.
또한 Amazon Web Services와 Microsoft Azure 클라우드 플랫폼의 부상으로 그래디언트 클리핑은 고객이 모델을 안정적으로 훈련할 수 있도록 지원하는 AI 서비스에 구현되어 있다. NVIDIA와 AMD 같은 하드웨어 공급업체는 효율적인 그래디언트 클리핑 연산을 지원하도록 라이브러리를 최적화한다.
결론
그래디언트 클리핑은 폭주 그래디언트를 방지하여 안정적이고 효율적인 훈련을 보장하는 딥러닝의 기본 기법이다. 그 단순성과 효과성 덕분에 학계와 산업계 모두에서 표준 관행이 되었다. AI 모델이 더 복잡해짐에 따라 그래디언트 클리핑은 머신러닝과 인공지능의 돌파구를 가능하게 하는 데 계속 중요한 역할을 할 것이다.