Label Smoothing

레이블 스무딩은 Machine learning 및 Deep learning에서 모델이 예측에 지나치게 확신을 갖는 것을 방지하기 위해 사용되는 정규화 기법이다. 모델이 올바른 클래스에 대해 1.0의 확률을, 다른 모든 클래스에 대해 0.0의 확률을 출력하도록 훈련하는 대신(원-핫 인코딩으로 알려짐), 레이블 스무딩은 이러한 하드 타깃을 부드러운 버전으로 대체한다. 이는 일반적으로 균등 분포에서 추출된 작은 확률 질량을 모든 잘못된 클래스에 할당함으로써 달성된다. 이 기법은 Neural network 훈련, 특히 이미지 분류 및 Natural language processing 작업의 맥락에서 대중화되었으며, Large language model을 포함한 많은 현대 훈련 파이프라인의 표준 구성 요소가 되었다.

핵심 아이디어는 모델의 과신을 줄여 보지 못한 데이터에 대한 일반화 성능 저하를 방지하는 것이다. 하드 타깃은 모델이 출력 로짓을 극단적인 값으로 밀어내도록 장려하여 취약하고 노이즈에 민감하게 만든다. 타깃을 부드럽게 함으로써 모델은 더 온건한 확률 분포를 출력하도록 유도되며, 이는 종종 캘리브레이션과 견고성을 개선한다. 레이블 스무딩은 최소한의 계산 오버헤드를 요구하고 기존 훈련 프레임워크에 쉽게 통합될 수 있는 간단하면서도 효과적인 방법이다.

수학적 공식

\(K\)개의 클래스가 있는 표준 분류 작업에서 샘플의 실제 레이블은 원-핫 벡터 \(y\)로 표현되며, 여기서 올바른 클래스 \(c\)에 대해 \(y_c = 1\)이고 다른 모든 클래스 \(i \neq c\)에 대해 \(y_i = 0\)이다. 모델은 일반적으로 로짓에 소프트맥스 함수를 적용하여 클래스에 대한 확률 분포 \(p\)를 출력한다. 훈련 손실은 일반적으로 \(y\)와 \(p\) 사이의 교차 엔트로피이다.

레이블 스무딩은 타깃 분포 \(y\)를 \(y^{LS}\)로 수정하며, 다음과 같이 정의된다:

\[ y^{LS}_i = (1 - \epsilon) \cdot y_i + \frac{\epsilon}{K} \]

여기서 \(\epsilon\)은 0과 1 사이의 스무딩 매개변수이다. 올바른 클래스의 경우 타깃은 \(1 - \epsilon + \frac{\epsilon}{K}\)가 되고, 각 잘못된 클래스의 경우 \(\frac{\epsilon}{K}\)가 된다. 이는 타깃 확률의 합이 1로 유지되도록 보장한다. 그런 다음 교차 엔트로피 손실은 \(y\) 대신 \(y^{LS}\)를 사용하여 계산된다.

\(\epsilon\)의 일반적인 선택은 0.1이지만, 작업과 데이터셋에 따라 값은 0.01에서 0.2까지 다양할 수 있다. 이 매개변수는 부드러움의 정도를 제어하며, 더 큰 \(\epsilon\)은 더 균등한 타깃 분포를 초래하고, \(\epsilon = 0\)은 원래의 하드 레이블을 복원한다.

역사적 배경

레이블 스무딩의 개념은 정규화 및 확률 캘리브레이션에 대한 초기 연구에 뿌리를 두고 있다. 주목할 만한 선구자 중 하나는 모델 증류에서 "소프트 타깃"의 사용으로, 더 작은 모델이 더 큰 사전 훈련된 모델의 출력 확률을 모방하도록 훈련된다. 그러나 독립적인 기법으로서의 레이블 스무딩은 2016년 Google DeepMind(당시 Google Brain)의 연구자들이 작성한 "Rethinking the Inception Architecture for Computer Vision"이라는 논문에서 공식적으로 소개되고 대중화되었다. Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, Zbigniew Wojna를 포함한 저자들은 이미지 분류를 위한 심층 컨볼루션 네트워크 훈련을 개선하는 방법으로 이를 제안했다.

그 이후로 레이블 스무딩은 다양한 영역에서 널리 채택되었다. 특히 Generative AI 및 Natural language processing에 사용되는 Transformer (architecture) 기반 아키텍처를 포함한 대규모 모델 훈련에 효과적인 것으로 입증되었다. 이 기법은 이제 많은 오픈소스 훈련 라이브러리의 표준 구성 요소이며 최첨단 모델에서 기본적으로 자주 사용된다.

이점 및 메커니즘

레이블 스무딩은 모델 성능 개선에 기여하는 여러 이점을 제공한다:

• 과신 방지: 타깃을 부드럽게 함으로써 모델이 단일 클래스에 극도로 높은 확률을 할당하지 않도록 억제된다. 이는 훈련 데이터에 대한 과적합 위험을 줄이고 모델의 일반화 능력을 향상시킨다.
• 캘리브레이션 개선: 레이블 스무딩으로 훈련된 모델은 더 잘 캘리브레이션된 확률을 갖는 경향이 있으며, 이는 예측된 신뢰 점수가 실제 정확도와 더 밀접하게 일치함을 의미한다. 이는 결정 임계값이 사용되는 응용 분야에서 특히 중요하다.
• 정규화 효과: 이 기법은 타깃 분포에 약간의 노이즈를 추가함으로써 Dropout 또는 Weight Initialization 전략과 유사한 정규화 형태로 작용한다. 이는 모델이 더 견고한 특징을 학습하는 데 도움이 될 수 있다.
• 더 부드러운 손실 지형: 레이블 스무딩은 최적화 지형을 더 부드럽게 만들어 더 빠른 수렴을 촉진하고 날카로운 최솟값에 갇힐 가능성을 줄일 수 있다.

연구는 또한 레이블 스무딩이 학습된 표현의 품질을 향상시킬 수 있음을 보여주었다. 예를 들어, Computer vision 작업에서 레이블 스무딩으로 훈련된 모델은 종종 더 분리 가능하고 전이 학습에 더 적합한 특징 임베딩을 생성한다.

현대 AI에서의 응용

레이블 스무딩은 현대 AI 시스템 훈련에서 보편적인 기법이 되었다. Large language model 분야에서는 사전 훈련 및 미세 조정 중에 자주 사용된다. 예를 들어, GPT 및 BERT 변형과 같은 모델은 견고성과 캘리브레이션을 개선하기 위해 레이블 스무딩을 통합했다. 이 기법은 또한 기계 번역 및 텍스트 요약과 같은 작업을 위한 Sequence-to-Sequence (Seq2Seq) 모델에도 적용된다.

Reinforcement learning 및 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백 기반 강화 학습)와 같은 관련 영역에서 레이블 스무딩은 보상 신호나 타깃 분포를 부드럽게 하여 훈련을 안정화하는 데 사용될 수 있다. 또한 Data Augmentation 및 Gradient Clipping과 같은 다른 정규화 방법과 결합되어 최첨단 성능을 달성하는 경우가 많다.

다른 기법과의 관계

라벨 스무딩은 머신 러닝의 여러 다른 기법들과 개념적으로 관련이 있다:

• 지식 증류(Knowledge distillation): 증류에서 학생 모델은 교사 모델의 부드러운 출력에 대해 훈련된다. 라벨 스무딩은 교사가 균등 분포인 단순한 형태의 증류로 볼 수 있다.
• 신뢰도 패널티(Confidence penalty): 이는 과신하는 예측을 억제하기 위해 손실 함수에 패널티 항을 추가하는 정규화 기법이다. 라벨 스무딩은 목표 값을 직접 수정하여 유사한 효과를 얻는다.
• Mixup 및 CutMix: 이들은 Data Augmentation 기법으로, 예제 쌍과 해당 라벨 간의 보간을 통해 새로운 훈련 샘플을 생성한다. 라벨 스무딩은 추가 정규화를 위해 이러한 방법 위에 적용될 수 있다.
• 온도 스케일링(Temperature scaling): Temperature Scaling에서 로짓은 소프트맥스를 적용하기 전에 온도 매개변수로 나뉘며, 이는 출력 분포의 선명도에 영향을 준다. 라벨 스무딩은 목표 측면에서 작동하는 반면, 온도 스케일링은 예측 측면에서 작동한다.

실용적 고려 사항

라벨 스무딩을 구현할 때 여러 실용적 측면을 고려해야 한다:

• 엡실론 선택: 스무딩 매개변수 \(\epsilon\)은 튜닝이 필요한 하이퍼파라미터이다. 일반적인 기본값은 0.1이지만, 최적 값은 달라질 수 있다. 클래스 수가 많은 작업에서는 과도한 스무딩을 피하기 위해 더 작은 \(\epsilon\)이 적합할 수 있다.
• 손실 함수와의 상호 작용: 라벨 스무딩은 일반적으로 교차 엔트로피 손실과 함께 적용된다. 그러나 초점 손실이나 메트릭 학습에 사용되는 Loss Functions와 같은 다른 손실 함수에도 적용할 수 있으며, 이 경우 공식 조정이 필요할 수 있다.
• 로짓에 대한 영향: 라벨 스무딩의 알려진 부작용 중 하나는 모델의 로짓 크기가 커질 수 있다는 점이며, 이는 신뢰도 점수의 해석에 영향을 줄 수 있다. 일부 연구는 이로 인해 지식 증류에 문제가 발생할 수 있다고 지적했는데, 부드러워진 출력이 덜 유용할 수 있기 때문이다.
• 구현: 실제로 라벨 스무딩은 전체 스무딩 분포를 저장하지 않기 위해 목표 벡터 대신 손실 함수를 수정하여 구현되는 경우가 많다. 이는 계산 효율적이며 기존 프레임워크에 쉽게 통합할 수 있다.

연구 및 확장

소개 이후 라벨 스무딩은 광범위한 연구의 대상이 되었다. 연구들은 이론적 속성을 분석하여 엔트로피 정규화의 한 형태 또는 라벨 노이즈에 대한 사전 지식을 통합하는 방법으로 해석될 수 있음을 보여주었다. 확장에는 훈련 중 스무딩 매개변수를 학습하는 적응형 라벨 스무딩과 클래스별로 다른 스무딩 수준을 적용하는 클래스 의존 스무딩이 포함된다.

Transformer (architecture) 기반 모델의 맥락에서 라벨 스무딩은 특히 Layer Normalization 및 Residual Network (ResNet) 연결과 결합될 때 훈련 안정성을 향상시키는 것으로 나타났다. 또한 Learning Rate Scheduling 및 Adam (Optimizer)와 함께 사용되어 최적의 성능을 달성한다.

한계 및 비판

널리 사용됨에도 불구하고 라벨 스무딩에는 한계가 없다. 일부 연구자들은 명확한 결정 경계가 있는 특정 유형의 분류와 같이 모델이 매우 확신 있는 예측을 해야 하는 작업에서 성능을 저하시킬 수 있다고 지적했다. 또한 라벨 스무딩은 모델의 실제 불확실성을 모호하게 만들어 고위험 응용 분야에서 출력 확률을 해석하기 어렵게 만들 수 있다.

또 다른 비판은 라벨 스무딩이 항상 보정(calibration)을 개선하지는 않으며, 경우에 따라 온도 스케일링과 같은 다른 방법보다 보정이 더 나빠질 수 있다는 점이다. 라벨 스무딩의 효과는 데이터셋과 모델 아키텍처에 따라 달라지며, 모든 시나리오에서 이점을 제공하지 않을 수 있다.

결론

라벨 스무딩은 Artificial intelligence에서 여전히 기본적이고 널리 사용되는 정규화 기법이다. 그 단순성, 효과성, 낮은 계산 비용 덕분에 많은 훈련 파이프라인에서 기본 선택이 되었다. 일부 한계가 있지만, 일반화와 보정 측면에서의 이점은 특히 대규모 딥 러닝 응용 분야에서 단점보다 큰 경우가 많다. 연구가 계속됨에 따라 라벨 스무딩의 새로운 변형과 개선이 등장할 가능성이 높으며, 머신 러닝 도구 모음에서 그 역할이 더욱 공고해질 것이다.