Mixup

Mixup은 기계 학습 모델, 특히 심층 신경망을 훈련시키기 위한 데이터 증강 기법이다. 이 기법은 입력 샘플 쌍과 해당 원-핫 인코딩 레이블의 볼록 결합을 형성하여 합성 훈련 예제를 생성한다. 이 방법은 2018년 Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin, David Lopez-Paz의 논문에서 소개되었으며, 이후 딥러닝에서 널리 채택된 정규화 전략이 되었다. 훈련 예제 간의 선형적 동작을 장려함으로써, mixup은 과적합을 줄이고 적대적 섭동 및 손상된 레이블에 대한 견고성을 향상시킨다.

Mixup의 핵심 아이디어는 간단하다. 두 훈련 예제 (x_i, y_i)와 (x_j, y_j)가 주어졌을 때, 새로운 훈련 예제는 x_tilde = lambda x_i + (1 - lambda) x_j 및 y_tilde = lambda y_i + (1 - lambda) y_j로 생성되며, 여기서 lambda는 alpha > 0에 대해 베타 분포 Beta(alpha, alpha)에서 추출된다. 하이퍼파라미터 alpha는 보간의 강도를 제어하며, alpha가 0에 가까워지면 mixup은 표준 경험적 위험 최소화로 축소되고, 더 큰 값은 더 공격적인 혼합을 생성한다. 이 방법은 계산 비용이 낮아 구현에 몇 줄의 코드만 필요하며, 이미지, 텍스트, 오디오를 포함한 다양한 데이터 유형에 적용할 수 있다.

Mixup은 드롭아웃, 가중치 감쇠, 배치 정규화를 포함하는 더 넓은 정규화 기법 계열에 속한다. 네트워크 아키텍처나 최적화 절차를 수정하는 이러한 방법과 달리, mixup은 입력 및 레이블 공간에서 직접 작동한다. 이러한 독특한 관점은 CutMix(한 이미지의 직사각형 영역을 다른 이미지로 대체) 및 Manifold Mixup(신경망의 숨겨진 특징 공간에서 보간 수행)과 같은 다양한 변형 및 확장에 영감을 주었다.

이론적 기초

Mixup의 이론적 근거는 2001년 Olivier Chapelle과 동료들이 제안한 Vicinal Risk Minimization(VRM) 개념에 기반을 둔다. VRM에서는 훈련 데이터에 대한 경험적 위험을 최소화하는 대신, 각 훈련 예제 주변의 이웃에 확률 질량을 할당하는 이웃 분포에 대한 위험을 최소화한다. Mixup은 이웃 분포가 예제 쌍 간의 선형 보간으로 정의되는 VRM의 특정 구현으로 볼 수 있다.

연구자들은 여러 관점에서 mixup을 분석했다. 한 연구 계열은 mixup이 학습된 함수가 더 작은 립시츠 상수를 갖도록 장려하는 정규화기 역할을 한다는 것을 보여준다. 즉, 입력의 작은 변화가 출력의 작은 변화로 이어진다는 의미이다. 이 속성은 향상된 일반화 및 견고성과 관련이 있다. 또 다른 관점은 mixup을 레이블 스무딩과 연결하는데, 보간된 레이블이 원래 원-핫 벡터보다 부드럽기 때문에 모델 예측의 과신을 줄일 수 있다.

경험적 연구는 mixup이 모델을 속이기 위해 제작된 입력인 적대적 예제에 대한 신경망의 민감도를 줄일 수 있음을 입증했다. 입력의 볼록 결합으로 훈련함으로써, 모델은 더 선형적이고 과적합된 급격한 영역에 덜 취약한 결정 경계를 학습한다. 이로 인해 mixup은 적대적 견고성 파이프라인에서 일반적인 구성 요소가 되었다.

컴퓨터 비전에서의 응용

Mixup은 이미지 분류, 객체 감지, 의미론적 분할을 포함한 컴퓨터 비전 작업에 광범위하게 적용되었다. 이미지 분류에서 mixup은 무작위 자르기, 뒤집기, 색상 지터와 같은 표준 데이터 증강 기법의 대체재로 자주 사용된다. CIFAR-10, CIFAR-100, ImageNet과 같은 벤치마크 데이터셋에서 top-1 정확도를 향상시키는 것으로 나타났으며, 특히 제한된 데이터로 대형 모델을 훈련할 때 효과적이다.

객체 감지의 경우, mixup은 경계 상자 주석을 처리하도록 적응되었다. MixUp for detection으로 알려진 한 접근 방식은 이미지와 해당 경계 상자 및 레이블을 모두 보간하여 모델이 혼합된 장면에서 학습할 수 있게 한다. 이는 COCO와 같은 데이터셋, 특히 작은 객체에서 성능을 향상시키는 것으로 나타났다.

의미론적 분할에서 mixup은 서로 다른 장면 컨텍스트를 결합하는 합성 훈련 쌍을 생성하는 데 사용된다. 이는 모델이 객체와 배경의 보이지 않는 조합에 일반화하는 데 도움이 된다. CutMix와 같은 변형도 분할 작업에 적용되었으며, 혼합 영역은 객체 경계에 신중하게 정렬된다.

자연어 처리에서의 응용

자연어 처리(NLP)에서 mixup은 이산 텍스트 데이터와 함께 작동하도록 적응되었다. 텍스트는 입력 공간에서 직접 보간할 수 없기 때문에, 대부분의 접근 방식은 임베딩 공간에서 mixup을 적용한다. 예를 들어, 두 문장의 단어 임베딩을 평균화하거나 선형 결합하여 합성 입력 표현을 만들 수 있다. Embedding Mixup이라고 불리는 이 기법은 감정 분석 및 주제 분류와 같은 텍스트 분류 작업에 적용되었다.

Sentence Mixup이라고 불리는 또 다른 접근 방식은 트랜스포머 모델의 숨겨진 상태에서 작동한다. 두 문장의 숨겨진 표현을 보간함으로써, 모델은 특징 공간에서 더 부드러운 결정 경계를 학습할 수 있다. 이는 자연어 추론 및 패러프레이즈 감지와 같은 작업에서 성능을 향상시키는 것으로 나타났다.

Mixup은 저자원 환경에서 데이터 증강을 위해 대형 언어 모델(LLM)과 결합되기도 했다. 예를 들어, 퓨샷 학습 시나리오에서 mixup은 기존 예제의 임베딩 간 보간을 통해 추가 훈련 예제를 생성하여 모델이 소수의 레이블된 인스턴스에서 일반화하도록 돕는다. 그러나 생성 모델에 mixup을 적용하는 것은 여전히 활발한 연구 영역이며, 텍스트 보간은 때때로 의미적으로 일관되지 않은 샘플을 생성할 수 있다.

변형 및 확장

Mixup의 한계를 해결하거나 적용 범위를 확장하기 위해 여러 변형이 제안되었다. 2019년에 도입된 CutMix는 한 이미지의 직사각형 영역을 다른 이미지의 패치로 대체하고 레이블을 패치 면적에 비례하여 조정한다. 이 접근 방식은 모델이 이미지의 덜 두드러진 부분에 집중하도록 장려하며 여러 벤치마크에서 mixup보다 우수한 성능을 보였다.

2018년에 제안된 Manifold Mixup은 입력 공간이 아닌 신경망의 숨겨진 레이어에서 보간을 수행한다. 이를 통해 모델은 더 추상적이고 불변하는 특징을 학습할 수 있으며, 도메인 적응 및 준지도 학습과 같은 작업에서 성능을 향상시키는 것으로 나타났다.

다른 주목할 만한 변형으로는 의미적 콘텐츠를 보존하는 방식으로 이미지를 혼합하는 살리언시 기반 접근 방식인 Puzzle Mix와 부드러운 혼합 패턴을 만들기 위해 푸리에 도메인 마스킹을 사용하는 FMix가 있다. 또한 음성 인식을 위한 오디오 mixup 및 그래프 신경망의 노드 분류를 위한 그래프 mixup과 같은 특정 데이터 유형을 위해 설계된 mixup 버전도 있다.

구현 및 실용적 고려 사항

Mixup 구현은 대부분의 딥러닝 프레임워크에서 간단하다. 예를 들어, PyTorch에서는 데이터 배치를 샘플링하고, 무작위로 순열을 수행하며, 베타 분포에서 추출된 스칼라 lambda를 사용하여 볼록 결합을 계산할 수 있다. 손실은 보간된 레이블(일반적으로 소프트 타겟)을 사용하여 계산된다. 이를 위해서는 소프트 레이블을 지원하는 손실 함수(예: 소프트 타겟을 사용한 교차 엔트로피)가 필요하다.

실용적 고려 사항 중 하나는 alpha 하이퍼파라미터의 선택이다. 원래 논문에서 저자는 이미지 분류 작업에 대해 0.1에서 0.4 사이의 alpha 값을 권장하며, 더 큰 값은 더 강한 정규화를 제공한다. 그러나 최적의 alpha는 데이터셋과 모델 아키텍처에 따라 달라질 수 있으며, 종종 검증 세트를 사용하여 튜닝된다.

Mixup은 드롭아웃 및 가중치 감쇠와 같은 다른 정규화 기법과 결합하여 일반화를 더욱 향상시킬 수 있다. 또한 학습률 스케줄 및 SGD, Adam과 같은 옵티마이저와 호환된다. 실제로 mixup은 훈련 중에만 적용되며, 모델이 실제 데이터로 평가되므로 추론 중에는 비활성화된다.

영향 및 수용

Mixup의 도입은 기계 학습 커뮤니티에 상당한 영향을 미쳤다. 원래 논문은 수천 번 인용되었으며 많은 후속 연구에 영감을 주었다. Mixup은 이제 많은 실무자의 도구 상자에서 표준 도구가 되었으며, 인기 있는 딥러닝 라이브러리 및 프레임워크에 포함되어 있다.

Mixup은 산업 환경에서도 채택되었다. 예를 들어, Google, Meta, Amazon과 같은 회사의 연구자들은 생산 환경에서 모델의 견고성을 향상시키기 위해 mixup을 사용했다. 이 기법은 기존 훈련 파이프라인에 최소한의 변경만 필요로 하므로 단순성과 효과성으로 특히 가치가 있다.

성공에도 불구하고 mixup에는 한계가 있다. 예제 간의 선형성 가정은 복잡한 데이터 분포에서 항상 성립하지 않을 수 있다. 어떤 경우에는 mixup이 비현실적인 훈련 예제를 생성하여 성능을 저하시킬 수 있다. 연구자들은 기본 데이터 다양체를 존중하는 더 정교한 혼합 전략을 개발하여 이러한 문제를 해결했다.

다른 기법과의 관계

Mixup은 다른 데이터 증강 및 정규화 방법과 밀접한 관련이 있다. 레이블 스무딩과 유사점을 공유하며, 둘 다 타겟 레이블을 부드럽게 하지만, mixup은 입력도 보간한다는 점에서 더 나아간다. 또한 적대적 훈련과도 관련이 있으며, 두 방법 모두 견고성 향상을 목표로 하지만 다른 방식으로 작동한다.

Data Augmentation의 맥락에서 mixup은 훈련 데이터의 다양성을 증가시키는 여러 기법 중 하나이다. 다른 방법으로는 컴퓨터 비전의 무작위 자르기, 회전, 색상 지터와 NLP의 역번역 및 동의어 대체가 있다. Mixup은 단일 예제를 변환하는 대신 기존 예제를 결합하여 새 예제를 만든다는 점에서 독특하다.

Mixup은 또한 Machine learning 및 Deep learning의 더 넓은 분야와 연결되며, 과적합을 방지하기 위한 정규화기로 사용된다. 그 원리는 Generative AI와 같은 다른 영역으로 확장되어 생성 모델 훈련을 개선하는 데 사용될 수 있다. 이 기법은 네트워크가 학습하고 일반화하는 방식에 대한 통찰력을 제공하므로 Neural network 연구와도 관련이 있다.

미래 방향

Mixup에 대한 연구는 계속 진화하고 있다. 최근 작업은 Large language model 훈련에서 mixup 사용을 탐구했으며, 임베딩 공간 또는 출력 로짓에 적용할 수 있다. 또한 Curriculum Learning 및 Reinforcement Learning from AI Feedback (RLAIF)와 같은 다른 고급 기법과 mixup을 결합하여 모델 성능을 더욱 향상시키는 데 관심이 있다.

또 다른 방향은 데이터와 모델의 현재 상태에 따라 최적의 보간 매개변수를 자동으로 결정하는 적응형 혼합 전략의 개발이다. 이는 더 넓은 범위의 응용에서 mixup을 더 효율적이고 효과적으로 사용할 수 있게 할 수 있다.

Artificial intelligence 분야가 계속 발전함에 따라 mixup은 관련성 있고 유용한 기법으로 남을 가능성이 높다. 단순성, 효과성, 광범위한 적용 가능성은 모든 기계 학습 실무자의 도구 상자에 귀중한 추가 요소가 된다.