대조 학습(contrastive learning)은 모델이 데이터 샘플 쌍을 비교하여 표현을 학습하는 기계 학습 패러다임이다. 핵심 목표는 긍정 쌍(positive pairs) - 의미적으로 유사하거나 동일한 인스턴스의 증강 버전인 샘플 - 간의 거리를 최소화하고, 부정 쌍(negative pairs) - 서로 다른 샘플 - 간의 거리를 최대화하는 것이다. 이 접근 방식은 데이터 자체에서 감독 신호를 생성하고 외부에서 제공된 레이블에 의존하지 않는 자기 지도 학습의 더 넓은 범주에 속한다. 이 대조 작업을 해결함으로써 모델은 데이터의 필수 특징과 관계를 포착하며, 종종 이미지 분류, 음성 인식, 자연어 처리와 같은 하위 작업에 잘 전이되는 표현을 생성한다.
대조 학습은 2010년대 중반 이후, 특히 심층 신경망과 대규모 비라벨 데이터셋의 부상과 함께 두각을 나타냈다. 이는 OpenAI의 CLIP(Contrastive Language-Image Pre-training)과 다양한 오디오 및 비전 인코더를 포함한 여러 영향력 있는 모델의 기반이 된다. 이 기법은 컴퓨터 비전, 오디오 처리, 대규모 언어 모델과 같은 분야에서 널리 사용되며, 수동 주석 없이 모델이 의미 있는 임베딩을 학습하도록 돕는다.
역사적 발전
대조 학습의 뿌리는 신경망 및 표현 학습의 초기 연구로 거슬러 올라간다. 2005년 Raia Hadsell, Sumit Chopra, Yann LeCun이 발표한 논문에 설명된 가장 초기의 예 중 하나는 한 쌍의 1차원 합성곱 신경망을 사용하여 두 이미지를 처리하고 그 일치도를 최대화하여 유사성 메트릭을 효과적으로 학습했다. 이 작업은 이후 대조 방법의 기초를 마련했다.
2010년대에는 2010년 Michael Gutmann과 Aapo Hyvärinen이 도입한 잡음 대조 추정(NCE)이 목표 샘플을 잡음과 구별하여 학습하는 통계적 프레임워크를 제공했다. 이는 2018년 Aaron van den Oord, Yazhe Li, Oriol Vinyals가 제안한 손실 함수인 InfoNCE의 개발에 직접적인 영향을 미쳤으며, 이는 현대 대조 학습의 초석이 되었다. InfoNCE는 NCE의 원리를 활용하여 부정 샘플 집합 중에서 긍정 샘플을 식별하는 손실을 최소화함으로써 두 모델을 공동으로 최적화한다.
핵심 원리
대조 학습은 긍정 쌍을 끌어당기고 부정 쌍을 밀어내는 원리로 작동한다. 긍정 쌍은 일반적으로 동일한 입력 샘플에 자르기, 회전, 색상 지터, 잡음 추가와 같은 다양한 증강을 적용하여 생성된다. 부정 쌍은 배치 또는 데이터셋 내의 서로 다른 샘플로 형성된다. 모델은 유사한 항목이 가깝고 서로 다른 항목이 멀리 떨어진 임베딩 공간을 학습한다.
대조 학습의 손실 함수는 긍정 쌍 간의 거리를 최소화하고 부정 쌍 간의 거리를 최대화하도록 설계된다. 일반적인 손실 함수에는 대조 손실(contrastive loss), 삼중 손실(triplet loss), InfoNCE가 포함된다. 예를 들어, InfoNCE는 하나의 긍정 샘플과 N-1개의 부정 샘플을 포함하는 N개의 무작위 샘플 집합이 주어지면 모델이 부정 샘플에 비해 긍정 샘플에 높은 확률을 할당하도록 장려하는 손실을 최소화한다.
주요 방법 및 아키텍처
여러 영향력 있는 방법이 대조 학습을 형성했다. 2020년 Google의 Ting Chen 등이 도입한 SimCLR는 데이터 증강, 기본 인코더, 프로젝션 헤드, 대조 손실을 갖춘 간단한 프레임워크를 사용한다. 이는 강력한 증강과 큰 배치 크기가 성능에 중요함을 입증했다. Facebook AI Research의 Kaiming He 등이 개발한 MoCo(Momentum Contrast)는 배치 간 일관성을 유지하기 위해 모멘텀 업데이트 인코더를 갖춘 동적 사전을 도입했다.
2021년 OpenAI가 출시한 CLIP은 대조 학습을 다중 모달 데이터로 확장한다. 이는 텍스트 인코더와 이미지 인코더를 공동으로 훈련하여 일치하는 이미지-텍스트 쌍이 높은 코사인 유사도(임베딩 벡터 간의 작은 각도)를 갖고, 불일치 쌍이 낮은 유사도를 갖도록 한다. 이는 다양한 시각 작업에 대한 제로샷 전이를 가능하게 한다.
오디오 처리에서 대조 학습은 음성 인식에 적용되었으며, 모델은 원시 파형 또는 스펙트로그램에서 표현을 학습한다. 예를 들어, Facebook(현재 Meta)은 비라벨 데이터로 최첨단 결과를 달성하기 위해 자기 지도 대조 방법을 음성 인식에 사용했다.
자기 지도 학습에서의 응용
대조 학습은 데이터의 고유 구조를 활용하여 훈련 신호를 생성하는 것을 목표로 하는 자기 지도 학습의 하위 집합이다. 자기 지도 학습에서 모델은 데이터 자체에서 생성된 의사 레이블을 사용하여 이미지의 누락된 부분이나 문장의 다음 단어 예측과 같은 사전 작업(pretext tasks)으로 훈련된다. 대조 학습은 모델이 유사한 쌍과 서로 다른 쌍을 구별해야 하는 특정 유형의 사전 작업이다.
이 접근 방식은 우리가 종종 객체와 사건을 비교하여 학습하는 인간의 학습 방식을 밀접하게 모방한다. 예를 들어, 어린이는 많은 예를 보고 그들 사이의 공통점과 다른 동물과 구별되는 점을 인식하여 새를 식별하는 법을 배운다. 대조 학습은 이러한 직관을 공식화한다.
의사 레이블 및 적응형 학습
많은 자기 지도 파이프라인에서 의사 레이블(pseudo-labels)은 중요한 역할을 한다. 의사 레이블은 모델이 자체 예측에 기반하여 비라벨 데이터에 할당하는 자동 생성 레이블이다. 이는 반지도 학습과 데이터의 통계적 속성이 시간에 따라 변하는 개념 드리프트(concept drift)에 적응해야 하는 시스템에서 널리 사용된다. 이러한 시나리오에서 모델은 들어오는 인스턴스가 이전에 학습된 동작에서 벗어남을 감지하고 분류 결과를 생성하며, 해당 예측 클래스를 의사 레이블로 사용하여 모델 구성 요소를 업데이트할 수 있다. 이는 수동 주석 없이 지속적인 적응을 가능하게 한다.
대조 학습에서 의사 레이블은 긍정 및 부정 쌍을 선택하는 데 사용될 수 있다. 예를 들어, 클러스터링 기반 대조 방법에서 모델은 샘플에 클러스터 할당을 부여하고, 동일한 클러스터의 샘플은 긍정으로 처리된다. 이는 신뢰할 수 있는 예측만 사용하여 오류 전파 위험을 줄인다.
장점 및 한계
대조 학습은 여러 장점을 제공한다. 비용이 많이 들고 부족한 경우가 많은 라벨 데이터에 대한 의존도를 줄인다. 하위 작업에 잘 전이되는 풍부한 표현을 학습하며, 종종 대규모 데이터셋에서의 지도 사전 훈련을 능가한다. 또한 CLIP에서 입증된 바와 같이 다중 모달 학습을 지원한다.
그러나 대조 학습에는 한계가 있다. 증강 및 부정 샘플의 신중한 선택이 필요하며, 잘못된 선택은 사소한 해결책이나 성능 저하로 이어질 수 있다. 충분한 부정 샘플을 제공하기 위해 큰 배치 크기가 종종 필요하며, 이는 계산 비용이 많이 들 수 있다. 또한 손실 함수와 하이퍼파라미터의 선택이 결과에 큰 영향을 미친다.
최근 발전 및 미래 방향
최근 연구는 대조 학습의 효율성과 견고성 향상에 초점을 맞추고 있다. BYOL(Bootstrap Your Own Latent) 및 SimSiam과 같은 방법은 부정 쌍 없이 긍정 쌍과 정지 그래디언트 메커니즘만 사용하여 대조 학습이 작동할 수 있음을 보여준다. 이는 큰 배치의 필요성을 줄인다. 다른 연구는 모델이 구별을 개선하기 위해 어려운 부정 샘플에 집중하는 하드 네거티브 마이닝을 탐구한다.
생성형 AI 및 트랜스포머의 맥락에서 대조 학습은 모달 간 표현을 정렬하고 텍스트 및 이미지 임베딩을 개선하는 데 사용된다. Anthropic 및 Google DeepMind와 같은 기업은 모델에 대조 목표를 통합한다. 2025년 현재 대조 학습은 로봇 공학, 의료, 자율 주행 분야에 응용되며 활발한 연구 영역으로 남아 있다.
결론
대조 학습은 현대 기계 학습의 기본 기법이 되었으며, 모델이 비라벨 데이터에서 강력한 표현을 학습할 수 있게 한다. 긍정 쌍을 끌어당기고 부정 쌍을 밀어냄으로써 데이터의 필수 구조를 포착하여 여러 도메인에서 최첨단 성능을 달성한다. 자기 지도 학습 및 의사 레이블링과의 통합은 AI의 발전을 계속 주도하며, 연구자와 실무자 모두에게 핵심 도구가 되고 있다.