잡음 대비 추정(NCE)은 Machine learning에서 확률 분포의 매개변수를 추정하기 위한 기법이다. 2010년 Michael Gutmann과 Aapo Hyvärinen이 도입한 NCE는 밀도 추정을 이진 분류 문제로 구성한다. 즉, 관찰된 데이터 포인트 집합과 인공적으로 생성된 잡음 표본 집합이 주어졌을 때, 모델은 둘을 구별하도록 훈련된다. 이 접근 방식은 Neural network 및 Large language model과 같은 복잡한 모델에서 종종 계산이 불가능한 정규화 상수를 계산할 필요를 피한다.
NCE는 에너지 기반 모델, 자연어 처리, 추천 시스템과 같이 분할 함수(partition function)를 평가하기 어려운 상황에서 특히 유용하다. 데이터와 잡음을 분리하도록 학습함으로써 모델은 암묵적으로 기본 데이터 분포를 학습하며, 이는 정확한 우도 계산이 불가능할 때 최대 우도 추정의 실용적인 대안이 된다.
수학적 공식화
NCE는 각 데이터 포인트를 실제(1) 또는 잡음(0)으로 레이블링하는 이진 분류 문제를 정의한다. 잡음 분포는 \(p_n\)으로 표기되며, 일반적으로 균등 분포나 가우시안 분포와 같은 단순한 분포이다. 모델 분포 \(p_m(x; \theta)\)는 \(\theta\)로 매개변수화된다. 목표는 올바른 분류의 로그 확률을 최대화하는 것이다:
\[ J(\theta) = \sum_{i=1}^{T} \left[ \log h(x_i; \theta) + \log(1 - h(x_i'; \theta)) \right] \]
여기서 \(x_i\)는 관찰된 데이터 포인트, \(x_i'\)는 잡음 표본, 그리고 \(h(x; \theta) = \frac{p_m(x; \theta)}{p_m(x; \theta) + k \cdot p_n(x)}\)이다. 여기서 \(k\)는 데이터 포인트당 잡음 표본의 수이다. \(k\)가 증가함에 따라 NCE 추정량은 최대 우도 추정량에 접근하지만, 적당한 \(k\)(예: 10~25)에서도 NCE는 온건한 조건 하에서 일관된 추정치를 제공한다.
핵심 장점은 모델 분포 \(p_m\)이 정규화되지 않을 수 있다는 점이다. 즉, \(p_m(x; \theta) = \exp(f(x; \theta))\)로 표현될 수 있으며, 여기서 \(f\)는 신경망 또는 다른 함수 근사기이다. 정규화 상수는 분류 목적 함수에 암묵적으로 흡수되어 명시적 계산의 필요성을 제거한다.
언어 모델링에서의 응용
NCE는 자연어 처리, 특히 단어 임베딩과 언어 모델 훈련에서 널리 채택되었다. 2013년 Google의 Tomas Mikolov와 동료들은 Word2Vec 프레임워크에서 NCE를 사용하여 단어의 분산 표현을 학습했다. 예를 들어, skip-gram 모델은 유니그램 분포에서 추출된 잡음 단어와 목표 단어를 구별하기 위해 NCE를 사용한다. 이 접근 방식은 수십만 개의 단어를 포함할 수 있는 대규모 어휘에 대한 전체 소프트맥스에 비해 계산 비용을 크게 줄인다.
이후 NCE는 순환 신경망 및 Transformer (architecture) 기반 아키텍처를 포함한 신경 언어 모델에 적용되었다. 예를 들어, 2016년 Google DeepMind 연구자들은 One Billion Word Benchmark에서 언어 모델을 훈련하기 위해 NCE를 사용하여 당시 최첨단 혼란도(perplexity)를 달성했다. 더 최근에는 NCE가 대조 학습 프레임워크에서 사용되는데, 이는 양성 쌍을 끌어당기고 음성 쌍을 밀어내어 표현을 학습하는 것을 목표로 하며, 이 개념은 NCE의 잡음 표본 추출 전략과 밀접하게 관련된다.
다른 방법과의 비교
NCE는 중요도 표본 추출, 대조 발산, 음성 표본 추출과 자주 비교된다. 중요도 표본 추출과 달리 NCE는 제안 분포가 목표 분포에 가깝지 않더라도 일관된 추정량을 제공한다. 제한된 볼츠만 머신 훈련에 사용되는 대조 발산은 로그 우도의 기울기를 근사하는 반면, NCE는 분류 목적 함수를 직접 최적화한다. Word2Vec에서 대중화된 음성 표본 추출은 잡음 분포와 관련된 보정 항을 무시하는 NCE의 단순화된 버전으로, 더 빠르지만 이론적 근거는 덜 확립되어 있다.
NCE는 또한 정규화된 모델을 요구하지 않는다는 점에서 최대 우도 추정(MLE)과 다르다. MLE에서는 정규화 상수를 계산하거나 근사해야 하며, 이는 종종 다루기 어렵다. NCE는 정규화 상수를 암묵적으로 학습되는 매개변수로 취급하여 이를 우회한다. 이는 깊은 Generative AI 모델과 같은 복잡한 아키텍처를 가진 모델에 특히 매력적이다.
실용적 고려 사항
적절한 잡음 분포를 선택하는 것은 NCE의 성능에 중요하다. 잡음 분포는 표본 추출이 쉬워야 하며 데이터 분포와 겹치는 지지 집합을 가져야 한다. 실제로 데이터 영역에 대한 균등 분포가 일반적이지만, 고차원 데이터의 경우 가우시안 분포나 데이터 의존적 분포(예: 텍스트의 유니그램 분포)가 더 잘 작동하는 경우가 많다. 잡음 표본 수 \(k\)는 편향-분산 트레이드오프에도 영향을 미친다. 더 큰 \(k\)는 편향을 줄이지만 계산 비용을 증가시킨다. 일반적인 값은 1에서 25까지이며, 10이 흔한 선택이다.
NCE는 TensorFlow 및 PyTorch를 포함한 인기 있는 머신 러닝 라이브러리에 구현되었으며, Gensim 라이브러리의 word2vec 도구에서도 사용할 수 있다. 또한 YouTube의 딥 러닝 기반 추천 모델과 같은 추천 시스템에서도 사용되어 수백만 개의 항목으로 확장하는 데 도움을 준다.
확장 및 변형
NCE의 여러 확장이 제안되었다. 조건부 NCE(CNCE)는 조건 변수를 통합하여 조건부 분포의 밀도 추정을 가능하게 한다. 순위 기반 NCE는 로지스틱 손실 대신 순위 손실을 사용하여 잡음에 대한 견고성을 향상시킨다. 2019년 연구자들은 대조 예측 코딩에 사용되는 InfoNCE라는 변형을 도입했으며, 이는 컴퓨터 비전 및 오디오에서 자기 지도 학습의 초석이 되었다. InfoNCE는 문맥과 미래 표본 간의 상호 정보를 최대화하며, SimCLR 및 CLIP과 같은 모델에 적용되었다.
학습된 잡음 분포를 사용하는 NCE라는 또 다른 변형은 훈련 중에 잡음 분포를 적응시켜 수렴을 개선할 수 있다. 이러한 확장은 NCE의 적용 범위를 밀도 추정을 넘어 표현 학습 및 생성 모델링으로 넓혔다.
결론
잡음 대비 추정은 명시적 정규화 없이 확률 분포를 학습하기 위한 강력하고 유연한 기법이다. 고차원 문제로 확장할 수 있는 능력 덕분에 단어 임베딩부터 대규모 언어 모델에 이르기까지 현대 머신 러닝의 필수 요소가 되었다. 연구가 계속됨에 따라 NCE와 그 변형은 이론적 보장과 Artificial intelligence에서의 새로운 응용에 대한 지속적인 작업과 함께 활발한 연구 분야로 남아 있다.