에너지 기반 모델(EBM)은 통계 물리학의 정준 앙상블 공식화를 데이터 학습에 적용한 것으로, 정준 앙상블 학습(CEL) 또는 정준 앙상플을 통한 학습(LCE)이라고도 불립니다. 이 접근 방식은 생성형 AI에서 두드러지게 나타납니다. EBM은 이러한 학습에 대한 많은 확률적 및 비확률적 접근 방식, 특히 그래픽 모델 및 기타 구조화된 모델 훈련을 위한 통합 프레임워크를 제공합니다. EBM은 대상 데이터 세트의 특성을 학습하고 유사하지만 더 큰 데이터 세트를 생성합니다. EBM은 데이터 세트의 잠재 변수를 감지하고 유사한 분포를 가진 새 데이터 세트를 생성합니다. 에너지 기반 생성 신경망은 에너지 기반 모델 형태로 데이터의 명시적 확률 분포를 학습하는 것을 목표로 하는 생성 모델의 한 클래스로, 에너지 함수는 현대 딥 신경망에 의해 매개변수화됩니다. 볼츠만 머신은 에너지의 특정 매개변수화를 가진 에너지 기반 모델의 특수한 형태입니다.
수학적 공식화
주어진 입력 \(x\)에 대해 모델은 에너지 \(E_\theta(x)\)를 설명하며, 볼츠만 분포 \(P_\theta(x) = e^{-\beta E_\theta(x)} / Z(\theta)\)는 확률(밀도)이고, 일반적으로 \(\beta = 1\)입니다. 정규화 상수 \(Z(\theta) := \int_{x \in X} e^{-\beta E_\theta(x)} dx\)는 분할 함수라고도 하며, 가능한 모든 입력 \(x\)의 모든 볼츠만 인자에 의존하므로 고차원 데이터에 대해 계산적으로 다루기 어렵습니다. 이러한 다루기 어려움은 표준 최대 우도 추정을 복잡하게 만듭니다.
그러나 단일 훈련 예제 \(x\)에 대한 로그 우도의 기울기는 다음과 같이 표현될 수 있습니다:
\[
\partial_\theta \log P_\theta(x) = \mathbb{E}_{x' \sim P_\theta}[\partial_\theta E_\theta(x')] - \partial_\theta E_\theta(x)
\]
이 기울기는 양의 위상(관측된 데이터의 에너지)과 음의 위상(모델 분포 하에서의 기대 에너지)으로 구성됩니다. 음의 위상에서의 기대값은 일반적으로 마르코프 체인 몬테카를로(MCMC) 방법을 사용하여 \(P_\theta\)에서 샘플을 추출하여 근사화됩니다.
대조 발산을 통한 훈련
2003년 힌턴의 볼츠만 머신과 같은 초기 에너지 기반 모델은 차단된 깁스 샘플링을 통해 기대값을 추정했습니다. 최신 접근 방식은 더 효율적인 확률적 경사 랑주뱅 역학(LD)을 사용하며, 다음을 사용하여 샘플을 추출합니다:
\[
x_0' \sim P_0, \quad x_{i+1}' = x_i' - \frac{\alpha}{2} \frac{\partial E_\theta(x_i')}{\partial x_i'} + \epsilon
\]
여기서 \(\epsilon \sim \mathcal{N}(0, \alpha)\)입니다. 과거 값 \(x_i'\)의 재생 버퍼는 LD와 함께 사용되어 최적화 모듈을 초기화합니다. 신경망의 매개변수 \(\theta\)는 MCMC 기반 최대 우도 추정을 통해 생성 방식으로 훈련됩니다. 학습 과정은 "합성을 통한 분석" 체계를 따릅니다. 각 학습 반복 내에서 알고리즘은 그래디언트 기반 MCMC 방법(예: 랑주뱅 역학 또는 하이브리드 몬테카를로)을 통해 현재 모델에서 합성된 예제를 샘플링하고, 그런 다음 관측된 데이터의 에너지를 줄이면서 샘플링된 데이터의 에너지를 높이도록 매개변수 \(\theta\)를 업데이트합니다.
다른 생성 모델과의 관계
에너지 기반 모델은 다른 생성 접근 방식에 대한 유연한 대안을 제공합니다. 데이터를 직접 출력하는 생성형 AI 모델(예: 대규모 언어 모델 또는 트랜스포머)과 달리 EBM은 비정규화 확률 분포를 정의합니다. 이를 통해 다루기 쉬운 우도 없이 복잡한 의존성을 모델링할 수 있습니다. 에너지 함수가 딥 네트워크에 의해 매개변수화될 때 신경망과 밀접하게 관련되어 에너지 기반 생성 신경망으로 이어집니다. 제한된 볼츠만 머신을 포함한 볼츠만 머신은 에너지 함수가 특정 이중 구조를 가진 특수한 경우입니다.
생성형 AI에서의 응용
에너지 기반 모델은 이미지 생성, 노이즈 제거 및 이상 탐지를 포함한 다양한 생성 작업에 적용되었습니다. 딥 러닝의 맥락에서 EBM은 잠재 표현을 학습하고 훈련 데이터와 유사한 통계를 가진 새 샘플을 생성하는 데 사용될 수 있습니다. 또한 구조적 예측 및 준지도 학습에도 탐구되었습니다. 최근 연구는 EBM을 잔차 네트워크 및 U-Net과 같은 머신 러닝 기술과 결합하여 확장성을 개선했습니다.
과제 및 확장
EBM 훈련의 주요 과제는 정교한 샘플링 기술을 요구하는 다루기 어려운 분할 함수입니다. 랑주뱅 역학과 같은 MCMC 방법은 특히 고차원 공간에서 혼합이 느릴 수 있습니다. 이를 해결하기 위해 연구자들은 대조 발산, 지속적 대조 발산 및 점수 매칭과 같은 기술을 개발했습니다. 점수 매칭은 로그 밀도의 기울기를 일치시켜 명시적 샘플링을 피하며, 이는 에너지 함수와 관련이 있습니다. 또 다른 확장은 데이터 증강을 사용하여 샘플 품질과 훈련 안정성을 개선하는 것입니다.
역사적 배경
에너지 기반 모델의 개념은 통계 물리학에 뿌리를 두고 있으며, 정준 앙상블은 열 평형 상태의 시스템에서 상태 분포를 설명합니다. 머신 러닝에의 적용은 1980년대 홉필드 네트워크와 볼츠만 머신으로 거슬러 올라갑니다. 2003년 힌턴의 볼츠만 머신은 딥 EBM 훈련에서 중요한 이정표를 표시했습니다. 그 이후로 EBM은 MIT CSAIL 및 스탠포드 AI 연구소와 같은 기관과 얀 르쿤과 같은 연구자들에 의해 연구되었습니다. 현대적 발전은 신경망 및 MCMC 방법의 발전에 의해 주도되었습니다.
미래 방향
2020년대 초반 현재 에너지 기반 모델은 특히 샘플링 효율성 개선 및 대규모 데이터 세트로의 확장 측면에서 활발한 연구 분야로 남아 있습니다. 이는 생성형 AI 시스템(예: 대규모 언어 모델)에 대한 원리적인 보완으로 간주되며, 불확실성과 제약 조건을 모델링하는 원칙적인 방법을 제공합니다. 연구자들은 EBM을 트랜스포머 및 기타 아키텍처와 결합하는 하이브리드 접근 방식과 강화 학습 및 로봇 공학에서의 응용을 탐구하고 있습니다.