확산 모델(diffusion models)은 확산 기반 생성 모델 또는 점수 기반 생성 모델이라고도 불리며, 기계 학습 분야의 잠재 변수 생성 모델 클래스이다. 이 모델은 두 가지 주요 구성 요소로 이루어져 있다: 데이터에 점진적으로 노이즈를 추가하는 순방향 확산 과정과 노이즈를 제거하는 방법을 학습하는 역방향 샘플링 과정이다. 목표는 주어진 데이터셋에 대한 확산 과정을 학습하여 원본 데이터와 유사하게 분포된 새로운 요소를 생성할 수 있도록 하는 것이다. 훈련된 확산 모델은 다양한 방식으로 샘플링할 수 있으며, 효율성과 품질 사이에 서로 다른 절충점이 있다.
확산 모델은 2015년에 도입되었으며, 비평형 열역학의 기법을 활용한다. 핵심 아이디어는 데이터의 분포를 고차원 공간의 "구름"으로 모델링하는 것이다. 노이즈를 반복적으로 추가함으로써 이 구름은 바깥으로 확산되어 가우시안 분포와 거의 구별할 수 없게 된다. 이 확산을 대략적으로 되돌리도록 훈련된 모델은 무작위 노이즈에서 시작하여 반복적으로 노이즈를 제거함으로써 원래 분포에서 새로운 샘플을 생성할 수 있다.
형식화와 훈련
확산 모델에는 마르코프 체인, 노이즈 제거 확산 확률 모델(DDPM), 노이즈 조건 점수 네트워크, 확률 미분 방정식 등 여러 동등한 형식화가 있다. 이들은 일반적으로 변분 추론을 사용하여 훈련된다. 노이즈 제거를 담당하는 모델을 "백본(backbone)"이라고 하며, 어떤 아키텍처든 될 수 있지만 일반적으로 U-Net 또는 트랜스포머가 사용된다. 2020년 DDPM 논문은 확산 과정에 변분 추론을 적용하여 이전 방법을 개선했다.
컴퓨터 비전에서의 응용
2024년 기준으로 확산 모델은 주로 컴퓨터 비전 작업에 사용되며, 이미지 노이즈 제거, 인페인팅, 초해상도, 이미지 생성, 비디오 생성 등을 포함한다. 이러한 작업은 일반적으로 가우시안 노이즈로 흐려진 이미지를 순차적으로 노이즈 제거하도록 신경망을 훈련하는 것을 포함한다. 수렴할 때까지 훈련한 후, 모델은 무작위 노이즈에서 시작하여 네트워크를 반복적으로 적용하여 노이즈를 제거함으로써 이미지를 생성할 수 있다. 확산 기반 이미지 생성기는 Stable Diffusion과 DALL-E와 같은 주목할 만한 사례와 함께 상업적으로 광범위한 관심을 받았다. 이러한 시스템은 종종 확산 모델을 텍스트 인코더 및 교차 주의 모듈과 결합하여 텍스트 조건 생성을 가능하게 한다.
다른 영역
컴퓨터 비전 외에도 확산 모델은 자연어 처리(예: 텍스트 생성 및 요약), 소리 생성, 강화 학습과 같은 분야에서 응용되고 있다. 이러한 다재다능함은 확산 모델을 생성형 AI 연구의 핵심 영역으로 만들었다.
다른 생성 모델과의 관계
확산 모델은 대규모 언어 모델 및 기타 접근 방식을 포함하는 더 넓은 생성 모델 환경의 일부이다. 대규모 언어 모델은 일반적으로 자기회귀 또는 트랜스포머 기반 아키텍처에 의존하는 반면, 확산 모델은 이미지와 오디오 같은 연속 데이터에 특히 효과적인 대안적 패러다임을 제공한다. U-Net 또는 트랜스포머 중 백본 선택을 통해 확산 모델은 딥러닝 및 신경망 연구의 발전을 활용할 수 있다.
미래 방향
연구는 새로운 샘플링 방법, 백본 아키텍처 및 응용을 탐구하면서 확산 모델의 효율성과 품질을 개선하는 데 계속 초점을 맞추고 있다. OpenAI, Google DeepMind, Anthropic과 같은 기관에서 개발된 다른 AI 시스템과 확산 모델의 통합은 인공지능 분야에서 추가 혁신을 주도할 가능성이 높다.