잠재 확산 모델(LDM)은 확산 모델 프레임워크를 확장하여 픽셀 공간에서 직접 작동하는 대신 더 낮은 차원의 잠재 공간에서 작동하는 생성 모델의 한 유형이다. 뮌헨 루트비히 막시밀리안 대학교의 컴퓨터 비전 및 학습(CompVis) 그룹에서 개발한 LDM은 2021년 12월 20일 arXiv에 게재된 논문에서 소개되었다. 이는 계산 비용을 줄이면서 고품질 이미지 합성을 유지하여 표준 확산 모델보다 개선되었으며, 자기 주의 및 교차 주의 메커니즘을 통한 조건화를 지원한다. LDM은 실제 확산 모델에서 널리 사용되며, 예를 들어 Stable Diffusion 버전 1.1~2.1은 LDM 아키텍처를 기반으로 했다.
LDM 아키텍처는 변분 오토인코더(VAE), 수정된 U-Net, 텍스트 인코더의 세 가지 주요 구성 요소로 이루어져 있다. VAE는 이미지를 잠재 공간으로 압축하고, U-Net은 해당 잠재 공간에서 노이즈 제거를 수행하며, 텍스트 인코더는 조건화 정보를 제공한다. 이러한 설계 덕분에 모델은 텍스트 프롬프트에서 이미지를 효율적으로 생성할 수 있으며, 현대 AI 이미지 생성의 초석이 되었다.
배경 및 개발
확산 모델은 2015년 비평형 열역학의 원리를 사용하여 복잡한 확률 분포에서 샘플링하는 방법을 학습하는 방식으로 처음 소개되었다. 2019년 논문에서는 PyTorch로 구현된 노이즈 조건부 점수 네트워크(NCSN), 즉 랑주뱅 역학을 이용한 점수 매칭(SMLD)을 제안했다. 2020년에는 변분 추론을 사용하여 이러한 방법을 개선한 노이즈 제거 확산 확률 모델(DDPM)이 TensorFlow로 참조 구현되었다.
LDM 논문은 2021년 12월 20일 arXiv에 게시되었으며, Stable Diffusion 및 LDM 저장소가 GitHub에 공개되었다. 이 아키텍처는 Stable Diffusion 버전 1.1~2.1이 채택하면서 두각을 나타냈다. Stable Diffusion 1.1은 LAION-2B-en 데이터셋으로 훈련되었으며, 이후 버전은 미적 품질 향상과 분류기 없는 안내를 위해 미세 조정되었다. Stable Diffusion 1.5는 2022년 10월 RunwayML에서 출시되었다.
아키텍처 개요
LDM은 압축된 잠재 공간에서 작동하여 데이터의 차원을 줄이고 훈련 및 추론 속도를 높인다. 이 과정은 VAE 인코더가 입력 이미지를 픽셀 공간에서 잠재 표현으로 압축하면서 시작된다. 그런 다음 순방향 확산 중에 가우시안 노이즈가 이 잠재 표현에 반복적으로 적용된다. ResNet 백본으로 구성된 U-Net은 역방향으로 잠재 표현의 노이즈를 제거하고, 마지막으로 VAE 디코더가 노이즈가 제거된 잠재 표현을 다시 픽셀 공간으로 변환한다.
노이즈 제거 단계는 텍스트, 이미지 또는 기타 데이터와 같은 다양한 양식으로 조건화할 수 있다. 텍스트 조건화의 경우 사전 훈련된 CLIP ViT-L/14 텍스트 인코더가 텍스트 프롬프트를 임베딩 공간으로 변환하며, 이는 교차 주의 메커니즘을 통해 U-Net에 노출된다. 이를 통해 모델은 제공된 텍스트 설명과 일치하는 이미지를 생성할 수 있다.
변분 오토인코더
VAE는 이미지 데이터셋에서 압축된 잠재 표현을 학습하도록 훈련된다. 인코더는 (3, 512, 512) 형태의 RGB 이미지를 받아 잠재 벡터를 대략적으로 백색화하기 위해 0.18215의 스케일링 계수를 적용한 후 (4, 64, 64) 형태의 잠재 텐서를 출력한다. 디코더는 이 과정을 역으로 수행하여 잠재 텐서를 받아 이미지를 생성하며, 0.18125의 스케일링 계수를 적용하고 [0, 1] 범위로 클리핑한다.
인코더는 끝부분 근처에 단일 자기 주의 메커니즘이 있는 합성곱 신경망(CNN)이다. 이는 각각 (4, H/8, W/8) 형태의 잠재 벡터에 대한 예측 평균과 분산의 연결을 출력한다. 훈련 중에는 분산이 사용되지만, 추론 시에는 일반적으로 평균만 유지된다. 디코더는 유사한 자기 주의 구조를 가진 CNN으로, 잠재 텐서를 다시 이미지로 변환한다.
U-Net
U-Net 백본은 노이즈 제거의 핵심 구성 요소이다. 이는 VAE 인코더가 생성한 잠재 이미지 배열과 텍스트 임베딩과 같은 조건화 정보를 입력으로 받는다. U-Net은 순방향 확산 중에 추가된 노이즈를 예측하도록 설계되어, 모델이 반복적으로 노이즈를 제거하고 원래 잠재 표현을 복구할 수 있게 한다. 이 아키텍처는 잔차 연결과 주의 메커니즘을 포함하여 데이터의 복잡한 의존성을 처리할 수 있다.
응용 및 영향
잠재 확산 모델은 특히 Stable Diffusion과 같은 많은 텍스트-이미지 시스템의 기반이 되었다. 잠재 공간에서 작동하여 얻은 효율성 덕분에 이러한 모델은 소비자 하드웨어에서 실행될 수 있어 AI 이미지 생성에 대한 접근성을 대중화했다. 이 아키텍처는 인페인팅, 초해상도, 비디오 생성과 같은 다른 작업에도 적용되어 그 versatility를 입증했다.
한계 및 향후 방향
성공에도 불구하고 LDM은 훈련을 위한 계산 요구 사항, 생성된 콘텐츠의 잠재적 편향, 조건화 메커니즘의 세심한 조정 필요성과 같은 과제에 직면해 있다. 연구는 더 효율적인 주의 메커니즘과 더 나은 잠재 공간 표현을 포함하여 아키텍처를 개선하는 방향으로 계속되고 있다. 2020년대 초반 현재 LDM은 머신 러닝 및 컴퓨터 비전 분야의 핵심 연구 영역으로 남아 있으며, 학계와 산업계 연구소의 지속적인 기여가 이루어지고 있다.