잠재 확산 모델(LDM)은 뮌헨 루트비히 막시밀리안 대학교의 컴퓨터 비전 및 학습(CompVis) 그룹에서 개발한 확산 모델 아키텍처이다. 이는 픽셀 공간에서 직접 확산 과정을 수행하는 대신 저차원 잠재 공간에서 수행하여 표준 확산 모델을 개선하며, 이는 계산 비용을 줄이고 고해상도 이미지의 효율적인 생성을 가능하게 한다. LDM은 또한 자기 주의(self-attention)와 교차 주의(cross-attention) 조건화를 통합하여 텍스트, 이미지 또는 기타 양식에 기반한 생성 출력에 대한 유연한 제어를 가능하게 한다.
확산 모델은 점진적 노이즈 추가 과정을 역전시키는 법을 학습하는 생성 모델 클래스로 2015년에 도입되었다. LDM 아키텍처는 2021년 12월 20일 arXiv에 게재되었으며, Stable Diffusion 및 LDM 저장소는 모두 GitHub에 공개되었다. LDM은 실제 확산 모델에서 널리 사용되며, 예를 들어 Stable Diffusion 버전 1.1~2.1은 LDM 아키텍처를 기반으로 한다.
아키텍처
LDM은 변분 오토인코더(VAE), 수정된 U-Net, 텍스트 인코더의 세 가지 주요 구성 요소로 이루어진다. VAE 인코더는 입력 이미지를 픽셀 공간에서 더 작은 잠재 공간으로 압축하여 의미론적 의미를 포착하면서 차원을 줄인다. 가우시안 노이즈는 순방향 확산 동안 이 압축된 잠재 표현에 반복적으로 적용된다. U-Net은 ResNet 백본 위에 구축되어 역방향 과정을 통해 잠재 표현의 노이즈를 제거한다. 마지막으로 VAE 디코더는 노이즈가 제거된 잠재 표현을 픽셀 공간으로 다시 변환하여 최종 이미지를 생성한다.
노이즈 제거 단계는 텍스트, 이미지 또는 기타 양식에 따라 조건화될 수 있다. 텍스트 조건화의 경우 사전 훈련된 CLIP ViT-L/14 텍스트 인코더가 텍스트 프롬프트를 임베딩 공간으로 변환하고, 이는 교차 주의 메커니즘을 통해 U-Net에 노출된다. 이를 통해 모델은 제공된 텍스트 설명과 일치하는 이미지를 생성할 수 있다.
변분 오토인코더
VAE는 먼저 이미지 데이터 세트로 훈련된다. 해당 인코더는 이미지를 입력으로 받아 저차원 잠재 표현을 출력하며, 이는 U-Net의 입력으로 사용된다. 훈련 후 인코더는 이미지를 압축하는 데 사용되고 디코더는 잠재 표현에서 이미지를 재구성한다.
구현된 버전에서 인코더는 끝부분 근처에 단일 자기 주의 메커니즘을 가진 합성곱 신경망(CNN)이다. 이는 (3, H, W) 형태의 텐서를 입력으로 받아 (8, H/8, W/8) 형태의 텐서를 출력하며, 이는 각각 (4, H/8, W/8) 형태의 잠재 벡터의 예측 평균과 분산을 연결한 것이다. 훈련 중에는 분산이 사용되지만 추론 시에는 일반적으로 평균만 유지된다. 디코더는 또한 단일 자기 주의 메커니즘을 가진 CNN으로, (4, H/8, W/8) 텐서를 (3, H, W)로 다시 매핑한다.
U-Net
U-Net 백본은 VAE 인코더의 잠재 이미지 배열, 현재 노이즈 수준을 나타내는 시간 단계 임베딩, 텍스트 인코더의 조건화 임베딩 등 여러 입력을 처리한다. U-Net은 잠재 표현에 추가된 노이즈를 예측하도록 훈련되어 반복적으로 노이즈를 제거할 수 있다. 이 아키텍처는 잔차 블록과 주의 계층을 통합하여 로컬 및 글로벌 맥락을 모두 처리할 수 있다.
훈련 및 조건화
LDM은 노이즈 제거 목표로 훈련된다. 즉, 노이즈가 있는 잠재 표현이 주어지면 모델은 원래 노이즈를 예측하는 법을 학습한다. 훈련 과정은 예측된 노이즈와 실제 노이즈 간의 차이를 측정하는 손실 함수를 사용한다. 조건화는 교차 주의 계층을 통해 통합되며, 여기서 텍스트 임베딩은 노이즈 제거 과정을 조절하는 데 사용된다. 이 접근 방식은 분류기 없는 안내(classifier-free guidance)를 지원하며, 모델은 조건화 유무 모두로 훈련되고 추론 시 조건화를 증폭하여 프롬프트에 대한 준수를 개선한다.
응용 및 영향
LDM은 텍스트-이미지 생성을 위한 기초 아키텍처가 되었다. 저명한 오픈 소스 모델인 Stable Diffusion은 LDM 아키텍처를 사용한다. 버전 1.1~1.4는 2022년 8월 CompVis에 의해 출시되었으며, 각 버전은 점점 더 심미적인 이미지로 미세 조정되었다. 2022년 10월 RunwayML이 출시한 Stable Diffusion 1.5는 분류기 없는 안내를 개선하기 위해 텍스트 조건화의 10% 드롭아웃을 통합했다. 잠재 공간 확산의 효율성 덕분에 이러한 모델을 소비자 하드웨어에서 실행할 수 있게 되어 생성형 AI에 대한 접근이 민주화되었다.
관련 발전
확산 모델은 비평형 열역학에 대한 초기 연구에서 진화했다. 2019년 논문은 노이즈 조건부 점수 네트워크(NCSN)를 도입했으며, 이는 랑주뱅 역학을 통한 점수 매칭(SMLD)이라고도 하며 PyTorch 구현이 포함되었다. 2020년 논문은 변분 추론을 통해 훈련을 개선한 노이즈 제거 확산 확률 모델(DDPM)을 제안했으며 TensorFlow로 출시되었다. LDM은 확산 과정을 잠재 공간으로 이동시켜 메모리와 계산 요구 사항을 줄이면서 높은 출력 품질을 유지하는 이러한 기반 위에 구축되며, 이는 핵심 혁신이다.
LDM은 생성형 AI의 더 넓은 분야의 일부이며, 여기에는 대규모 언어 모델 및 기타 딥러닝 아키텍처도 포함된다. 교차 주의 및 U-Net 백본의 사용은 LDM을 신경망 설계의 발전과 연결한다. 2025년 현재 잠재 확산은 상업용 및 오픈 소스 이미지 생성 시스템에서 표준 접근 방식으로 남아 있으며, 효율성, 제어 가능성 및 충실도 개선에 초점을 맞춘 지속적인 연구가 진행 중이다.