Stable Diffusion은 2022년 8월에 출시된 딥러닝 기반 텍스트-이미지 모델로, 확산 기법을 기반으로 한다. Stability AI의 대표 제품이며, 지속적인 AI 붐의 일부로 간주된다. 이 모델은 텍스트 설명에 따라 세부 이미지를 생성하며, 인페인팅, 아웃페인팅, 텍스트 프롬프트에 따른 이미지-이미지 변환 작업도 지원한다. 개발에는 뮌헨 루트비히 막시밀리안 대학교(LMU Munich)의 CompVis 그룹과 Runway의 연구자들이 참여했으며, Stability AI의 컴퓨팅 기부와 비영리 단체의 훈련 데이터가 사용되었다.
Stable Diffusion은 잠재 확산 모델로, 딥 생성 인공 신경망의 한 유형이다. 코드와 모델 가중치는 공개되었으며, 최적화된 버전은 2.4GB VRAM만으로도 대부분의 소비자 하드웨어에서 실행된다. 이는 클라우드 서비스로만 접근 가능했던 DALL-E나 Midjourney 같은 독점 텍스트-이미지 모델과 달리, 개인 사용자와 연구자에게 널리 보급되게 했다.
개발
Stable Diffusion은 독일에서 LMU Munich와 하이델베르크 대학교 연구자들이 개발한 잠재 확산 프로젝트에서 시작되었다. 원래 저자 5명 중 4명인 Robin Rombach, Andreas Blattmann, Patrick Esser, Dominik Lorenz는 이후 Stability AI에 합류하여 후속 버전을 출시했다. 기술 라이선스는 LMU Munich의 CompVis 그룹이 공개했다. 개발은 Runway의 Patrick Esser와 CompVis의 Robin Rombach가 주도했으며, 이들은 앞서 잠재 확산 아키텍처를 발명했다. Stability AI는 또한 훈련 데이터셋을 구성한 독일 비영리 단체인 EleutherAI와 LAION을 프로젝트 후원자로 인정했다.
기술
아키텍처
2015년에 도입된 확산 모델은 훈련 이미지에 가우시안 노이즈를 연속적으로 제거하도록 훈련되며, 일련의 노이즈 제거 오토인코더로 작동한다. 이름은 열역학적 확산에서 유래했으며, 이 기법은 열역학에서 영감을 받았다. SD 3 이전의 Stable Diffusion 시리즈 모델은 2021년 LMU Munich의 CompVis 그룹이 개발한 잠재 확산 모델(LDM) 변형을 사용했다.
Stable Diffusion은 세 부분으로 구성된다: 변분 오토인코더(VAE), U-Net, 선택적 텍스트 인코더. VAE 인코더는 이미지를 픽셀 공간에서 더 작은 차원의 잠재 공간으로 압축하여 의미론적 의미를 포착한다. 가우시안 노이즈는 순방향 확산 동안 압축된 잠재 표현에 반복적으로 적용된다. ResNet 백본으로 구성된 U-Net 블록은 역방향으로 노이즈를 제거하여 잠재 표현을 얻는다. 마지막으로 VAE 디코더는 표현을 픽셀 공간으로 변환하여 최종 이미지를 생성한다.
노이즈 제거 단계는 텍스트, 이미지 또는 다른 양식에 조건화될 수 있다. 인코딩된 조건 데이터는 Cross-Attention 메커니즘을 통해 노이즈 제거 U-Net에 노출된다. 텍스트 조건화의 경우, 고정된 사전 훈련된 CLIP ViT-L/14 텍스트 인코더가 프롬프트를 임베딩 공간으로 변환한다. 연구자들은 LDM의 장점으로 훈련 및 생성의 계산 효율성 증가를 언급한다.
U-Net에 8억 6천만 개의 매개변수와 텍스트 인코더에 1억 2천 3백만 개의 매개변수를 가진 Stable Diffusion은 2022년 기준으로 비교적 가볍다. 다른 확산 모델과 달리 소비자 GPU에서 실행되며, OpenVINO 버전으로 CPU만으로도 실행 가능하다.
#### SD XL
XL 버전은 동일한 LDM 아키텍처를 사용하지만 더 크다: 더 큰 UNet 백본, 더 큰 크로스 어텐션 컨텍스트, 하나 대신 두 개의 텍스트 인코더, 정사각형만이 아닌 여러 종횡비로 훈련. 동시에 출시된 SD XL Refiner는 동일한 아키텍처를 가지지만 텍스트 조건 img2img를 통해 기존 이미지에 세부 사항을 추가하도록 훈련되었다.
#### SD 3.0
3.0 버전은 백본을 완전히 변경한다. Transformer (architecture) 아키텍처로 정류 흐름 방법을 구현하는 Rectified Flow Transformer를 사용한다. 아키텍처는 세 가지 트랙을 가진다: 원본 텍스트 인코딩, 변환된 텍스트 인코딩, 잠재 공간의 이미지 인코딩. 변환된 텍스트 인코딩과 이미지 인코딩은 각 트랜스포머 블록에서 혼합된다. 이를 "멀티모달 확산 트랜스포머(MMDiT)"라고 하며, 이전 DiT 버전에서 텍스트 인코딩이 이미지 인코딩에만 영향을 주었던 것과 달리, 작업 내에서 텍스트와 이미지 인코딩을 혼합한다는 의미에서 멀티모달이다.
훈련 데이터
Stable Diffusion은 Common Crawl 웹 스크랩에서 파생된 공개 데이터셋인 LAION-5B의 이미지-캡션 쌍으로 훈련되었다. 50억 개의 이미지-텍스트 쌍은 언어별로 분류되고, 해상도, 예측 워터마크 가능성, 예측 "미적" 점수로 필터링되어 데이터셋으로 나뉘었다. Stability AI로부터 자금을 받는 독일 비영리 단체인 LAION이 데이터셋을 만들었다. 모델은 laion2B-en, laion-high-resolution, laion-aesthetics v2 5+의 세 가지 하위 집합으로 훈련되었다.
1200만 개의 이미지로 구성된 더 작은 하위 집합에 대한 제3자 분석에 따르면 약 47%가 100개 도메인에서 왔으며, Pinterest가 8.5%를 차지하고 WordPress, Blogspot, Flickr, DeviantArt, Wikimedia Commons가 그 뒤를 이었다. Bayerischer Rundfunk의 조사에 따르면 Hugging Face에 호스팅된 LAION 데이터셋에는 많은 양의 개인 및 민감 데이터가 포함되어 있다.
훈련 절차
모델은 처음에 laion2B-en과 laion-high-resolution으로 훈련되었으며, 최종 라운드는 인간 미적 평가에서 최소 5점(10점 만점)을 받을 것으로 예측된 6억 개의 캡션 이미지 하위 집합인 LAION-Aesthetics v2 5+로 진행되었다. 이 하위 집합은 저해상도 이미지와 워터마크 감지 확률이 80% 이상인 이미지를 제외했다. 최종 훈련 라운드는 Classifier-Free Diffusion Guidance를 개선하기 위해 텍스트 조건화의 10%를 제거했다. 훈련은 Amazon Web Services에서 256개의 Nvidia A100 GPU를 사용하여 15만 GPU-시간 동안 진행되었으며, 비용은 60만 달러였다.
한계
Stable Diffusion은 복잡한 장면, 인간 해부학, 텍스트 렌더링에서 특히 저하 및 아티팩트 문제가 있다. 훈련 데이터의 편향, 즉 고정관념과 유해 콘텐츠를 재현할 수 있다. 모델은 손과 얼굴 같은 미세한 세부 사항에 어려움을 겪으며 종종 왜곡된 결과를 생성한다. 또한 여러 객체나 특정 공간 관계를 포함하는 구성적 프롬프트에 어려움이 있다. 2024년 기준으로 최신 버전은 일부 한계를 해결했지만 여전히 이러한 영역에서 과제를 안고 있다.
영향과 수용
2022년 8월 Stable Diffusion의 공개 출시는 생성 AI 윤리, 저작권, 예술 노동에 대한 광범위한 논의를 촉발했다. 오픈소스 특성 덕분에 개발자들은 기계 학습 실험, 데이터 증강, 창의적 워크플로우를 위한 도구를 만들 수 있었다. 소비자 하드웨어에서의 접근성은 AI 아트 커뮤니티와 상업적 애플리케이션의 급증에 기여했다. Stability AI는 2023년 SD XL과 2024년 SD 3.0을 포함한 후속 버전을 출시하여 품질과 기능을 개선했다. 이 모델은 또한 정책 논의에 영향을 주어 AI 규제와 콘텐츠 출처에 대한 논의로 이어졌다.