Stable Diffusion은 2022년 8월에 출시된 딥러닝 기반 텍스트-이미지 모델로, 뮌헨 루트비히 막시밀리안 대학교(LMU Munich)의 CompVis 그룹과 Runway의 연구진이 개발했으며, Stability AI가 계산 지원을, 비영리 단체들이 훈련 데이터를 제공했다. 이 모델은 잠재 확산 모델(latent diffusion model)로, 심층 생성 인공 신경망의 한 유형이며, Stability AI의 대표 제품으로 간주되어 현재 진행 중인 AI 붐에 기여하고 있다. 모델의 코드와 가중치는 공개적으로 배포되어, 소비자용 하드웨어에서도 최소 2.4GB VRAM의 modest GPU로 실행할 수 있었으며, 이는 클라우드 서비스로만 접근 가능했던 DALL-E나 Midjourney 같은 독점 모델과는 차별화된 점이었다.
주요 사용 사례는 텍스트 설명에 따라 상세한 이미지를 생성하는 것이지만, 인페인팅(inpainting), 아웃페인팅(outpainting), 텍스트 프롬프트에 따른 이미지-이미지 변환 작업도 지원한다. 오픈소스 특성과 효율성 덕분에 디지털 아트부터 연구에 이르기까지 다양한 응용 분야에서 빠르게 채택되었다.
개발
Stable Diffusion은 독일에서 뮌헨 루트비히 막시밀리안 대학교와 하이델베르크 대학교 연구진이 개발한 잠재 확산(latent diffusion) 프로젝트에서 시작되었다. 원래 저자 5명 중 4명(로빈 롬바흐, 안드레아스 블라트만, 패트릭 에서, 도미니크 로렌츠)은 이후 Stability AI에 합류하여 후속 버전을 출시했다. 기술 라이선스는 뮌헨 루트비히 막시밀리안 대학교의 CompVis 그룹이 발표했다. 개발은 Runway의 패트릭 에서와 CompVis의 로빈 롬바흐가 주도했으며, 이들은 잠재 확산 아키텍처의 발명가 중 한 명이었다. Stability AI는 또한 훈련 데이터셋을 구성한 독일 비영리 단체인 EleutherAI와 LAION을 지원자로 언급했다.
기술
아키텍처
2015년에 도입된 확산 모델(diffusion model)은 훈련 이미지에 가우시안 노이즈를 연속적으로 적용하는 것을 제거하도록 훈련되며, 일련의 노이즈 제거 오토인코더(denoising autoencoder)로 작동한다. 이름은 열역학적 확산에서 유래했으며, 열역학에서 영감을 받았다. Stable Diffusion은 2021년 CompVis 그룹이 개발한 잠재 확산 모델(LDM)이라는 변형을 사용한다.
이 모델은 세 부분으로 구성된다: 변형 오토인코더(VAE), U-Net, 선택적 텍스트 인코더. VAE 인코더는 이미지를 픽셀 공간에서 더 작은 잠재 공간으로 압축하여 의미론적 의미를 포착한다. 순방향 확산 과정에서 압축된 잠재 표현에 가우시안 노이즈가 반복적으로 적용된다. ResNet 백본으로 구성된 U-Net은 출력을 노이즈 제거하여 잠재 표현을 얻는다. 마지막으로 VAE 디코더는 표현을 픽셀 공간으로 다시 변환하여 최종 이미지를 생성한다.
노이즈 제거 단계는 교차 주의(cross-attention) 메커니즘을 통해 텍스트, 이미지 또는 기타 양식에 조건화될 수 있다. 텍스트 조건화의 경우, 고정된 사전 훈련된 CLIP ViT-L/14 텍스트 인코더가 프롬프트를 임베딩 공간으로 변환한다. LDM은 훈련 및 생성 시 계산 효율성을 높여준다. U-Net에 8억 6천만 개의 매개변수, 텍스트 인코더에 1억 2천 3백만 개의 매개변수를 가진 Stable Diffusion은 2022년 기준으로 비교적 가벼워서 소비자용 GPU에서 실행할 수 있었고, OpenVINO 버전을 사용하면 CPU 전용으로도 실행할 수 있었다.
SD XL
XL 버전은 동일한 LDM 아키텍처를 사용하지만 더 크다: 더 큰 UNet 백본, 더 큰 교차 주의 컨텍스트, 하나 대신 두 개의 텍스트 인코더, 그리고 여러 종횡비로 훈련되었다. 동시에 출시된 SD XL Refiner는 동일한 아키텍처를 사용하지만 텍스트 조건부 img2img를 통해 기존 이미지에 세부 사항을 추가하도록 훈련되었다.
SD 3.0
3.0 버전은 백본을 완전히 변경하여 UNet 대신 Rectified Flow Transformer를 사용한다. Transformer 아키텍처는 세 개의 트랙으로 구성된다: 원본 텍스트 인코딩, 변환된 텍스트 인코딩, 이미지 인코딩(잠재 공간). 변환된 텍스트 인코딩과 이미지 인코딩은 각 트랜스포머 블록에서 혼합된다. 이 아키텍처는 "멀티모달 확산 트랜스포머(MMDiT)"라고 불리며, 여기서 "멀티모달"은 작업 내부에서 텍스트와 이미지 인코딩을 혼합한다는 의미로, 텍스트 인코딩이 이미지 인코딩에만 영향을 미치는 이전 DiT 버전과는 다르다.
훈련 데이터
Stable Diffusion은 Common Crawl 데이터에서 파생된 공개 데이터셋인 LAION-5B의 이미지-캡션 쌍으로 훈련되었다. 이 데이터셋은 언어, 해상도, 워터마크 가능성, 예측된 미적 점수로 필터링된 50억 개의 이미지-텍스트 쌍을 포함한다. 데이터셋은 Stability AI가 자금을 지원한 독일 비영리 단체인 LAION이 만들었다. 모델은 세 가지 하위 집합으로 훈련되었다: laion2B-en, laion-high-resolution, laion-aesthetics v2 5+. 1,200만 개 이미지의 더 작은 하위 집합에 대한 제3자 분석에 따르면 약 47%가 100개의 서로 다른 도메인에서 왔으며, Pinterest가 8.5%로 가장 많았고, 그 다음으로 WordPress, Blogspot, Flickr, DeviantArt, Wikimedia Commons가 뒤를 이었다. Bayerischer Rundfunk의 조사에 따르면 Hugging Face에 호스팅된 LAION 데이터셋에는 대량의 개인 및 민감 데이터가 포함되어 있다.
훈련 절차
모델은 처음에 laion2B-en과 laion-high-resolution으로 훈련되었으며, 마지막 라운드는 미적 품질에서 5점 만점에 5점 이상을 받을 것으로 예측된 6억 개의 캡션 이미지 하위 집합인 LAION-Aesthetics v2 5+로 진행되었다. 이 하위 집합은 저해상도 이미지와 워터마크 확률이 80%를 초과하는 이미지를 제외했다. 마지막 훈련 라운드에서는 Classifier-Free Diffusion Guidance를 개선하기 위해 텍스트 조건화의 10%를 제거했다. 모델은 Amazon Web Services에서 256개의 Nvidia A100 GPU를 사용하여 총 150,000 GPU-시간 동안 훈련되었으며, 비용은 60만 달러였다.
한계
Stable Diffusion에는 알려진 한계가 있다: 복잡한 장면 처리의 어려움, 해부학적 부정확성(예: 손), 훈련 데이터의 편향 등이 포함된다. 또한 데이터셋에 존재하는 사회적 편향을 반영한 이미지를 생성할 수 있다. 모델은 텍스트 렌더링과 세부 사항 처리에 어려움을 겪을 수 있으며, 성능은 프롬프트에 따라 다르다. 2024년 기준으로, 미세 조정과 아키텍처 개선을 통해 이러한 문제를 해결하는 연구가 진행 중이다.
영향 및 채택
2022년 8월 Stable Diffusion의 공개 출시는 생성형 AI에 중요한 전환점을 마련했으며, 고품질 텍스트-이미지 생성이 광범위한 사용자에게 접근 가능해졌다. 오픈소스 라이선스 덕분에 개발자들은 아트 도구부터 교육 플랫폼에 이르기까지 다양한 응용 프로그램에 통합할 수 있었다. 모델의 효율성은 소비자 하드웨어에서 실행을 가능하게 하여 취미 사용자와 연구자 커뮤니티를 조성했다. 이 출시는 또한 저작권, 윤리, AI 생성 콘텐츠의 잠재적 오용에 대한 논의를 촉발했다. Stability AI는 SD XL과 SD 3.0 같은 개선된 버전을 계속 출시하며 빠르게 진화하는 인공지능 분야에서 입지를 유지했다.
향후 방향
Stable Diffusion의 후속 버전은 SD 3.0의 Rectified Flow Transformer와 같은 다양한 아키텍처를 탐구하여 품질과 효율성을 개선하는 것을 목표로 했다. 편향 감소, 제어 가능성 향상, 다른 양식과의 통합에 대한 연구가 계속되고 있다. 모델의 성공은 다른 머신 러닝 프로젝트에 영향을 미쳤으며, 딥러닝과 신경망에 대한 함의를 지닌 더 넓은 AI 붐에 기여했다. 2025년 현재, Stable Diffusion은 텍스트-이미지 생성의 벤치마크로 남아 있으며, 지속적인 커뮤니티 및 기업 개발이 진행 중이다.