Stable Diffusion은 2022년 8월 22일에 공개적으로 출시된 텍스트-이미지 생성 모델로, 뮌헨 루트비히 막시밀리안 대학교의 CompVis 그룹 연구자들이 Stability AI 및 Runway와 협력하여 개발했으며, 잠재 확산 모델에 대한 기존 학술 연구를 기반으로 한다. 폐쇄형 경쟁 모델과 달리 오픈 가중치 모델로 출시된 점은 주류 생성 이미지 AI의 초기 역사에서 가장 중요한 출시 중 하나로 평가받게 했다.
기술적 접근
Stable Diffusion은 점진적 노이즈 과정을 역전시키는 학습 방식인 확산 모델 기술에 기반하지만, 픽셀에 직접 적용하는 대신 압축된 잠재 공간에서 이 과정을 수행한다는 점에서 차별화되며, 이 접근법은 Robin Rombach가 공동 저자로 참여한 "고해상도 이미지 합성과 잠재 확산 모델" 논문에서 설명되었다. 잠재 공간에서 작동함으로써 픽셀 공간 확산에 비해 모델 훈련 및 실행의 계산 비용이 크게 줄어들어 단일 소비자용 GPU에서 실행할 수 있게 되었으며, 이는 빠른 채택의 핵심 요인이 되었다. 텍스트 조건화는 CLIP에서 파생된 텍스트 인코더를 사용하여 제공되었으며, 이를 통해 모델이 자연어 프롬프트와 일치하는 이미지를 생성할 수 있었다.
출시와 개방성
당시 Emad Mostaque가 이끌던 Stability AI는 훈련용 컴퓨팅 자원을 지원하고 모델의 가중치를 허용적 라이선스(CreativeML Open RAIL-M) 하에 공개적으로 출시했으며, 누구나 로컬에서 실행할 수 있는 코드도 함께 제공했다. 이는 OpenAI의 DALL-E와 이후 Midjourney가 취한 폐쇄형 API 접근 방식과 의도적으로 대비되는 것이었다. 훈련 데이터는 주로 비영리 단체인 LAION이 구축한 LAION-5B 데이터셋에서 가져왔으며, 이는 웹에서 수집된 대규모 이미지-텍스트 쌍 모음으로, 이후 저작권 및 소수의 불법 콘텐츠 문제로 논란의 대상이 되었고 LAION은 이를 식별하고 제거하기 위해 노력했다.
생태계
Stable Diffusion의 오픈 출시는 비정상적으로 크고 빠르게 움직이는 커뮤니티 생태계를 촉발했다. 몇 달 안에 개발자들은 맞춤형 사용자 인터페이스, 확장 기능, 훈련 파이프라인을 구축했으며, 오픈 라이선스 덕분에 Hugging Face 및 Civitai와 같은 플랫폼에서 배포되는 커뮤니티 훈련 체크포인트와 스타일별 파인튜닝의 물결이 가능해졌다. LoRA 어댑터와 ControlNet과 같은 기술은 포즈, 가장자리, 깊이 맵에 대한 정밀한 조건화를 가능하게 했으며, 커뮤니티에 의해 개발되어 주류 워크플로우에 빠르게 통합되어 원래 출시 범위를 훨씬 넘어 모델의 실용적 능력을 확장했다. 이후 공식 버전(SD 2.0, SDXL, SD3)은 이미지 품질과 프롬프트 준수도를 개선했지만, 일부 업데이트, 특히 SD 2.0의 더 제한적인 훈련 데이터 필터링은 특정 기능을 저하시킨다며 커뮤니티의 반발을 불러일으켰다.
수용과 영향
Stable Diffusion은 고품질 이미지 생성에 대한 접근성을 대중화하고 AI와 저작권에 대한 공개 논쟁을 가속화한 것으로 널리 인정받고 있으며, 로컬 실행이 가능하여 API 게이트형 경쟁 모델보다 훨씬 단속하기 어려웠기 때문이다. 또한 훈련 데이터 동의에 대한 조사가 강화되어 아티스트와 Getty Images를 포함한 스톡 이미지 회사들의 소송에 기여했다. Stability AI 자체의 상업적 운명은 격동적이었으며, Mostaque는 자금 압박 속에서 2024년 CEO 자리에서 물러났지만, 기본 모델과 그 오픈 파생물은 계속 널리 사용되었고 FLUX와 같은 이후 오픈 진입자에 비해 영향력을 유지했다.