Stable Diffusion은 2022년 8월 Stability AI가 출시한 딥러닝 모델로, 텍스트 설명에서 상세한 이미지를 생성한다. 이 모델은 공개적으로 이용 가능한 최초의 고품질 텍스트-이미지 시스템 중 하나로 주목받았으며, 가중치와 소스 코드가 허용적 라이선스로 공개되었다. 이 모델은 생성형 AI 붐의 획기적인 사건이 되어 창의적 채택과 저작권, 윤리, 합성 미디어의 사회적 영향에 대한 논쟁을 동시에 촉발했다.
이 모델은 잠재 확산 아키텍처를 기반으로 구축되었으며, 이는 딥러닝 접근 방식의 한 유형으로 이미지를 저차원 잠재 공간으로 압축한 후 확산 과정을 적용한다. 이 설계 덕분에 소비자용 그래픽 카드에서 실행할 수 있었으며, 이는 클라우드 접근이 필요했던 OpenAI의 DALL-E 2와 같은 초기 시스템과 크게 달랐다. Stability AI는 버클리 AI 연구 그룹과 토론토 대학교의 연구자들과 협력하여 모델을 개발했으며, 대규모 이미지-텍스트 쌍 데이터셋으로 훈련되었다.
기술 아키텍처
Stable Diffusion은 U-Net 백본과 트랜스포머 기반 텍스트 인코더를 결합하여 텍스트 프롬프트에 따라 이미지 생성을 조건화한다. 텍스트 인코더인 CLIP 스타일 모델은 단어를 벡터 표현으로 변환하여 노이즈 제거 과정을 안내한다. 확산 과정은 일련의 단계(일반적으로 20~50단계)를 거쳐 무작위 노이즈를 일관된 이미지로 반복적으로 정제하며, 각 단계에서 학습된 일정에 따라 노이즈를 줄인다.
이 모델은 픽셀에 직접 작용하는 대신 압축된 잠재 공간에서 작동하므로 계산 비용과 메모리 사용량이 줄어든다. 이 잠재 확산 기법은 뮌헨 루트비히 막시밀리안 대학교와 하이델베르크 대학교의 연구자들이 도입했으며, 이를 통해 Stable Diffusion은 고급 소비자 하드웨어에서 1초 이내에 512x512 픽셀 이미지를 생성할 수 있었다. 오픈소스 릴리스에는 전체 모델 가중치가 포함되어 개발자가 인페인팅, 아웃페인팅, 스타일 전송과 같은 특수 작업에 맞춰 미세 조정할 수 있었다.
릴리스 및 접근성
Stability AI는 2022년 7월 연구자용 비공개 미리보기를 시작으로 2022년 8월 22일 공개 베타를 통해 Stable Diffusion을 단계적으로 출시했다. 이 모델은 허깅페이스 플랫폼을 통해 배포되었으며, 곧 가장 많이 다운로드된 모델 중 하나가 되었다. 많은 상업용 AI 서비스와 달리 Stable Diffusion은 사용자가 프롬프트를 서버로 보내지 않고 로컬에서 모델을 실행할 수 있게 해주었으며, 이는 프라이버시를 중시하는 사용자와 오프라인 도구를 구축하는 개발자에게 매력적이었다.
오픈소스 릴리스의 특성은 빠른 커뮤니티 혁신으로 이어졌다. 몇 주 안에 automatic1111과 invokeai와 같은 타사 인터페이스가 등장하여 사용자 친화적인 웹 인터페이스와 프롬프트 가중치, 시드 값 제어와 같은 고급 기능을 제공했다. 이 모델은 또한 애니메이션, 사실적인 초상화, 건축 렌더링에 특화된 버전을 포함한 많은 파생 모델의 기반이 되었다.
커뮤니티 및 생태계
Stable Diffusion의 출시는 창작자, 취미 사용자, 스타트업의 활기찬 생태계를 촉발했다. Civitai와 같은 플랫폼은 사용자가 맞춤 모델과 프롬프트를 공유할 수 있게 했으며, dreamstudio와 같은 서비스는 강력한 하드웨어가 없는 사용자에게 클라우드 기반 접근을 제공했다. 이 모델의 허용적 라이선스는 상업적 사용을 허용하여 그래픽 디자인 도구에서 비디오 게임 에셋 파이프라인에 이르는 제품에 통합되는 결과를 낳았다.
커뮤니티는 또한 프롬프트 엔지니어링 및 네거티브 프롬프트와 같은 생성 제어 기법을 개발하여 사용자가 일반적인 아티팩트를 피하고 원하는 스타일을 달성하도록 도왔다. 텍스트에서 이미지를 생성하는 모델의 능력은 컨셉 아트, 스토리보드, 신속한 프로토타이핑에 널리 사용되는 도구가 되었다. 2022년 말까지 Stable Diffusion은 인공지능 창의성과 디지털 아트의 미래에 대한 논의에서 표준적인 참조점이 되었다.
윤리 및 법적 논쟁
Stable Diffusion의 출시는 생성형 AI의 윤리에 대한 기존 논쟁을 심화시켰다. 예술가들은 모델이 동의 없이 인터넷에서 수집한 저작권 있는 이미지로 훈련되어 기존 작품의 요소를 재현할 수 있다는 우려를 제기했다. 이는 소송과 더 강력한 AI 윤리 지침에 대한 요구, 그리고 머신러닝 시대의 공정 사용과 창작자 권리에 대한 논의로 이어졌다.
정책 입안자와 연구자들은 또한 딥페이크와 허위 정보 생성과 같은 오용 가능성에 대해 우려했다. 이에 대응하여 Stability AI는 콘텐츠 필터를 구현하고 특정 프롬프트를 제한했지만, 이러한 조치는 완벽하지 않았다. 회사는 또한 대규모 모델 훈련의 환경 영향에 대한 비판을 받았지만, 잠재 확산 접근 방식은 초기 시스템에 비해 상대적으로 효율적이었다.
유산 및 영향
Stable Diffusion은 AI 이미지 생성에 대한 접근을 민주화하고, 이 분야를 틈새 연구 영역에서 주류 창의적 도구로 전환시킨 것으로 널리 인정받고 있다. 오픈소스 모델은 Midjourney와 Adobe Firefly를 포함한 유사한 릴리스의 물결에 영감을 주었으며, 텍스트-비디오 및 텍스트-3D 시스템 개발에 영향을 미쳤다. 이 모델의 아키텍처와 훈련 방법론은 업계 전반에 걸쳐 광범위하게 연구되고 적응되었다.
2024년 현재 Stable Diffusion은 생성형 AI 환경에서 여전히 기반 기술로 남아 있으며, Stability AI의 지속적인 업데이트와 대규모 기여자 커뮤니티가 이를 뒷받침하고 있다. 이 모델의 출시는 대중과 인공지능의 관계에 전환점을 표시했으며, 강력한 머신러닝 모델에 대한 개방적 접근의 창의적 잠재력과 도전 과제를 동시에 보여주었다.