2022년 8월, Stability AI는 확산 기법에 기반한 딥러닝 텍스트-이미지 모델인 Stable Diffusion을 공개적으로 출시했다. 이는 Stability AI의 대표 제품이며, 진행 중인 AI 붐의 핵심 부분으로 간주된다. Stable Diffusion은 주로 텍스트 설명에서 상세한 이미지를 생성하지만, 프롬프트에 따라 안내되는 Inpainting, 아웃페인팅, 이미지-이미지 변환과 같은 작업도 지원한다. 코드와 모델 가중치가 공개적으로 출시되어 2.4GB VRAM만으로도 대부분의 소비자 하드웨어에서 실행할 수 있는 버전이 가능해졌는데, 이는 클라우드 서비스로만 접근할 수 있었던 DALL-E 및 Midjourney와 같은 독점 모델과는 차별화된 점이다.
개발에는 뮌헨 루트비히 막시밀리안 대학교(LMU Munich)의 CompVis 그룹과 Runway의 연구자들이 참여했으며, Stability AI의 컴퓨팅 기부와 비영리 단체의 훈련 데이터가 사용되었다. 이 모델은 잠재 확산 모델(LDM)로, 일종의 심층 생성 인공 신경망이다. 그 아키텍처, 훈련 절차, 문화적 영향은 널리 연구되어 왔다.
개발
Stable Diffusion은 독일 뮌헨 루트비히 막시밀리안 대학교와 하이델베르크 대학교의 연구자들이 개발한 '잠재 확산'이라는 프로젝트에서 비롯되었다. 원래 5명의 저자 중 4명 - 로빈 롬바흐, 안드레아스 블라트만, 패트릭 에서, 도미니크 로렌츠 - 은 이후 Stability AI에 합류하여 후속 버전을 출시했다. 모델의 기술 라이선스는 뮌헨 루트비히 막시밀리안 대학교의 CompVis 그룹에서 출시되었다. 개발은 Runway의 패트릭 에서와 CompVis의 로빈 롬바흐가 주도했으며, 이들은 이전에 Stable Diffusion에 사용된 잠재 확산 모델 아키텍처를 발명한 연구자들 중 일부였다. Stability AI는 또한 EleutherAI와 Stable Diffusion 훈련에 사용된 데이터셋을 구성한 독일 비영리 단체인 LAION을 후원자로 언급했다.
기술
아키텍처
2015년에 도입된 확산 모델은 훈련 이미지에 가우시안 노이즈를 연속적으로 적용하는 것을 제거하도록 훈련되며, 일련의 노이즈 제거 오토인코더로 구성된다. '확산'이라는 이름은 열역학적 확산에서 유래했는데, 이 기법이 열역학에서 영감을 받았기 때문이다. SD 3 이전의 Stable Diffusion 시리즈 모델은 2021년 뮌헨 루트비히 막시밀리안 대학교의 CompVis 그룹이 개발한 '잠재 확산'이라는 변형을 사용했다.
Stable Diffusion은 세 부분으로 구성된다: 변분 오토인코더(VAE), U-Net, 선택적 텍스트 인코더. VAE 인코더는 이미지를 픽셀 공간에서 더 작은 차원의 잠재 공간으로 압축하여 근본적인 의미론적 의미를 포착한다. 가우시안 노이즈는 순방향 확산 동안 압축된 잠재 표현에 반복적으로 적용된다. ResNet 백본으로 구성된 U-Net은 출력을 역방향으로 노이즈 제거하여 잠재 표현을 얻는다. 그런 다음 VAE 디코더는 표현을 픽셀 공간으로 다시 변환하여 최종 이미지를 생성한다.
노이즈 제거 단계는 텍스트, 이미지 또는 다른 양식에 조건화될 수 있다. 인코딩된 조건화 데이터는 교차 주의 메커니즘을 통해 노이즈 제거 U-Net에 노출된다. 텍스트 조건화의 경우, 고정된 사전 훈련된 CLIP ViT-L/14 텍스트 인코더가 프롬프트를 임베딩 공간으로 변환한다. 연구자들은 LDM의 장점으로 계산 효율성 증가를 언급한다. U-Net에 8억 6천만 개의 매개변수와 텍스트 인코더에 1억 2,300만 개의 매개변수를 가진 Stable Diffusion은 2022년 기준으로 비교적 가벼우며, 소비자 GPU 또는 OpenVINO 버전을 사용하면 CPU 전용으로도 실행할 수 있다.
#### SD XL
XL 버전은 이전 버전과 동일한 LDM 아키텍처를 사용하지만 더 크며, 더 큰 U-Net 백본, 더 큰 교차 주의 컨텍스트, 하나 대신 두 개의 텍스트 인코더, 그리고 정사각형뿐만 아니라 다양한 종횡비로 훈련된다. 동시에 출시된 SD XL Refiner는 동일한 아키텍처를 가지지만 텍스트 조건부 img2img를 통해 기존 이미지에 미세한 디테일을 추가하도록 훈련되었다.
#### SD 3.0
3.0 버전은 백본을 완전히 변경하여 U-Net 대신 Rectified Flow Transformer를 사용하며, Transformer로 정류 흐름 방법을 구현한다. '다중 모달 확산 트랜스포머'(MMDiT)라는 이름의 이 아키텍처는 원본 텍스트 인코딩, 변환된 텍스트 인코딩, 잠재 공간의 이미지 인코딩의 세 가지 트랙을 가진다. 변환된 텍스트와 이미지 인코딩은 각 트랜스포머 블록에서 혼합된다. 이는 텍스트 인코딩이 이미지 인코딩에 영향을 주지만 그 반대는 아닌 이전 DiT 버전과 다르다.
훈련 데이터
Stable Diffusion은 Common Crawl 데이터에서 파생된 공개 데이터셋인 LAION-5B의 이미지와 캡션 쌍으로 훈련되었다. 50억 개의 이미지-텍스트 쌍은 언어, 해상도, 예측된 워터마크 가능성, 미적 점수로 필터링되었다. 이 데이터셋은 Stability AI로부터 자금을 지원받은 독일 비영리 단체인 LAION이 만들었다. 모델은 laion2B-en, laion-high-resolution, laion-aesthetics v2 5+의 세 가지 하위 집합으로 훈련되었다. 제3자 분석에 따르면 1,200만 개의 더 작은 하위 집합 중 약 47%가 100개 도메인에서 왔으며, Pinterest가 8.5%를 차지했고 WordPress, Blogspot, Flickr, DeviantArt, Wikimedia Commons가 그 뒤를 이었다. Bayerischer Rundfunk의 조사에 따르면 LAION의 데이터셋에는 대량의 개인 및 민감한 데이터가 포함되어 있었다.
훈련 절차
모델은 처음에 laion2B-en과 laion-high-resolution으로 훈련되었으며, 마지막 라운드는 미적 품질에서 5점 만점에 5점 이상을 받을 것으로 예측된 6억 개의 캡션 이미지 하위 집합인 LAION-Aesthetics v2 5+로 훈련되었다. 이 하위 집합은 저해상도 이미지와 80% 이상의 확률로 감지된 워터마크가 있는 이미지를 제외했다. 마지막 라운드에서는 분류기 없는 확산 안내를 개선하기 위해 텍스트 조건화의 10%를 제거했다. 훈련에는 Amazon Web Services에서 256개의 Nvidia A100 GPU를 사용하여 150,000 GPU-시간이 소요되었으며, 비용은 60만 달러였다.
한계
Stable Diffusion은 복잡한 구성, 손, 텍스트를 생성할 때 특히 저하 문제가 있다. 훈련 데이터에서 비롯된 편향을 나타낼 수 있으며, 예술 스타일을 복제하는 경향은 저작권 문제를 제기했다. 모델의 개방적 특성은 허위 정보나 비동의 이미지 생성과 같은 오용을 가능하게 하여 콘텐츠 조정과 윤리적 배포에 대한 논의를 촉발했다.
출시 및 가용성
2022년 8월 22일 Stability AI를 통한 공개 출시로 모델은 오픈 가중치로 제공되었다. 이는 폐쇄적이고 클라우드 전용이었던 DALL-E 및 Midjourney와 대조적이었다. Stable Diffusion은 다운로드하여 로컬에서 실행할 수 있었고, 빠른 채택과 미세 조정 버전의 확산으로 이어졌다. 최적화된 버전은 2.4GB VRAM만으로도 실행할 수 있는 적당한 GPU 사양을 요구하여 접근성을 넓혔다.
영향
Stable Diffusion은 AI 예술에 대한 대중의 참여를 촉진하여 커뮤니티와 도구를 탄생시켰다. 후속 모델 개발에 영향을 미쳤고 AI 붐에 기여했다. 오픈 가중치는 혁신을 촉진했지만 데이터 출처와 저작권에 대한 법적, 윤리적 질문도 제기했다.
후속 버전
초기 출시 이후 Stability AI는 SD 2.0, SD XL, SD 3.0을 포함한 개선된 버전을 출시했다. SD XL은 아키텍처 개선을 도입했고, SD 3.0은 트랜스포머 기반 백본을 채택했다. 이러한 버전은 공개 출시 패턴을 이어갔지만, 라이선스 변경과 상업적 사용에 대한 초점 변화가 지적되었다.
평가 및 논란
Stable Diffusion은 기술적 성과와 접근성으로 칭찬을 받았지만, 훈련 데이터 문제, 편향, 잠재적 오용에 대한 비판도 받았다. 예술가와 스톡 사진 기관의 법적 도전이 제기되면서 스크랩된 이미지에 대한 훈련의 합법성에 의문이 제기되었다. 이러한 논란은 생성 AI 정책에 대한 진행 중인 논쟁을 형성했다.