Stable Diffusion XL(SDXL)은 2023년 7월 Stability AI가 출시한 딥러닝 기반 텍스트-이미지 모델입니다. 이는 원래 Stable Diffusion 모델의 향상된 버전으로, 더 높은 해상도의 이미지를 더 큰 디테일과 구성 정확도로 생성하도록 설계되었습니다. SDXL은 더 넓은 생성형 AI 붐의 일부이며, 확산 모델의 중요한 발전을 나타내며, 고품질 이미지 합성을 더 많은 사용자에게 접근 가능하게 만들었습니다.
이 모델은 주로 텍스트 설명에 기반한 상세한 이미지 생성을 위해 사용되지만, 인페인팅, 아웃페인팅, 텍스트 프롬프트에 따른 이미지-이미지 변환과 같은 작업도 지원합니다. DALL-E 및 Midjourney와 같은 초기 독점 시스템이 클라우드 서비스로만 접근 가능했던 것과 달리, SDXL의 코드와 가중치는 공개적으로 출시되어 소비자 하드웨어에서도 적당한 GPU로 실행할 수 있게 했습니다. 이러한 개방성은 이전 텍스트-이미지 모델과의 차별점이었으며, Stable Diffusion 기술의 빠른 채택에 기여했습니다.
개발
SDXL은 뮌헨 루트비히 막시밀리안 대학교의 CompVis 그룹과 Runway의 연구자들과 협력하여 Stability AI가 개발했으며, Stability AI의 컴퓨팅 지원과 비영리 단체의 훈련 데이터를 사용했습니다. 이 프로젝트는 2021년 뮌헨 루트비히 막시밀리안 대학교와 하이델베르크 대학교의 연구자들(Robin Rombach, Andreas Blattmann, Patrick Esser, Dominik Lorenz 포함)이 발명한 잠재 확산 모델(LDM) 아키텍처를 기반으로 했습니다. 이 연구자들은 이후 Stability AI에 합류하여 Stable Diffusion의 후속 버전을 개발했습니다.
모델의 기술 라이선스는 CompVis 그룹이 출시했으며, 개발은 Runway의 Patrick Esser와 CompVis의 Robin Rombach가 주도했습니다. Stability AI는 또한 훈련 데이터셋을 구성한 독일 비영리 단체인 EleutherAI와 LAION을 지지자로 언급했습니다. SDXL의 출시는 2022년 원래 Stable Diffusion의 성공에 이어졌으며, 해상도와 디테일의 한계를 해결하는 것을 목표로 했습니다.
기술
아키텍처
SDXL은 2021년에 개발된 잠재 확산 모델(LDM)이라는 확산 모델 변형을 사용합니다. 2015년에 도입된 확산 모델은 훈련 이미지에서 가우시안 노이즈의 연속적인 적용을 제거하도록 훈련되며, 일련의 노이즈 제거 오토인코더로 기능합니다. "확산"이라는 이름은 열역학적 확산에서 유래했으며, 모델이 열역학에서 영감을 받았기 때문입니다.
SDXL은 세 가지 주요 부분으로 구성됩니다: 변분 오토인코더(VAE), U-Net, 선택적 텍스트 인코더입니다. VAE 인코더는 이미지를 픽셀 공간에서 더 작은 차원의 잠재 공간으로 압축하여 이미지의 의미론적 의미를 포착합니다. 가우시안 노이즈는 전방 확산 중에 압축된 잠재 표현에 반복적으로 적용됩니다. ResNet 백본으로 구성된 U-Net 블록은 출력을 노이즈 제거하여 잠재 표현을 얻습니다. 마지막으로 VAE 디코더는 표현을 다시 픽셀 공간으로 변환하여 최종 이미지를 생성합니다.
노이즈 제거 단계는 텍스트, 이미지 또는 다른 양식에 따라 조건화될 수 있습니다. 인코딩된 조건화 데이터는 교차 주의 메커니즘을 통해 노이즈 제거 U-Net에 노출됩니다. 텍스트 조건화의 경우 SDXL은 하나 대신 두 개의 텍스트 인코더를 사용하여 복잡한 프롬프트를 이해하는 모델의 능력을 향상시킵니다. 더 큰 교차 주의 컨텍스트와 다중 종횡비 훈련을 통해 SDXL은 이전 버전의 정사각형 형식뿐만 아니라 다양한 해상도로 이미지를 생성할 수 있습니다.
U-Net에 8억 6천만 개의 매개변수와 텍스트 인코더에 1억 2천 3백만 개의 매개변수를 가진 SDXL은 당시 다른 모델에 비해 상대적으로 가벼워 2.4GB VRAM만으로도 소비자 GPU에서 실행할 수 있습니다. 최적화된 버전은 OpenVINO를 사용하여 CPU 전용으로도 실행할 수 있습니다.
SD XL 리파이너
SDXL과 함께 Stability AI는 SD XL 리파이너를 출시했는데, 이는 동일한 아키텍처를 가지지만 텍스트 조건 이미지-이미지 변환을 통해 기존 이미지에 미세한 디테일을 추가하도록 특별히 훈련되었습니다. 이 리파이너 모델을 통해 사용자는 생성된 이미지를 반복적으로 향상시킬 수 있습니다.
훈련 데이터
SDXL은 웹에서 스크랩된 Common Crawl 데이터에서 파생된 공개 데이터셋인 LAION-5B의 이미지와 캡션 쌍으로 훈련되었습니다. 이 데이터셋에는 50억 개의 이미지-텍스트 쌍이 포함되어 있으며, 언어, 해상도, 워터마크 가능성, 미적 점수로 필터링되었습니다. 훈련에는 laion2B-en, laion-high-resolution, laion-aesthetics v2 5+의 세 가지 하위 집합이 사용되었습니다. 마지막 하위 집합에는 예측 미적 점수가 10점 만점에 5점 이상인 6억 개의 이미지가 포함되어 있으며, 저해상도 이미지와 워터마크가 있는 이미지는 제외되었습니다.
훈련 데이터에 대한 제3자 분석에 따르면 1,200만 개의 더 작은 하위 집합 중 약 47%가 100개의 다른 도메인에서 왔으며, Pinterest가 8.5%를 차지했고, WordPress, Blogspot, Flickr, DeviantArt, Wikimedia Commons가 그 뒤를 이었습니다. Bayerischer Rundfunk의 조사에 따르면 LAION의 데이터셋에는 대량의 개인 및 민감한 데이터가 포함되어 있어 개인정보 보호 문제가 제기되었습니다.
훈련 절차
모델은 처음에 laion2B-en과 laion-high-resolution으로 훈련되었으며, 마지막 라운드는 LAION-Aesthetics v2 5+로 진행되었습니다. 훈련은 분류기 없는 확산 안내를 개선하기 위해 텍스트 조건화의 10%를 제외했습니다. SDXL은 Amazon Web Services에서 256개의 Nvidia A100 GPU를 사용하여 총 150,000 GPU 시간 동안 훈련되었으며, 비용은 60만 달러였습니다.
한계
다른 확산 모델과 마찬가지로 SDXL에는 특정 시나리오에서 성능 저하 문제를 포함한 한계가 있습니다. 손이나 텍스트와 같은 미세한 디테일에 어려움을 겪을 수 있으며, 아티팩트를 생성할 수 있습니다. 모델의 훈련 데이터는 조사에서 지적된 대로 편향과 잠재적인 개인정보 문제를 도입합니다. 출시 당시 SDXL은 이전 버전에 비해 상당한 개선으로 간주되었지만, 최적의 결과를 위해서는 여전히 신중한 프롬프트 엔지니어링이 필요했습니다.
영향
SDXL의 출시는 고품질 텍스트-이미지 생성을 민주화함으로써 AI 붐에 기여했습니다. 공개적으로 사용 가능한 특성 덕분에 개발자와 예술가들은 예술 창작부터 디자인까지 다양한 응용 프로그램에 통합할 수 있었습니다. 모델의 아키텍처는 이후 잠재 확산 및 트랜스포머 기반 모델의 발전에 영향을 미쳤으며, U-Net을 정류 흐름 트랜스포머로 대체한 이후의 SD 3.0도 포함됩니다.
SDXL은 또한 저작권, 윤리, 생성형 AI의 사회적 영향에 대한 논의를 촉발했으며, 사실적인 이미지의 광범위한 생성을 가능하게 했습니다. 웹에서 수집된 훈련 데이터는 동의와 데이터 사용에 대한 질문을 제기하여 AI 커뮤니티에서 지속적인 논쟁으로 이어졌습니다.
같이 보기
- Stable Diffusion 공개 출시
- 확산 모델 논문
- CLIP
- 변분 오토인코더
- U-Net
- ResNet
- 주의 메커니즘
- LAION
- EleutherAI
- Runway
- Robin Rombach
- Stability AI