Stable Diffusion XL（SDXL）は、2023年7月にStability AIがリリースした深層学習によるテキストから画像を生成するモデルです。これは元のStable Diffusionモデルの強化版であり、より高解像度の画像を、より高い詳細度と構図の正確さで生成するように設計されています。SDXLは、より広範なGenerative AIブームの一部であり、拡散モデルにおける重要な進歩を表しており、高品質な画像合成をより幅広いユーザーに利用可能にしました。
このモデルは主に、テキスト記述に基づいて詳細な画像を生成するために使用されますが、Inpainting、アウトペインティング、テキストプロンプトによる画像間変換などのタスクもサポートしています。DALL-EやMidjourneyのような初期のプロプライエタリなシステムはクラウドサービス経由でのみ利用可能でしたが、SDXLのコードと重みは公開されており、一般的なGPUを搭載したコンシューマーハードウェアで実行できます。このオープン性は、従来のテキストから画像を生成するモデルからの脱却を示し、Stable Diffusion技術の急速な採用に貢献しました。
開発
SDXLは、Stability AIがミュンヘン大学のCompVisグループとRunwayの研究者と協力して開発し、Stability AIが計算サポートを、非営利団体がトレーニングデータを提供しました。このプロジェクトは、2021年にミュンヘン大学とハイデルベルク大学の研究者（Robin Rombach、Andreas Blattmann、Patrick Esser、Dominik Lorenzを含む）によって発明された潜在拡散モデル（LDM）アーキテクチャに基づいています。これらの研究者は後にStability AIに加わり、Stable Diffusionの後続バージョンを開発しました。
モデルの技術ライセンスはCompVisグループによってリリースされ、開発はRunwayのPatrick EsserとCompVisのRobin Rombachが主導しました。Stability AIはまた、トレーニングデータセットを構築したドイツの非営利団体であるEleutherAIとLAIONを支援者として挙げています。SDXLのリリースは、2022年の元のStable Diffusionの成功に続くものであり、解像度と詳細度の制限に対処することを目的としていました。
技術
アーキテクチャ
SDXLは、2021年に開発された潜在拡散モデル（LDM）と呼ばれる拡散モデルの変種を使用しています。2015年に導入された拡散モデルは、トレーニング画像からガウスノイズの連続的な適用を除去するようにトレーニングされており、一連のノイズ除去オートエンコーダーとして機能します。「拡散」という名前は熱力学的拡散に由来しており、モデルは熱力学に触発されています。
SDXLは、変分オートエンコーダー（VAE）、U-Net、オプションのテキストエンコーダーの3つの主要部分で構成されています。VAEエンコーダーは、画像をピクセル空間からより小さな次元の潜在空間に圧縮し、画像の意味的意味を捉えます。前方拡散中に、ガウスノイズが圧縮された潜在表現に反復的に適用されます。ResNetバックボーンで構成されるU-Netブロックは、出力をノイズ除去して潜在表現を取得します。最後に、VAEデコーダーが表現をピクセル空間に変換して最終画像を生成します。
ノイズ除去ステップは、テキスト、画像、または別のモダリティによって条件付けできます。エンコードされた条件付けデータは、クロスアテンション機構を介してノイズ除去U-Netに公開されます。テキスト条件付けの場合、SDXLは1つではなく2つのテキストエンコーダーを使用し、複雑なプロンプトを理解するモデルの能力を向上させます。より大きなクロスアテンションコンテキストとマルチアスペクト比トレーニングにより、SDXLは以前のバージョンの正方形形式だけでなく、さまざまな解像度で画像を生成できます。
U-Netに8億6000万パラメータ、テキストエンコーダーに1億2300万パラメータを持つSDXLは、当時の他のモデルと比較して比較的軽量であり、わずか2.4 GBのVRAMを搭載したコンシューマーGPUで実行できます。最適化されたバージョンは、OpenVINOを使用してCPUのみでも実行できます。
SD XLリファイナー
SDXLと並んで、Stability AIはSD XLリファイナーをリリースしました。これは同じアーキテクチャを持ちますが、テキスト条件付きの画像間変換を介して既存の画像に微細な詳細を追加することに特化してトレーニングされています。このリファイナーモデルにより、ユーザーは生成された画像を反復的に強化できます。
トレーニングデータ
SDXLは、ウェブからスクレイピングされたCommon Crawlデータから派生した公開データセットであるLAION-5Bの画像とキャプションのペアでトレーニングされました。データセットには50億の画像とテキストのペアが含まれており、言語、解像度、透かしの可能性、美的スコアでフィルタリングされています。トレーニングには、laion2B-en、laion-high-resolution、laion-aesthetics v2 5+の3つのサブセットが使用されました。最後のサブセットには、予測美的スコアが10点中5点以上の6億枚の画像が含まれており、低解像度の画像や透かしのある画像は除外されています。
トレーニングデータの第三者分析により、1200万枚の小さなサブセットの約47%が100の異なるドメインからのものであり、Pinterestが8.5%を占め、WordPress、Blogspot、Flickr、DeviantArt、Wikimedia Commonsがそれに続くことが明らかになりました。バイエルン放送局の調査では、LAIONのデータセットに大量のプライベートで機密性の高いデータが含まれていることが判明し、プライバシーに関する懸念が生じました。
トレーニング手順
モデルは最初にlaion2B-enとlaion-high-resolutionでトレーニングされ、最終ラウンドはLAION-Aesthetics v2 5+で行われました。トレーニングでは、分類器なしの拡散ガイダンスを改善するために、テキスト条件付けの10%が削除されました。SDXLは、Amazon Web Services上の256台のNvidia A100 GPUを使用して、合計15万GPU時間、コスト60万ドルでトレーニングされました。
制限事項
他の拡散モデルと同様に、SDXLには制限があり、特定のシナリオでの劣化の問題が含まれます。手やテキストなどの微細な詳細に苦労する可能性があり、アーティファクトを生成することがあります。モデルのトレーニングデータは、調査で指摘されているように、バイアスや潜在的なプライバシーの問題も引き起こします。リリース時点で、SDXLは以前のバージョンからの大幅な改善と見なされていましたが、最適な結果を得るには依然として慎重なプロンプトエンジニアリングが必要でした。
影響
SDXLのリリースは、高品質なテキストから画像への生成を民主化することで、AIブームに貢献しました。そのオープンな利用可能性により、開発者やアーティストは、アート作成からデザインまで、さまざまなアプリケーションに統合できました。モデルのアーキテクチャは、その後の潜在拡散およびトランスフォーマーベースのモデルの開発に影響を与え、U-Netを整流フロートランスフォーマーに置き換えた後のSD 3.0も含まれます。
SDXLはまた、生成AIの著作権、倫理、社会的影響に関する議論を引き起こしました。これは、現実的な画像の広範な作成を可能にしたためです。ウェブから取得されたトレーニングデータは、同意とデータ使用に関する疑問を提起し、AIコミュニティでの継続的な議論につながりました。
関連項目
- Stable Diffusion公開リリース
- 拡散モデル論文
- CLIP
- 変分オートエンコーダー
- U-Net
- ResNet
- アテンション機構
- LAION
- EleutherAI
- Runway
- Robin Rombach
- Stability AI