SDXL 1.0は、生成的人工知能モデルであり、テキストから画像を合成するためのもので、Stability AIによって開発され、2023年7月26日にリリースされました。これはStable Diffusion 2.1の後継であり、AI生成画像の品質と解像度において大きな進歩を表しています。のモデルは、1024x1024ピクセルの基本解像度で画像を生成するように設計されており、これは以前のStable Diffusionバージョンで一般的だった512x512から大幅に増加しています。DXL 1.0はオープンソースであり、寛容なライセンスの下でリリースされ、研究用途と商業用途の両方を許可しており、これがAIアートコミュニティでの広範な採用に貢献しました。
モデルのアーキテクチャは、以前のStable Diffusionの反復で使用された残差ネットワークベースのU-Netバックボーンに基づいていますが、いくつかの重要な革新を導入しています。に、SDXL 1.0は二重のトランスフォーマーテキストエンコーダーシステムを採用し、より大きなOpenCLIP ViT-bigGとより小さなCLIP ViT-Lを組み合わせて、複雑なプロンプトをよりよく理解し追従します。の二重エンコーダーアプローチは意味的整合性を向上させ、モデルが微妙な説明を解釈し、正しいテキストレンダリングや空間的関係などのより正確な詳細を持つ画像を生成できるようにします。
アーキテクチャとトレーニング
SDXL 1.0は、約35億の画像テキストペアのキュレーションされたデータセットでトレーニングされ、その規模が強化されたパフォーマンスに貢献しました。のトレーニングプロセスは、コサイン減衰を伴う学習率スケジュールと2048のバッチサイズを利用し、NVIDIA A100 GPUのクラスターで実行されました。のモデルは、テキスト埋め込みが複数のスケールで画像生成プロセスを導くことを可能にするクロスアテンションメカニズムを組み込んでおり、プロンプトと出力間の一貫性を向上させます。
SDXL 1.0の注目すべき特徴は、その二段階パイプラインです。のベースモデルは1024x1024の画像を生成し、その後、類似のU-Netアーキテクチャを使用するが、細部の追加と色忠実度の向上に特化した別のより小さなモデル（リファイナー）によって精緻化されます。のリファインメントステップは、オプションで適用でき、追加のプロンプト入力を必要とせずに全体的な美的品質を向上させます。
能力と使用事例
SDXL 1.0は、特に人、動物、自然シーンのフォトリアリスティックな画像を生成するのに優れており、照明、影、テクスチャの処理が改善されています。はまた、以前のモデルにとって一般的な課題であった、読みやすいテキストを持つ画像を生成する際に優れたパフォーマンスを示します。のモデルは、さまざまなトップpサンプリングとトップkサンプリングメソッドをサポートし、温度スケーリングとともに、ユーザーに出力の創造性と決定性に対する細かい制御を提供します。
このモデルは、グラフィックデザイン、広告、コンセプトアートなどのクリエイティブ産業や、機械学習とコンピュータビジョンに関する学術研究で広く使用されています。のオープンソースの性質は、AUTOMATIC1111のStable Diffusion WebUIやComfyUIなどの多くのソフトウェアツールへの統合につながり、趣味人と専門家の両方にアクセス可能にしています。
パフォーマンスとベンチマーク
内部評価では、SDXL 1.0は、COCOデータセットのFID（Fréchet Inception Distance）スコアを含むいくつかのベンチマークで前任者を上回り、より低い値が高い画像品質を示しました工の選好研究でも、ユーザーは現実感とプロンプト順守の点で、Stable Diffusion 2.1や他の同時代モデルからの出力よりもSDXL 1.0の出力を好みました。のモデルが複数の被写体や複雑な背景などの複雑な構成を処理する能力は、主要な強みと見なされています。
しかし、SDXL 1.0は以前のバージョンよりも多くの計算リソースを必要とします工の1024x1024の画像を1枚生成するには、推論ステップ数（通常30〜50）に応じて、NVIDIA RTX 3090のような消費者向けGPUで通常約10〜20秒かかります。れにより、AWS Trainiumや他の特化ハードウェアを活用してより高速な推論を実現する最適化された実装の開発が促されました。
影響と遺産
SDXL 1.0は、人工知能の分野に大きな影響を与え、高品質な画像生成を民主化しました工のリリースは、コミュニティ主導のファインチューニングの波を促し、アニメ、写実主義、ファンタジーアートなどのスタイル向けの多数の特化バリアントをもたらしました工のモデルはまた、プロンプト強化のための大規模言語モデルの統合や、出力を人間の好みとさらに整合させるためのAIフィードバックからの強化学習の探求など、テキストから画像への技術のその後の発展に影響を与えました。
その強みにもかかわらず、SDXL 1.0には限界がないわけではありません工は、複雑なシーンで、歪んだ手や一貫性のない解剖学などのアーティファクトを時折生成することがあり、高度に抽象的なまたは曖昧なプロンプトに苦労することがあります工れらの問題は、深層学習モデル全体に共通であり、進行中の研究の領域です工れでも、SDXL 1.0は生成的AIの風景の中で基盤となるモデルであり続け、学術文献で広く引用され、新しいアーキテクチャを比較するためのベースラインとして使用されています。
技術仕様
- 開発者: Stability AI
- リリース日: 2023年7月26日
- タイプ: テキストから画像への生成モデル
- ライセンス: CreativeML Open RAIL++-M
- 前任者: Stable Diffusion 2.1
- 基本解像度: 1024x1024ピクセル
- アーキテクチャ: 二重テキストエンコーダー（OpenCLIP ViT-bigGとCLIP ViT-L）を備えたU-Net
- トレーニングデータ: 約35億の画像テキストペア
- 推論: DPM++やEulerを含むさまざまなサンプリングメソッドをサポート
SDXL 1.0は、Hugging FaceとStability AIの公式チャネルからダウンロード可能であり、研究用途と生産用途の両方のバージョンがあります工のオープンライセンスは広範な採用を促進し、生成的AIエコシステムで最も影響力のあるモデルの1つとなっています。