SDXL（Stable Diffusion XL）は、テキスト記述から画像を生成するための深層学習モデルであり、Stability AIによって開発され、2023年7月に公開された。これはStable Diffusionシリーズの後継であり、前身と比較して高解像度の画像を生成し、構図やプロンプトへの忠実性を向上させるように設計されている。SDXLはオープンソースモデルであり、重みとコードが公開されており、Generative AIのより広い分野で動作する。
このモデルは、画像合成に使用される以前のニューラルネットワークのアーキテクチャに基づいており、特にU-Netバックボーンとトランスフォーマーベースのテキストエンコーダを組み合わせている。SDXLは2段階のパイプラインを使用する。ベースモデルが潜在画像を生成し、リファインメントモデルが詳細を強化する。このアプローチにより、以前のStable Diffusionバージョンの512x512ピクセルから大幅に増加した、1024x1024ピクセルのネイティブ解像度で画像を出力できる。
アーキテクチャとトレーニング
SDXLは、ピクセルに直接作用するのではなく、圧縮された潜在空間でモデルが動作する潜在拡散アーキテクチャを採用している。ベースモデルは、テキストプロンプトを2つのテキストエンコーダ（OpenAIのCLIP ViT-LとOpenCLIP ViT-bigGに基づくもの）を介して処理するクロスアテンションメカニズムを持つU-Netを使用する。このデュアルエンコーダ構成により、空間関係やスタイル属性を含む複雑なプロンプトの理解が向上する。
SDXLのトレーニングデータには、高品質な美学と多様なコンテンツに焦点を当てた、大規模な画像テキストペアのデータセットが含まれていた。Stability AIは、モデルがLAION-5Bデータセットのフィルタリングされたサブセットと、追加のキュレーションされたデータでトレーニングされたと報告している。トレーニングプロセスは広範な計算リソースを利用したが、ハードウェアや期間に関する具体的な詳細は完全には開示されなかった。
機能と特徴
SDXLは、自然言語プロンプトからフォトリアリスティックな画像、デジタルアート、スタイライズされたイラストを生成できる。テキストから画像への生成、画像から画像への編集、インペインティング（画像の欠落部分の補完）など、さまざまな高度な機能をサポートしている。また、カスタムデータセットでのファインチューニングも可能であり、ユーザーが特定のスタイルや主題に適応させることができる。
注目すべき機能の1つは、複数のオブジェクト、照明条件、カメラアングルを指定するような複雑なプロンプトの処理が改善されていることである。SDXLはまた、「リファイナー」モデルを導入し、第2段階として適用して画像の詳細を強化し、アーティファクトを低減できる。この2モデルアプローチは、以前のStable Diffusionリリースとの主要な差別化要因であった。
リリースと入手可能性
SDXLは、2023年7月26日に研究プレビューとして最初にリリースされ、その後すぐに完全なオープンソースリリースが続いた。モデルの重みはHugging Faceで入手可能であり、コンシューマーグレードのハードウェアでローカルに実行できるが、最適なパフォーマンスには高性能GPUが推奨される。SDXLはまた、さまざまなクラウドプラットフォームやサードパーティツールに統合されており、幅広いユーザーがアクセスできる。
リリースには、モデルの設計と評価を詳述したテクニカルレポートと一連のブログ投稿が伴っていた。Stability AIは、SDXLを画像生成のための最先端のオープンモデルとして位置づけ、OpenAIやGoogle DeepMindなどの企業によるプロプライエタリシステムと競合させた。
影響と使用法
SDXLは、オープンライセンスと高品質な出力により、アーティスト、デザイナー、研究者の間で急速に人気のあるツールとなった。デジタルアートから広告まで、多くのクリエイティブプロジェクトで使用され、多くの派生モデルやファインチューニングされたバリアントの基盤となった。モデルのリリースはまた、ディープフェイクや著作権に関する懸念を含む、AI生成画像の倫理的影響についての議論を促進した。
機械学習研究の文脈では、SDXLは拡散モデルの進歩に貢献し、その後の画像生成やマルチモーダルシステムに関する研究に影響を与えた。そのアーキテクチャとトレーニング方法論は、学術論文や業界レポートで引用され、生成AIの進化における重要なマイルストーンとしての役割を確固たるものにした。
制限事項
改善にもかかわらず、SDXLには既知の制限がある。画像内のテキストレンダリングに苦労することがあり、しばしば文字化けやスペルミスのある単語を生成する。モデルはまた、トレーニングデータに存在するバイアスを示す可能性があり、特定のグループのステレオタイプ的な表現につながることがある。さらに、高解像度画像の生成にはかなりのメモリと計算能力が必要であり、一部のユーザーにとって障壁となる可能性がある。多くの生成モデルと同様に、出力は時折一貫性を欠いたり、望ましい結果を得るために複数回の試行が必要になることがある。