2022年8月、Stability AIは拡散技術に基づく深層学習テキストから画像へのモデルであるStable Diffusionを公開した。これはStability AIの主力製品であり、進行中のAIブームの重要な一部と見なされている。Stable Diffusionは主にテキスト記述から詳細な画像を生成するが、Inpainting、アウトペインティング、プロンプトに導かれた画像から画像への変換などのタスクもサポートする。そのコードとモデルの重みは公開され、わずか2.4 GBのVRAMでほとんどの消費者向けハードウェアで実行できるバージョンを可能にした。これは、クラウドサービス経由でのみアクセス可能だったDALL-EやMidjourneyのようなプロプライエタリなモデルとは一線を画すものであった。
開発には、ミュンヘン大学のCompVisグループとRunwayの研究者が関与し、Stability AIからの計算リソースの提供と、非営利団体からのトレーニングデータが使用された。このモデルは潜在拡散モデル（LDM）であり、深層生成人工ニューラルネットワークの一種である。そのアーキテクチャ、トレーニング手順、文化的影響は広く研究されている。
開発
Stable Diffusionは、ドイツのミュンヘン大学とハイデルベルク大学の研究者によって開発された「潜在拡散」と呼ばれるプロジェクトに由来する。元の5人の著者のうち4人（Robin Rombach、Andreas Blattmann、Patrick Esser、Dominik Lorenz）は後にStability AIに加わり、その後のバージョンをリリースした。モデルの技術ライセンスはミュンヘン大学のCompVisグループによってリリースされた。開発はRunwayのPatrick EsserとCompVisのRobin Rombachが主導し、彼らはStable Diffusionで使用される潜在拡散モデルアーキテクチャを以前に発明した研究者の一部であった。Stability AIはまた、EleutherAIと、Stable Diffusionのトレーニングに使用されたデータセットを構築したドイツの非営利団体LAIONを支援者として挙げた。
テクノロジー
アーキテクチャ
2015年に導入された拡散モデルは、トレーニング画像へのガウスノイズの連続的な適用を除去するようにトレーニングされており、これは一連のノイズ除去オートエンコーダーである。「拡散」という名前は熱力学的拡散に由来し、この技術は熱力学に触発されたものである。SD 3より前のStable Diffusionシリーズのモデルは、2021年にミュンヘン大学のCompVisグループによって開発された「潜在拡散」と呼ばれる変種を使用していた。
Stable Diffusionは3つの部分で構成されている: 変分オートエンコーダー（VAE）、U-Net、およびオプションのテキストエンコーダー。VAEエンコーダーは画像をピクセル空間からより小さな次元の潜在空間に圧縮し、基本的な意味論的意味を捉える。ガウスノイズは前方拡散中に圧縮された潜在表現に反復的に適用される。ResNetバックボーンで構成されるU-Netは、出力を後方にノイズ除去して潜在表現を得る。その後、VAEデコーダーは表現をピクセル空間に変換して最終画像を生成する。
ノイズ除去ステップは、テキスト、画像、または他のモダリティに条件付けすることができる。エンコードされた条件付けデータは、クロスアテンションメカニズムを介してノイズ除去U-Netに公開される。テキスト条件付けの場合、固定された事前トレーニング済みのCLIP ViT-L/14テキストエンコーダーがプロンプトを埋め込み空間に変換する。研究者は、LDMの利点として計算効率の向上を挙げている。U-Netに8億6000万のパラメータ、テキストエンコーダーに1億2300万のパラメータを持つStable Diffusionは、2022年の基準では比較的軽量であり、消費者向けGPU、またはOpenVINOバージョンを使用すればCPUのみでも実行できる。
#### SD XL
XLバージョンは以前のバージョンと同じLDMアーキテクチャを使用するが、より大きく、より大きなU-Netバックボーン、より大きなクロスアテンションコンテキスト、1つではなく2つのテキストエンコーダー、および複数のアスペクト比（正方形だけでなく）でのトレーニングを備えている。同時にリリースされたSD XL Refinerは同じアーキテクチャを持つが、テキスト条件付きimg2imgを介して既存の画像に細部を追加するためにトレーニングされた。
#### SD 3.0
3.0バージョンはバックボーンを完全に変更し、U-Netの代わりにRectified Flow Transformerを使用し、Transformerで整流フロー法を実装している。「マルチモーダル拡散トランスフォーマー」（MMDiT）と名付けられたこのアーキテクチャは、元のテキストエンコーディング、変換されたテキストエンコーディング、潜在空間での画像エンコーディングの3つのトラックを持つ。変換されたテキストと画像のエンコーディングは、各トランスフォーマーブロック中に混合される。これは、テキストエンコーディングが画像エンコーディングに影響を与えるがその逆はない以前のDiTバージョンとは異なる。
トレーニングデータ
Stable Diffusionは、Common Crawlデータから派生した公開データセットであるLAION-5Bからの画像とキャプションのペアでトレーニングされた。50億の画像とテキストのペアは、言語、解像度、予測される透かしの可能性、美的スコアによってフィルタリングされた。このデータセットは、Stability AIから資金提供を受けたドイツの非営利団体LAIONによって作成された。モデルは、laion2B-en、laion-high-resolution、laion-aesthetics v2 5+の3つのサブセットでトレーニングされた。第三者による分析では、1200万画像のより小さなサブセットのうち、約47%が100のドメインから来ており、Pinterestが8.5%を占め、以下WordPress、Blogspot、Flickr、DeviantArt、Wikimedia Commonsが続くことが判明した。Bayerischer Rundfunkによる調査では、LAIONのデータセットに大量のプライベートで機密性の高いデータが含まれていることが示された。
トレーニング手順
モデルは最初にlaion2B-enとlaion-high-resolutionでトレーニングされ、最終ラウンドでは、美的品質で少なくとも5/10のスコアが予測された6億のキャプション付き画像のサブセットであるLAION-Aesthetics v2 5+でトレーニングされた。このサブセットは、低解像度の画像と、80%以上の確率で検出された透かしのある画像を除外した。最終ラウンドでは、クラシファイアフリー拡散ガイダンスを改善するためにテキスト条件付けの10%を削除した。トレーニングにはAmazon Web Services上の256基のNvidia A100 GPUを15万GPU時間使用し、60万ドルの費用がかかった。
制限事項
Stable Diffusionには、特に複雑な構図、手、テキストを生成する際に、劣化の問題がある。トレーニングデータからのバイアスを示す可能性があり、芸術スタイルを複製する傾向は著作権上の懸念を引き起こしている。モデルのオープンな性質は、偽情報や非合意の画像を生成するための悪用も可能にし、コンテンツモデレーションと倫理的展開に関する議論を促した。
リリースと利用可能性
2022年8月22日のStability AIによる公開リリースにより、モデルはオープンウェイトとして利用可能になった。これは、クローズドでクラウドのみだったDALL-EやMidjourneyとは対照的であった。Stable Diffusionはダウンロードしてローカルで実行でき、急速な採用と微調整されたバージョンの急増につながった。最適化されたバージョンはわずか2.4 GBのVRAMという控えめなGPU仕様を必要とし、アクセスを広げた。
影響
Stable DiffusionはAIアートへの一般の関与を促進し、コミュニティとツールを生み出した。その後のモデルの開発に影響を与え、AIブームに貢献した。そのオープンウェイトは革新を促進したが、データの出所と著作権に関する法的および倫理的な問題も提起した。
その後のバージョン
初期リリース後、Stability AIはSD 2.0、SD XL、SD 3.0を含む改良版をリリースした。SD XLはアーキテクチャの強化を導入し、SD 3.0はトランスフォーマーベースのバックボーンを採用した。これらのバージョンは公開リリースのパターンを継続したが、ライセンスの変更と商用利用への焦点が指摘されている。
評価と論争
Stable Diffusionは技術的成果とアクセシビリティに対して賞賛を受けたが、トレーニングデータの問題、バイアス、悪用の可能性について批判にも直面した。アーティストやストックフォト代理店からの法的挑戦が浮上し、スクレイピングされた画像でのトレーニングの合法性に疑問を投げかけた。これらの論争は、生成AI政策における進行中の議論を形作った。