Stable Diffusion 2.0は、2022年にStability AIがリリースした深層学習によるテキストから画像を生成するモデルであり、拡散技術に基づいている。これは進行中のAIブームにおける生成的AIの一部であり、主にテキスト記述に条件付けられた詳細な画像の生成に使用されるが、インペインティング、アウトペインティング、テキストプロンプトに導かれた画像間変換などのタスクも処理できる。このモデルは潜在拡散モデルであり、深層生成人工ニューラルネットワークの一種で、コードとモデルの重みが公開されており、わずか2.4GBのVRAMを持つ控えめなGPUを備えたほとんどのコンシューマー向けハードウェアで実行できる。これは、クラウドサービス経由でのみアクセス可能だったDALL-EやMidjourneyなどの従来のプロプライエタリなテキストから画像を生成するモデルからの脱却を示した。
Stable Diffusionの開発には、ミュンヘン大学のCompVisグループとRunwayの研究者が関与し、Stability AIからの計算リソースの寄付と非営利団体からのトレーニングデータを受けた。このモデルは、クラウドベースのアクセスを必要とせずにローカルで実行できるため、高度な生成的AIをより広い層にアクセス可能にすることにおける重要な一歩を表している。
開発の歴史
Stable Diffusionは、ドイツのミュンヘン大学とハイデルベルク大学の研究者によって開発された潜在拡散と呼ばれるプロジェクトに由来する。元の5人の著者のうち4人（ロビン・ロンバッハ、アンドレアス・ブラットマン、パトリック・エッサー、ドミニク・ローレンツ）は後にStability AIに加わり、モデルの後続バージョンをリリースした。モデルの技術ライセンスはミュンヘン大学のCompVisグループによってリリースされた。開発は、Runwayのパトリック・エッサーとCompVisのロビン・ロンバッハが主導し、彼らは以前にStable Diffusionで使用される潜在拡散モデルアーキテクチャを発明した研究者の一人だった。Stability AIはまた、モデルのトレーニングに使用されたデータセットを構築したドイツの非営利団体であるEleutherAIとLAIONをプロジェクトの支援者として挙げた。
Stable Diffusion 2.0のリリースは、テキストプロンプトから高品質の画像を生成する能力で既に大きな注目を集めていた2022年8月のStable Diffusionの最初の公開リリースに続くものだった。2.0バージョンでは、アーキテクチャとトレーニングプロセスにいくつかの改善と洗練が導入された。
テクノロジー
アーキテクチャ
2015年に導入された拡散モデルは、トレーニング画像に対するガウスノイズの連続的な適用を除去することを目的としてトレーニングされ、これは一連のデノイジングオートエンコーダーと考えることができる。「拡散」という名前は熱力学の拡散に由来し、モデルは当初熱力学からの着想を得て開発された。SD 3以前のStable Diffusionシリーズのモデルはすべて、2021年にミュンヘン大学のCompVisグループによって開発された潜在拡散モデル（LDM）と呼ばれる拡散モデルの変種を使用していた。
Stable Diffusionは、変分オートエンコーダー（VAE）、U-Net、およびオプションのテキストエンコーダーの3つの部分で構成されている。VAEエンコーダーは画像をピクセル空間からより小さな次元の潜在空間に圧縮し、画像のより基本的な意味的意味を捉える。ガウスノイズは、フォワード拡散中に圧縮された潜在表現に反復的に適用される。ResNetバックボーンで構成されたU-Netブロックは、フォワード拡散からの出力を逆方向にデノイズして潜在表現を取得する。最後に、VAEデコーダーは表現をピクセル空間に戻すことで最終画像を生成する。
デノイジングステップは、テキストの文字列、画像、または他のモダリティに柔軟に条件付けできる。エンコードされた条件データは、クロスアテンション機構を介してデノイジングU-Netに公開される。テキストへの条件付けには、固定された事前トレーニング済みのCLIP ViT-L/14テキストエンコーダーを使用して、テキストプロンプトを埋め込み空間に変換する。研究者は、トレーニングと生成のための計算効率の向上をLDMの利点として挙げている。
U-Netに8億6000万パラメータ、テキストエンコーダーに1億2300万パラメータを持つStable Diffusionは、2022年の基準では比較的軽量であると考えられている。他の拡散モデルとは異なり、コンシューマー向けGPU、さらにはOpenVINOバージョンのStable Diffusionを使用すればCPUのみでも実行できる。
トレーニングデータ
Stable Diffusionは、ウェブからスクレイピングされたCommon Crawlデータから派生した公開データセットであるLAION-5Bから取得された画像とキャプションのペアでトレーニングされた。このデータセットには50億の画像テキストペアが含まれており、言語に基づいて分類され、解像度、透かしを含む予測可能性、予測される「美的」スコア（例：主観的な視覚品質）によって別々のデータセットにフィルタリングされた。このデータセットは、Stability AIから資金提供を受けているドイツの非営利団体であるLAIONによって作成された。
Stable Diffusionモデルは、LAION-5Bの3つのサブセット（laion2B-en、laion-high-resolution、laion-aesthetics v2 5+）でトレーニングされた。モデルのトレーニングデータの第三者分析により、元のより広いデータセットから取得された1200万画像の小さいサブセットのうち、サンプルサイズの約47%が100の異なるドメインからのものであり、Pinterestがサブセットの8.5%を占め、次いでWordPress、Blogspot、Flickr、DeviantArt、Wikimedia Commonsなどのウェブサイトが続くことが特定された。バイエルン放送による調査では、Hugging FaceでホストされているLAIONのデータセットには、大量のプライベートデータと機密データが含まれていることが示された。
トレーニング手順
モデルは当初laion2B-enとlaion-high-resolutionのサブセットでトレーニングされ、最後の数ラウンドのトレーニングはLAION-Aesthetics v2 5+で行われた。これは6億のキャプション付き画像のサブセットであり、LAION-Aesthetics Predictor V2が、人間が平均して10点中少なくとも5点のスコアを与えると予測した画像が含まれる。LAION-Aesthetics v2 5+サブセットはまた、低解像度の画像と、LAION-5B-WatermarkDetectionが80%以上の確率で透かしを運ぶと特定した画像を除外した。最終ラウンドのトレーニングでは、Classifier-Free Diffusion Guidanceを改善するためにテキスト条件付けの10%をさらに削除した。
モデルは、Amazon Web Services上で256基のNvidia A100 GPUを使用してトレーニングされ、合計15万GPU時間、コストは60万ドルだった。
バージョン2.0の改善点
Stable Diffusion 2.0は、元のリリースに比べていくつかの重要な改善を導入した。モデルは新しいテキストエンコーダーを組み込み、より大きなCLIPモデルを使用してテキストプロンプトと生成画像の間の整合性を改善した。トレーニングデータも洗練され、高解像度で美的に魅力的な画像に重点が置かれ、アーティファクトの発生を減らし、全体的な画像品質を向上させるのに役立った。
さらに、2.0バージョンには非正方形のアスペクト比のサポートが改善され、ユーザーがより多様な形式で画像を生成できるようになった。モデルはまた、画像の一部が周囲のコンテキストに基づいて塗りつぶされたり拡張されたりするインペインティングやアウトペインティングなどのタスクでパフォーマンスが向上した。
制限事項
Stable Diffusionには、特定のシナリオでの劣化とアーティファクトの問題がある。モデルは、複数のオブジェクトや複雑な詳細を含む複雑なシーンの正確な表現を生成するのに苦労することがある。また、トレーニングデータに存在するバイアスを反映した偏ったまたは不適切なコンテンツを生成する可能性もある。モデルがCLIPテキストエンコーダーに依存しているため、言語の理解はCLIPが学習した範囲に限定され、特定のプロンプトの誤解釈につながる可能性がある。
さらに、ウェブから取得されたトレーニングデータには、プライベートまたは機密性の高いものも含まれる幅広いコンテンツが含まれている。これは、生成モデルのトレーニングにそのようなデータを使用することのプライバシーと倫理的影響についての懸念を引き起こしている。トレーニングの計算コストは、一部の代替手段よりも低いものの、依然としてかなりのリソースを必要とし、モデルのパフォーマンスは推論に使用されるハードウェアによって異なる場合がある。
影響と評価
Stable Diffusion 2.0のリリースは、Stable Diffusionの公開リリースの広範な一部であり、生成的AIブームに貢献した。モデルのオープンソースの性質とコンシューマー向けハードウェアで実行できる能力により、広くアクセス可能となり、創造的および商業的なアプリケーションの波を刺激した。また、他のオープンソースモデルのリリースや、さまざまな製品への拡散ベースの技術の統合など、その後の分野の発展にも影響を与えた。
モデルのアクセシビリティはまた、著作権、芸術的所有権、および悪用の可能性に関する議論を引き起こし、生成的AI技術の規制についての進行中の議論につながった。これらの課題にもかかわらず、Stable Diffusion 2.0は、テキストから画像を生成する進化における重要なマイルストーンであり、クラウドサービスに限定されない高品質の生成モデルの実現可能性を示している。