潜在拡散モデル（LDM）は、生成モデルの一種であり、拡散モデルの枠組みを拡張し、ピクセル空間ではなく低次元の潜在空間で動作する。ミュンヘン大学のComputer Vision & Learning（CompVis）グループによって開発され、2021年12月20日にarXivで発表された論文で紹介された。LDMは、計算コストを削減しながら高品質な画像合成を維持し、自己注意機構と交差注意機構を通じて条件付けをサポートすることで、標準的な拡散モデルを改善している。LDMは実用的な拡散モデルで広く使用されており、例えばStable Diffusionバージョン1.1から2.1はLDMアーキテクチャに基づいていた。
LDMアーキテクチャは、変分オートエンコーダー（VAE）、修正されたU-Net、テキストエンコーダーの3つの主要コンポーネントで構成される。VAEは画像を潜在空間に圧縮し、U-Netはその潜在空間でノイズ除去を実行し、テキストエンコーダーは条件付け情報を提供する。この設計により、モデルはテキストプロンプトから効率的に画像を生成でき、現代のAI画像生成の基盤となっている。
背景と開発
拡散モデルは、非平衡熱力学の原理を用いて複雑な確率分布からサンプリングする方法として2015年に初めて導入された。2019年の論文では、ノイズ条件付きスコアネットワーク（NCSN）が提案され、これはスコアマッチングとランジュバン動力学（SMLD）としても知られ、PyTorchで実装された。2020年には、変分推論を用いたノイズ除去拡散確率モデル（DDPM）がこれらの手法を改善し、TensorFlowでの参照実装が提供された。
LDM論文は2021年12月20日にarXivで公開され、Stable DiffusionとLDMの両方のリポジトリがGitHubでリリースされた。このアーキテクチャは、Stable Diffusionバージョン1.1から2.1が採用したことで注目を集めた。Stable Diffusion 1.1はLAION-2B-enデータセットでトレーニングされ、その後のバージョンは美的品質と分類器フリーガイダンスの改善のためにファインチューニングされた。Stable Diffusion 1.5は2022年10月にRunwayMLによってリリースされた。
アーキテクチャ概要
LDMは圧縮された潜在空間で動作し、データの次元を削減してトレーニングと推論を高速化する。プロセスは、VAEエンコーダーが入力画像をピクセル空間から潜在表現に圧縮することから始まる。その後、前方拡散中にガウスノイズがこの潜在表現に反復的に適用される。ResNetバックボーンで構成されるU-Netが、逆方向に潜在表現をノイズ除去し、最後にVAEデコーダーがノイズ除去された潜在表現をピクセル空間に変換する。
ノイズ除去ステップは、テキスト、画像、その他のデータなどの様々なモダリティで条件付けできる。テキスト条件付けの場合、事前学習済みのCLIP ViT-L/14テキストエンコーダーがテキストプロンプトを埋め込み空間に変換し、交差注意機構を介してU-Netに公開される。これにより、モデルは提供されたテキスト記述に沿った画像を生成できる。
変分オートエンコーダー
VAEは、画像データセットでトレーニングされ、圧縮された潜在表現を学習する。エンコーダーは形状(3, 512, 512)のRGB画像を受け取り、スケーリング係数0.18215を適用して潜在ベクトルをほぼ白色化した後、形状(4, 64, 64)の潜在テンソルを出力する。デコーダーはこのプロセスを逆転させ、潜在テンソルを受け取って画像を生成し、スケーリング係数0.18125と[0, 1]の範囲へのクリッピングを適用する。
エンコーダーは、末尾近くに単一の自己注意機構を持つ畳み込みニューラルネットワーク（CNN）である。潜在ベクトルの予測平均と分散の連結を出力し、それぞれ形状は(4, H/8, W/8)である。トレーニング中は分散が使用されるが、推論時には通常平均のみが保持される。デコーダーも同様の自己注意構造を持つCNNであり、潜在テンソルを画像に変換する。
U-Net
U-Netバックボーンは、ノイズ除去の中心的なコンポーネントである。これは、VAEエンコーダーによって生成された潜在画像配列と、テキスト埋め込みなどの条件付け情報を入力として受け取る。U-Netは、前方拡散中に追加されたノイズを予測するように設計されており、モデルが反復的にノイズを除去して元の潜在表現を復元できるようにする。アーキテクチャには残差接続と注意機構が含まれており、データ内の複雑な依存関係を処理できる。
応用と影響
潜在拡散モデルは、多くのテキストから画像へのシステム、特にStable Diffusionの基盤となっている。潜在空間で動作することによる効率性により、これらのモデルはコンシューマーハードウェアで実行でき、AI画像生成へのアクセスを民主化している。このアーキテクチャは、インペインティング、超解像、ビデオ生成などの他のタスクにも適応されており、その汎用性を示している。
限界と将来の方向性
その成功にもかかわらず、LDMはトレーニングの計算要件、生成コンテンツの潜在的なバイアス、条件付けメカニズムの慎重な調整の必要性などの課題に直面している。研究は、より効率的な注意機構やより良い潜在空間表現など、アーキテクチャの改善を続けている。2020年代初頭の時点で、LDMは機械学習とコンピュータビジョンの主要な研究分野であり続けており、学界と産業界の研究所からの継続的な貢献がある。