2020年の研究論文「Denoising Diffusion Probabilistic Models」は、ジョナサン・ホー、アジェイ・ジャイン、ピーター・アベルによって執筆され、拡散プロセスを用いた生成的モデリングの実用的かつ高品質な手法を導入しました。2015年の非平衡熱力学における初期の研究を基に、この論文はDenoising Diffusion Probabilistic Model（DDPM）と呼ばれる特定の枠組みを提案しました。機械学習において、拡散モデルは、段階的なノイズ付加プロセスを逆転させて新しいデータを生成することを学習する潜在変数生成モデルの一種です。これらは、特に画像生成において、現代の生成AIの中心的存在となり、深層学習における他のアプローチと並んで重要な役割を果たしています。
拡散モデルの核となるアイデアは2つの部分から成ります。データに徐々にノイズを加える前向き拡散プロセス（純粋なガウスノイズに近づくまで）と、ノイズを除去して元のデータ分布を回復することを学習する逆サンプリングプロセスです。訓練されたモデルは、ランダムノイズから始めて反復的にノイズを除去することで、新しいサンプルを生成できます。2020年の論文はDDPMを提案し、簡略化された変分下界と特定のパラメータ化を導入することで、初期の手法を改善しました。
概念と形式
拡散モデルは、データが拡散プロセス（可能なデータ点の空間を通るドリフトを伴うランダムウォーク）によって生成されるとモデル化する潜在変数モデルの一種です。前向きプロセスは、Tステップにわたってガウスノイズを加えるマルコフ連鎖であり、しばしば定数β_tのスケジュールを使用します。逆プロセスもマルコフ連鎖であり、ニューラルネットワークによってパラメータ化され、各ステップで加えられたノイズを予測することを学習します。モデルは、単純な平均二乗誤差損失を用いた変分推論を使用して訓練されます。
DDPM論文の重要な革新は、訓練目的がモデルの予測ノイズと実際のノイズを一致させる重み付き平均二乗誤差項に簡略化されることを示したことです。また、追加の重み付け項のないより単純な目的が実際にうまく機能することも確立しました。逆拡散モデルは、しばしば「バックボーン」と呼ばれ、任意のネットワーク、典型的にはU-Netまたはトランスフォーマーを使用できます。画像の場合、バックボーンは通常、画像サンプルをノイズ除去するために反復的に適用されるU-Net変種です。
DDPMの仕組み
前向き拡散プロセスは、ノイズレベルβ_1,...,β_Tのシーケンスによって定義され、α_t = 1 − β_t、ᾱ_tは累積積です。各ステップtで、ガウスノイズが画像に加えられます。重要な洞察は、tステップ後、ノイズの多い画像が元の画像とガウスノイズの組み合わせとして直接表現でき、ランダムなタイムステップでの効率的な訓練が可能になることです。逆プロセスは、加えられたノイズを推定することを学習し、元のデータの回復を可能にします。
DDPMでは、訓練はランダムにタイムステップを選択し、ノイズ予測ネットワークの出力と実際のガウスノイズを比較する損失を最小化することを含みます。サンプリング中、モデルは純粋なガウスノイズから始め、学習された逆プロセスを反復的に適用します。論文はまた、タイムステップにわたるより単純な一様な重み付けが最良に機能し、初期段階では逆プロセスが遅いことも指摘しました。
影響
この手法は、その後の多くの拡散モデルの基礎となりました。CIFAR-10やLSUNなどのデータセットで高品質な画像生成を実証し、当時支配的だった生成的敵対ネットワークに挑戦しました。それ以来、拡散モデルはGenerative AIとMachine learningで広く採用され、DALL-EやStable Diffusionなどの商業システムにつながりました。これらは拡散モデルをテキストエンコーダーとCross-Attentionと組み合わせて、テキスト条件付き生成を実現しています。バックボーンはしばしばトランスフォーマーとU-netのハイブリッドであり、一部のモデルはTransformer (architecture)をバックボーンとして使用しています。
遺産と影響
2020年の論文は、Generative AIの発展における転換を触発しました。拡散モデル以前は、生成的敵対ネットワークが画像生成を支配していましたが、DDPMはサンプル品質と訓練安定性でそれらを上回りました。2024年現在、拡散モデルは主に画像ノイズ除去、インペインティング、超解像、画像生成、動画生成などのタスクに使用されています。また、テキスト生成、音声生成、強化学習など、他の領域にも応用されています。
この論文のアプローチは、高速サンプリング手法、潜在拡散モデル、テキストから画像へのシステムなど、その後の研究によって拡張されています。その成功は、現在ハードウェアおよびソフトウェア製品に統合されているツールを伴う、大規模な商業的関心に貢献しました。物理学（非平衡熱力学、ブラウン運動）と現代AIの間の架け橋は、学術研究の証です。