フローマッチングは、連続正規化フロー（continuous normalizing flows）のための訓練パラダイムであり、これは常微分方程式を通じて単純な確率分布を複雑な目標分布に変換する生成モデルの一種である。2022年にYaron Lipmanらによって導入されたフローマッチングは、訓練中に完全な拡散過程をシミュレートする必要性を回避する。その代わりに、ノイズ分布からデータ分布へサンプルを輸送する事前定義されたベクトル場に対してニューラルネットワークを直接回帰させる。このアプローチは訓練目的を簡素化し、計算コストを削減し、特に画像、音声、動画合成において現代の生成AIの基礎的技術となっている。
連続正規化フローでは、変換は常微分方程式 dz/dt = v_t(z) によって定義され、ここで v_t は時間依存のベクトル場である。フローマッチングの目的は、モデルが予測するベクトル場と、事前分布とデータ分布の間の確率経路を定義する目標ベクトル場との間の期待二乗差を最小化することである。拡散モデルが確率的な順過程とデノイジングスコアマッチング目的を必要とするのに対し、フローマッチングはノイズとデータの間の決定的な補間を用いる。この決定的な定式化は、しばしばより高速な訓練とサンプリングをもたらし、補間を適切に選択した場合に拡散モデルを特別な場合として包含する統一的な枠組みを提供する。
フローマッチングの核心的なアイデアは、単純な事前分布 p_0（例：標準ガウス分布）をデータ点 z_1 に接続する条件付き確率経路 p_t(z | z_1) を構築することである。目標ベクトル場 u_t(z | z_1) は、補間 z_t = (1 - t) z_0 + t z_1 の時間微分として定義され、ここで t は0から1の範囲を取る。モデルはこの条件付きベクトル場に一致するように訓練され、周辺ベクトル場が条件付き場の重み付き平均であるため、条件付き場に一致させることで周辺確率経路を学習するのに十分である。この洞察はフローマッチング定理として形式化され、常微分方程式を解くことなく訓練目的を計算できるようにし、計算効率を高めている。
歴史的背景と拡散モデルとの関係
フローマッチングは、正規化フローとスコアベース生成モデルの広範な系譜から生まれた。NICE、RealNVP、Glowなどの伝統的な正規化フローは、単純な分布を複雑な分布に写像するための一連の可逆変換を使用するが、ヤコビアン行列式を扱いやすく保つために注意深く設計されたアーキテクチャをしばしば必要とする。2018年にChenらによって導入された連続正規化フローは、変換をニューラル常微分方程式としてパラメータ化するが、最尤法による訓練には常微分方程式ソルバーを通じた逆伝播が必要であり、計算コストが高い。
2020年にHoらによって普及した拡散モデルは、データに徐々にノイズを加える順過程とデノイジングする逆過程を使用する。これらはスコアマッチングによって訓練され、これは対数密度の勾配を学習することと等価である。フローマッチングは拡散モデルの一般化と見なすことができる：特定の補間スケジュールを選択することで、フローマッチング目的はデノイジングスコアマッチング目的に還元される。しかし、フローマッチングは確率経路の設計においてより柔軟性を提供し、しばしばより直線的な軌道をもたらし、より少ないサンプリングステップを可能にする。これにより、フローマッチングはOpenAIやGoogle DeepMindなどの企業が使用する多くの最先端生成システムで好まれる方法となっている。
数学的定式化
z_0 を事前分布 p_0（典型的には標準ガウス分布）から抽出された確率変数とする。各データ点 z_1 に対して、t=0 で p_0 と t=1 で z_1 におけるディラックデルタの間を補間する条件付き確率経路 p_t(z | z_1) を定義する。一般的な選択は線形補間 z_t = (1 - t) z_0 + t z_1 であり、これは平均 (1-t) z_1 と分散 t^2 I を持つガウス経路をもたらす。条件付きベクトル場は u_t(z | z_1) = (z_1 - z) / (1 - t) であり、これは補間の時間微分である。
フローマッチング目的は、モデルのベクトル場 v_theta(z, t) と条件付きベクトル場 u_t(z | z_1) の間の期待二乗L2ノルムを、t、z_0、z_1 にわたって平均化して最小化することである。主要な定理は、v_theta がすべてのデータ点に対して条件付きベクトル場に一致するならば、データ分布 q を持つ周辺確率経路 p_t(z) = ∫ p_t(z | z_1) q(z_1) dz_1 を生成する周辺ベクトル場にも一致することを述べている。これにより、常微分方程式をシミュレートせずに訓練が可能となり、推論時にはサンプルは常微分方程式 dz/dt = v_theta(z, t) を t=0 から t=1 まで解くことで生成される。
訓練と実装
実際には、フローマッチングモデルは、U-NetやTransformer (architecture)アーキテクチャに基づくことが多いニューラルネットワークを使用して実装され、ノイズサンプル z_t と時間ステップ t を入力として受け取り、予測ベクトル場を出力する。訓練損失は、一様分布からランダムな t をサンプリングし、事前分布から z_0 をサンプリングし、データセットから z_1 をサンプリングし、目標ベクトル場を計算することで計算される。モデルはAdam (Optimizer)やLearning Rate Scheduling技術などの標準的な最適化手法で訓練される。
フローマッチングの主な利点の一つはその単純さである：順拡散過程が不要で、別個のノイズスケジュールが不要で、拡散訓練で一般的な重要度サンプリングやその他の分散削減技術も不要である。目的は単純な回帰損失であり、しばしばより安定して調整が容易である。さらに、フローマッチングはData AugmentationやGradient Clippingなどの技術と組み合わせてロバスト性を向上させることができる。
生成AIにおける応用
フローマッチングは、特に高品質な画像・動画合成において、生成AIで広く採用されている。例えば、Stability AIが開発したStable Diffusion 3モデルはフローマッチングベースのアーキテクチャを使用し、テキストから画像への生成で最先端の性能を示している。同様に、音声生成モデルAudioLDM 2はフローマッチングを使用してテキスト記述から音を生成する。動画の分野では、OpenAIによるSoraや様々なGoogle DeepMindプロジェクトが、一貫した動画シーケンスを生成するためにフローマッチングを探求している。
この技術は、複雑な分布をモデル化するために連続正規化フローが有利であるタンパク質構造予測や分子生成などの科学的応用にも使用されている。Machine learningの分野では、フローマッチングは生成モデラーにとって標準的なツールとなり、計算効率と概念的な明確さから拡散よりも好まれることが多い。
利点と限界
フローマッチングは、代替生成モデルに対していくつかの利点を提供する。第一に、ノイズとデータの間の決定的な写像を提供し、正確な尤度計算とより容易な逆変換を可能にする。第二に、訓練目的は単純な回帰損失であり、計算効率が高く安定している。第三に、結果として得られる常微分方程式の軌道は拡散モデルのものよりもしばしば直線的であり、より少ないサンプリングステップとより高速な推論を可能にする。
しかし、フローマッチングには限界もある。補間スケジュールと事前分布の選択は性能に大きく影響する可能性があり、最適な設定を見つけるには実験が必要かもしれない。さらに、フローマッチングは訓練を簡素化する一方で、推論時に常微分方程式を解く必要があり、高次元データでは計算集約的になる可能性がある。Generative AIモデルであるGANと比較すると、フローマッチングは場合によってはよりシャープでないサンプルを生成する可能性があるが、最近の進歩によりこのギャップは縮まっている。
拡張と変種
フローマッチングの限界に対処するために、いくつかの拡張が提案されている。確率的フローマッチングは、ロバスト性を向上させるために補間にノイズを組み込む。Liuらによって導入された整流フローは、補間を反復的に洗練することで軌道をさらに直線化し、より高速なサンプリングをもたらす。最適輸送経路を用いた条件付きフローマッチングは、事前分布とデータ分布の間の最適輸送写像を使用し、軌道の曲率を減らして訓練効率を向上させることができる。
もう一つの変種は、潜在空間でのフローマッチングの使用であり、モデルはオートエンコーダによって学習された圧縮表現に対して動作する。Stable Diffusion 3などのモデルで使用されるこのアプローチは、次元を削減し、フローマッチングモデルが最も顕著な特徴に集中できるようにする。さらに、フローマッチングはLarge language modelアーキテクチャと組み合わせてマルチモーダル生成に使用されており、同じモデルがテキスト、画像、音声を生成できる。
影響と将来の方向性
フローマッチングは生成モデリングの分野に大きな影響を与え、拡散モデルに対するより単純で柔軟な代替手段を提供している。OpenAIやGoogle DeepMindなどの商業システムでの採用は、その実用的な関連性を強調している。2025年現在、研究は新しい補間スキーム、より効率的なソルバー、および3D生成やロボティクスなどの分野での応用を探求し続けている。
フローマッチングの将来は、ますます複雑なデータモダリティを扱えるTransformer (architecture)ベースのアーキテクチャやNeural network設計とのより深い統合を伴う可能性が高い。また、フローマッチングをよりサンプル効率的にし、離散データに拡張するための活発な研究もあり、これは依然として課題である。全体として、フローマッチングはよりロバストでスケーラブルな生成モデルへの重要なステップを表し、その原理はArtificial intelligenceの将来の発展に影響を与える可能性が高い。