Fréchet inception distance(FID)は、生成的敵対ネットワーク(GAN)や拡散モデルなどの生成モデルによって作成された画像の品質を評価するために使用される指標です。これは、実画像の集合から抽出された特徴の分布と、生成画像の集合からの特徴の分布との間の類似性を測定します。FIDは2017年に導入され、StyleGANやさまざまな拡散モデルなどの高解像度モデルを含む画像生成モデルを評価するための標準的なベンチマークとなっています。
FIDは、生成画像の多様性と明瞭さのみを評価する初期のinception score(IS)に触発されています。しかし、FIDは生成画像が実データ分布にどれだけ一致しているかも考慮することで、より包括的な比較を提供します。FIDが低いほど、生成画像が特徴統計の観点で実画像に類似していることを示し、FIDが高いほど品質が低いか多様性が不足していることを示します。
概要
FIDの目的は、ImageNetやCOCO-2014などの参照データセットに対する生成モデルによって生成された画像の多様性と忠実度を測定することです。大規模で多様な参照セットを使用することは、モデルが生成しようとする画像の全範囲を表すため、重要です。生成モデルはトレーニングセットと特徴を共有するが、どの単一画像とも同一ではない新しい画像を生成するため、ピクセル単位の比較(L2ノルムなど)は不十分です。
代わりに、FIDは2つの画像セットを2つの多次元ガウス分布から抽出されたものとしてモデル化します。特徴はInception v3ネットワークの最後から2番目のプーリング層から抽出され、オブジェクトやシーンに関する高レベルの意味情報を捉えます。これらの2つのガウス分布間の距離は、Fréchet距離(2-Wasserstein距離とも呼ばれる)を使用して計算されます。
数学的定義
有限の平均と共分散を持つ\(\mathbb{R}^n\)上の2つの確率分布\(\mu\)と\(\nu\)に対して、Fréchet距離は次のように定義されます:
\[ d_F(\mu, \nu) = \left( \inf_{\gamma \in \Gamma(\mu, \nu)} \int_{\mathbb{R}^n \times \mathbb{R}^n} \|x - y\|^2 \, d\gamma(x, y) \right)^{1/2} \]
ここで、\(\Gamma(\mu, \nu)\)は周辺分布が\(\mu\)と\(\nu\)であるすべてのカップリング(同時分布)の集合です。両方の分布がガウス分布の場合、これは次のように簡略化されます:
\[ d_F(\mathcal{N}(\mu, \Sigma), \mathcal{N}(\mu', \Sigma')) = \|\mu - \mu'\|_2^2 + \operatorname{tr}\left( \Sigma + \Sigma' - 2 (\Sigma \Sigma')^{1/2} \right) \]
実際には、FIDは実画像セットと生成画像セットの両方について、Inception v3の最後のプーリング層から2048次元の特徴ベクトルを抽出して計算されます。これらの特徴の標本平均と共分散が上記の式に代入されます。完全なモデルは同一の特徴分布を持ち、FIDは0になります。
応用と限界
FIDは生成モデルの比較、ハイパーパラメータの調整、トレーニング進行の監視に広く使用されています。多くの場合、画像品質の人間の知覚とよく相関しますが、限界もあります。この指標はInceptionネットワークの特徴に依存しており、視覚品質のすべての側面を捉えるとは限らず、複雑な実世界データには当てはまらない可能性のあるガウス分布を仮定しています。さらに、FIDは評価に使用されるサンプル数に敏感である可能性があるため、安定性のために通常は大規模なセット(例:10,000画像以上)で計算されます。
関連指標
FIDは生成モデルの分布ベースの指標のファミリーの一部です。inception scoreは生成画像のクラス予測のエントロピーに焦点を当て、Kernel Inception Distance(KID)は最大平均不一致アプローチを使用します。最近の研究では、意味的類似性によりよく一致させるために、Inception特徴の代わりにCLIP埋め込みを使用することが探求されています。限界にもかかわらず、FIDは生成モデリングの分野で標準的なツールであり続けています。