La distance de Fréchet inception (FID) est une métrique utilisée pour évaluer la qualité des images créées par un modèle génératif, tel qu'un réseau antagoniste génératif (GAN) ou un modèle de diffusion. Introduite en 2017, la FID est devenue la métrique standard pour évaluer les générateurs d'images synthétiques en 2024. Elle compare la distribution des images générées avec la distribution d'un ensemble d'images réelles, connu sous le nom d'ensemble de vérité terrain, en mesurant la distance entre leurs statistiques de caractéristiques extraites d'un réseau neuronal profond. Un score FID plus faible indique que les images générées sont plus similaires en qualité et en diversité aux images de référence réelles, un score de 0 représentant une correspondance parfaite.
La métrique FID a été inspirée par le score d'inception antérieur (IS), mais elle remédie à une limitation clé : l'IS évalue uniquement la distribution des images générées sans comparaison avec des données réelles. La FID, en revanche, mesure la similarité entre les distributions générées et réelles, offrant une évaluation plus complète. Elle a été largement adoptée pour évaluer des modèles tels que StyleGAN1, StyleGAN2 et divers modèles de diffusion, et elle reste une pierre angulaire dans l'évaluation des modèles génératifs.
Aperçu
Le but du score FID est de mesurer la diversité et la fidélité des images créées par un modèle génératif par rapport à un ensemble de données de référence. L'ensemble de référence pourrait être ImageNet ou COCO-2014, et il devrait représenter la diversité complète des images que le modèle vise à générer. Puisque les modèles génératifs produisent des images nouvelles qui diffèrent de tout exemple d'entraînement, la qualité ne peut pas être évaluée par une comparaison pixel par pixel, comme cela se fait avec la norme L2.
Au lieu de cela, la FID modélise les deux ensembles d'images comme s'ils étaient tirés de deux distributions gaussiennes multidimensionnelles, notées \(\mathcal{N}(\mu, \Sigma)\) pour les images réelles et \(\mathcal{N}(\mu', \Sigma')\) pour les images générées. La distance entre ces distributions est calculée comme la distance de Wasserstein d'ordre 2, qui prend en compte les différences de moyenne et de covariance. Cette approche capture non seulement si les images individuelles semblent réalistes, mais aussi si l'ensemble généré couvre la même gamme de variation que l'ensemble réel.
Plutôt que de comparer les images directement dans l'espace des pixels, la FID utilise un réseau neuronal convolutionnel, spécifiquement une architecture Inception v3, pour extraire des caractéristiques de haut niveau. La couche la plus profonde, un vecteur d'activation de 2048 dimensions provenant de la dernière couche de pooling, est utilisée pour représenter chaque image. Ces caractéristiques correspondent à des objets du monde réel, tels que des races de chiens ou des avions, rendant la comparaison plus significative sur le plan sémantique que les pixels bruts.
Après avoir traité toutes les images à travers le réseau Inception, les moyennes et les covariances des vecteurs d'activation sont calculées pour les ensembles réel et généré. La distance FID est alors donnée par la formule :
\[ d_F(\mathcal{N}(\mu, \Sigma), \mathcal{N}(\mu', \Sigma'))^2 = \lVert \mu - \mu' \rVert_2^2 + \operatorname{tr}\left(\Sigma + \Sigma' - 2(\Sigma \Sigma')^{1/2}\right) \]
Des distances plus élevées indiquent un modèle de moindre qualité, tandis qu'un score de 0 indique un modèle parfait qui reproduit exactement la distribution réelle.
Définition formelle
Pour deux distributions de probabilité \(\mu\) et \(\nu\) sur \(\mathbb{R}^n\) avec des moyennes et variances finies, la distance de Fréchet est définie comme :
\[ d_F(\mu, \nu) := \left( \inf_{\gamma \in \Gamma(\mu, \nu)} \int_{\mathbb{R}^n \times \mathbb{R}^n} \lVert x - y \rVert^2 \, d\gamma(x, y) \right)^{1/2} \]
où \(\Gamma(\mu, \nu)\) est l'ensemble de tous les couplages (distributions jointes) avec marges \(\mu\) et \(\nu\). Il s'agit de la distance de Wasserstein d'ordre 2, qui a une solution de forme fermée lorsque les distributions sont gaussiennes. Dans le contexte de la FID, les distributions sont approximées comme des gaussiennes en utilisant les moyennes et covariances empiriques des vecteurs de caractéristiques, ce qui rend le calcul réalisable.
L'utilisation de la distance de Fréchet, plutôt que de métriques plus simples comme la divergence de Kullback-Leibler, permet à la FID de capturer à la fois le décalage de moyenne et le désaccord de covariance, offrant une mesure plus nuancée de la similarité distributionnelle.
Comparaison avec le score d'inception
La métrique FID ne remplace pas le score d'inception (IS) ; elle le complète. Les classificateurs qui obtiennent le meilleur score FID (le plus bas) tendent à avoir une plus grande variété d'échantillons, tandis que ceux qui obtiennent le meilleur score IS tendent à avoir une meilleure qualité au sein des images individuelles. Cette différence provient du fait que l'IS évalue uniquement les images générées, récompensant les modèles qui produisent des prédictions de classe confiantes et diverses, mais ne pénalise pas les modèles qui génèrent des images en dehors de la distribution cible. La FID, en comparant à un ensemble de référence réel, pénalise à la fois le manque de fidélité et le manque de diversité.
En pratique, les chercheurs rapportent souvent à la fois la FID et l'IS pour fournir une image plus complète de la performance du modèle. Cependant, la FID est devenue la métrique privilégiée dans de nombreuses études récentes en raison de sa corrélation plus forte avec la perception humaine de la qualité des images.
Utilisation dans l'évaluation des modèles génératifs
La FID a été utilisée pour mesurer la qualité de nombreux modèles, y compris les réseaux StyleGAN1 et StyleGAN2, ainsi que les modèles de diffusion. Par exemple, StyleGAN2 a obtenu des scores FID de pointe sur des ensembles de données comme FFHQ et LSUN, démontrant sa capacité à générer des images réalistes et diversifiées. Les modèles de diffusion, tels que DDPM et les modèles basés sur les scores, ont également été évalués avec la FID, obtenant souvent des scores comparables ou supérieurs à ceux des GAN.
La métrique est particulièrement utile pour comparer des modèles entraînés sur le même ensemble de données, car elle fournit une manière standardisée de quantifier les progrès. Cependant, la FID est sensible à l'ensemble de données de référence et au nombre d'échantillons utilisés ; l'utilisation de trop peu d'échantillons peut conduire à des estimations instables. Les chercheurs utilisent généralement des milliers d'images pour calculer des scores FID fiables.
Limites et critiques
Malgré son utilisation répandue, la FID présente des limites. Elle suppose que les distributions de caractéristiques sont gaussiennes, ce qui peut ne pas être vrai en pratique, conduisant à des inexactitudes potentielles. De plus, la FID est calculée à l'aide d'un réseau Inception fixe, qui peut ne pas capturer tous les aspects de la qualité des images, en particulier pour des domaines hors des images naturelles (par exemple, l'imagerie satellite ou médicale). La métrique peut également être biaisée par le nombre d'échantillons, et elle ne fournit pas d'évaluations de qualité par image.
Des travaux récents ont proposé des alternatives, comme l'utilisation des plongements CLIP au lieu des caractéristiques Inception, afin de mieux correspondre à la similarité sémantique. Ces approches visent à remédier à certaines des lacunes de la FID, mais celle-ci reste la norme de facto dans le domaine.
Implémentation
Le calcul de la FID implique plusieurs étapes. Tout d'abord, un ensemble de données de référence est sélectionné, et toutes les images sont passées à travers un réseau Inception v3 pré-entraîné pour extraire les vecteurs de caractéristiques de 2048 dimensions. Les moyennes et covariances empiriques de ces vecteurs sont ensuite calculées pour les ensembles réel et généré. Enfin, la distance de Fréchet est calculée à l'aide de la formule ci-dessus.
En pratique, les matrices de covariance sont souvent régularisées pour garantir la stabilité numérique, en particulier lorsque le nombre d'échantillons est inférieur à la dimension des caractéristiques. La FID est généralement calculée sur des milliers d'images pour obtenir des estimations fiables, car un petit nombre d'échantillons peut entraîner des variances élevées et des scores biaisés.
Utilisation par rapport au score d'inception
La métrique FID ne remplace pas le score d'inception (IS) ; elle le complète. Les classificateurs qui obtiennent le meilleur score FID (le plus bas) tendent à avoir une plus grande variété d'échantillons, tandis que ceux qui obtiennent le meilleur score IS tendent à avoir une meilleure qualité perçue des images individuelles. Cette distinction provient du fait que l'IS récompense les modèles qui produisent des prédictions de classe confiantes et diverses, sans référence à la distribution réelle. La FID, en comparant à un ensemble de référence réel, pénalise à la fois le manque de fidélité et le manque de diversité.
En pratique, les chercheurs rapportent souvent à la fois la FID et l'IS pour fournir une image plus complète des performances du modèle. Cependant, la FID est devenue la métrique préférée dans de nombreuses études récentes en raison de sa meilleure corrélation avec la perception humaine de la qualité.
Utilisation dans l'évaluation des modèles génératifs
La FID a été utilisée pour évaluer de nombreux modèles, y compris les réseaux StyleGAN1 et StyleGAN2 haute résolution, ainsi que les modèles de diffusion. Par exemple, StyleGAN2 a obtenu des scores FID de pointe sur des ensembles de données comme FFHQ et LSUN, démontrant sa capacité à générer des images diverses et réalistes. Les modèles de diffusion, tels que DDPM et les modèles basés sur les scores, ont également été évalués avec la FID, obtenant souvent des scores comparables ou supérieurs à ceux des GAN.
La métrique est particulièrement utile pour comparer des modèles entraînés sur le même ensemble de données, car elle fournit une manière standardisée de quantifier les progrès. Cependant, la FID est sensible à l'ensemble de données de référence et au nombre d'échantillons utilisés ; un nombre trop faible d'échantillons peut conduire à des estimations instables. Les chercheurs utilisent généralement des milliers d'images pour calculer des scores FID fiables.
Limites et critiques
Malgré ses avantages, la FID présente des limites. Elle suppose que les distributions de caractéristiques sont gaussiennes, ce qui peut ne pas être vrai en pratique, entraînant des inexactitudes potentielles. De plus, la FID est calculée à l'aide d'un réseau Inception fixe, qui peut ne pas capturer tous les aspects de la qualité d'image, en particulier pour des domaines autres que les images naturelles (par exemple, l'imagerie médicale ou satellitaire). La métrique peut également être biaisée par le nombre d'échantillons et ne fournit pas d'évaluation de qualité par image.
Des travaux récents ont proposé des alternatives, comme l'utilisation d'embeddings CLIP plutôt que des caractéristiques Inception, pour mieux capturer la similarité sémantique. Ces approches visent à remédier à certaines limites de la FID, mais celle-ci reste la norme de facto dans l'évaluation des modèles génératifs.
Calcul et implémentation
Le calcul de la FID implique plusieurs étapes. Tout d'abord, un ensemble de référence d'images réelles est sélectionné. Ensuite, un modèle Inception v3 pré-entraîné est utilisé pour extraire les vecteurs de caractéristiques de 2048 dimensions de chaque image, à la fois pour l'ensemble réel et l'ensemble généré. Les moyennes et covariances de ces vecteurs sont calculées pour chaque ensemble. Enfin, la distance de Fréchet est calculée en utilisant la formule mentionnée précédemment. Cette distance est ensuite utilisée comme mesure de la qualité du modèle génératif.
Pour garantir la stabilité numérique, en particulier lorsque le nombre d'échantillons est limité, une petite régularisation peut être ajoutée aux matrices de covariance. De plus, il est recommandé d'utiliser un nombre suffisant d'images (par exemple, plusieurs milliers) pour obtenir des estimations fiables. Des implémentations open-source de la FID sont disponibles dans des bibliothèques telles que PyTorch et TensorFlow, facilitant son adoption généralisée.
Directions futures
Alors que le domaine des modèles génératifs continue d'évoluer, la métrique FID reste un outil de référence, mais des améliorations sont explorées. L'utilisation de caractéristiques sémantiques plus riches, comme celles issues de modèles pré-entraînés sur de grands ensembles de données, pourrait offrir une meilleure corrélation avec la perception humaine. De plus, des métriques complémentaires évaluant la diversité, la fidélité et la robustesse sont développées pour fournir une image plus complète de la performance des modèles.
En conclusion, la FID a établi une norme importante pour l'évaluation des modèles génératifs, mais elle n'est pas sans limites. Sa sensibilité aux paramètres de calcul et son incapacité à capturer certains aspects qualitatifs nécessitent une interprétation prudente des scores. Néanmoins, elle reste un outil essentiel dans la boîte à outils du apprentissage automatique, aux côtés d'autres métriques comme le score d'inception.
Pour approfondir, voir des concepts connexes tels que réseau antagoniste génératif, modèle de diffusion et StyleGAN. Le développement de la FID est également lié aux progrès en apprentissage profond et en vision par ordinateur.