La distance vidéo de Fréchet (FVD) est une métrique quantitative utilisée pour évaluer la qualité des vidéos produites par des modèles génératifs, notamment dans le domaine de l'intelligence artificielle générative. Elle calcule la distance entre les distributions de caractéristiques d'un ensemble de vidéos réelles et d'un ensemble de vidéos générées, capturant à la fois la qualité spatiale (images individuelles) et la cohérence temporelle (dynamique du mouvement). La FVD a été introduite en 2019 par des chercheurs de Google DeepMind comme une extension de la distance de Fréchet pour l'inception (FID), largement utilisée pour les images fixes. En intégrant l'information temporelle, la FVD répond à une limitation clé de la FID lorsqu'elle est appliquée aux données vidéo, ce qui en fait une référence standard pour des tâches telles que la génération de vidéos à partir de texte et la prédiction vidéo.
La métrique fonctionne en faisant passer des clips vidéo à travers un réseau neuronal pré-entraîné, généralement un réseau convolutionnel 3D comme I3D (Inflated 3D ConvNet), pour extraire des caractéristiques de haut niveau. Ces caractéristiques sont ensuite modélisées comme des distributions gaussiennes multivariées, et la distance de Fréchet entre les distributions réelles et générées est calculée. Un score FVD plus faible indique que les vidéos générées sont plus similaires aux vidéos réelles en termes d'apparence et de mouvement. La FVD est largement adoptée dans la recherche académique et l'évaluation industrielle, avec des modèles tels que ceux de OpenAI, Anthropic et d'autres laboratoires rapportant des scores FVD sur des références publiques comme UCF-101 et Kinetics-400.
Fondement mathématique
La FVD est ancrée dans la distance de Fréchet, une mesure de similarité entre deux distributions de probabilité. Pour deux distributions gaussiennes multivariées avec des moyennes μ₁, μ₂ et des matrices de covariance Σ₁, Σ₂, la distance de Fréchet est définie comme :
FVD = ||μ₁ - μ₂||² + Tr(Σ₁ + Σ₂ - 2(Σ₁Σ₂)^(1/2))
En pratique, les caractéristiques sont extraites d'un encodeur vidéo, et la moyenne et la covariance sont estimées à partir d'un grand échantillon de clips. Le choix de l'encodeur est critique ; I3D, pré-entraîné sur l'ensemble de données de reconnaissance d'actions Kinetics-400, est le plus courant, car il capture à la fois les motifs spatiaux et temporels. Contrairement à des métriques plus simples comme le rapport signal sur bruit de crête (PSNR) ou l'indice de similarité structurelle (SSIM), la FVD ne nécessite pas de référence vidéo image par image, ce qui la rend adaptée aux tâches de génération inconditionnelle.
Comparaison avec d'autres métriques
La FVD est souvent contrastée avec la FID, qui évalue les images individuelles indépendamment et ignore la dynamique temporelle. Bien que la FID puisse être appliquée aux vidéos en moyennant les scores au niveau des images, elle échoue à pénaliser le scintillement, les tremblements ou les mouvements irréalistes. La FVD répond à cela en considérant la distribution conjointe des caractéristiques dans le temps. Cependant, la FVD a des limites : elle est sensible au choix de l'extracteur de caractéristiques et au nombre d'échantillons, et elle peut ne pas capturer pleinement la correction sémantique ou l'alignement texte-vidéo. D'autres métriques, comme les scores basés sur CLIP pour la similarité texte-vidéo, sont parfois utilisées en complément de la FVD pour fournir une évaluation plus holistique. En pratique, les chercheurs rapportent à la fois la FVD et des métriques supplémentaires comme l'IS (Inception Score) ou des études utilisateurs.
Applications dans la génération vidéo
La FVD est devenue une norme de facto dans l'évaluation des modèles de génération vidéo, y compris ceux développés par Google DeepMind, OpenAI et Meta AI. Par exemple, dans le développement de systèmes de génération de vidéos à partir de texte, la FVD est utilisée pour comparer les variantes de modèles sur des ensembles de données comme UCF-101 (101 classes d'actions) et le plus grand Kinetics-600. Elle est également employée dans les tâches de prédiction vidéo, où les modèles prévoient les images futures à partir des images passées. La métrique a stimulé les progrès dans la réduction des artefacts temporels, car des scores FVD plus faibles sont corrélés à un mouvement plus fluide et plus réaliste. En 2023 et 2024, plusieurs modèles commerciaux et open source, tels que ceux de Runway et Stability AI, ont rapporté des améliorations de la FVD comme argument de vente clé, bien que la métrique ne soit pas sans critiques en raison de son coût computationnel et de son biais potentiel envers les données d'entraînement de l'encodeur.
Limites et critiques
Malgré sa popularité, la FVD présente plusieurs problèmes connus. Premièrement, l'encodeur I3D a été entraîné sur la reconnaissance d'actions, il peut donc être moins sensible aux détails visuels fins ou aux contenus non liés à l'action. Deuxièmement, la FVD nécessite un grand nombre d'échantillons (généralement des milliers) pour des estimations stables, ce qui peut être coûteux en calcul. Troisièmement, elle ne mesure pas l'alignement sémantique avec les invites textuelles, donc une vidéo avec une qualité FVD élevée pourrait encore être hors sujet. Les chercheurs ont proposé des variantes, comme la distance vidéo de Fréchet avec un backbone différent (par exemple, en utilisant un transformateur vidéo), mais aucun consensus n'a émergé. De plus, les scores FVD ne sont pas directement comparables entre différents ensembles de données ou encodeurs, ce qui peut entraîner une mauvaise interprétation dans les résultats publiés.
Directions futures
Alors que la génération vidéo progresse, la FVD pourrait être complétée ou remplacée par des métriques qui intègrent la perception humaine ou l'ancrage linguistique. Certains efforts, comme l'utilisation d'évaluateurs basés sur des modèles de langage de grande taille, visent à juger les vidéos de manière plus holistique. Cependant, la FVD reste une référence robuste et reproductible pour l'évaluation automatisée. La communauté de recherche continue de la affiner, avec des travaux récents explorant des tailles d'échantillons adaptatives et de meilleurs extracteurs de caractéristiques. Pour l'instant, la FVD est un outil essentiel dans la boîte à outils des praticiens du apprentissage automatique travaillant sur la synthèse vidéo, aux côtés d'autres cadres d'évaluation.