Fréchet Video Distance (FVD) ist eine quantitative Metrik zur Bewertung der Qualität von Videos, die von generativen Modellen erzeugt werden, insbesondere im Bereich der generativen KI. Sie berechnet den Abstand zwischen den Merkmalsverteilungen einer Menge realer Videos und einer Menge generierter Videos und erfasst dabei sowohl die räumliche Qualität (einzelne Frames) als auch die zeitliche Kohärenz (Bewegungsdynamik). FVD wurde 2019 von Forschern bei Google DeepMind als Erweiterung der Fréchet Inception Distance (FID) eingeführt, die für Standbilder weit verbreitet ist. Durch die Einbeziehung zeitlicher Informationen behebt FVD eine wesentliche Einschränkung von FID bei der Anwendung auf Videodaten und ist damit ein Standard-Benchmark für Aufgaben wie Text-zu-Video-Generierung und Videoprädiktion.
Die Metrik funktioniert, indem Videoclips durch ein vortrainiertes neuronales Netzwerk, typischerweise ein 3D-Faltungsnetzwerk wie I3D (Inflated 3D ConvNet), geleitet werden, um hochrangige Merkmale zu extrahieren. Diese Merkmale werden dann als multivariate Gauß-Verteilungen modelliert, und die Fréchet-Distanz zwischen den realen und generierten Verteilungen wird berechnet. Ein niedrigerer FVD-Wert zeigt an, dass die generierten Videos realen Videos sowohl in Bezug auf Erscheinungsbild als auch Bewegung ähnlicher sind. FVD wird in der akademischen Forschung und der industriellen Evaluierung weitgehend übernommen, wobei Modelle wie die von OpenAI, Anthropic und anderen Labors FVD-Werte auf öffentlichen Benchmarks wie UCF-101 und Kinetics-400 berichten.
Mathematische Grundlagen
FVD basiert auf der Fréchet-Distanz, einem Maß für die Ähnlichkeit zwischen zwei Wahrscheinlichkeitsverteilungen. Für zwei multivariate Gauß-Verteilungen mit Mittelwerten μ₁, μ₂ und Kovarianzmatrizen Σ₁, Σ₂ ist die Fréchet-Distanz definiert als:
FVD = ||μ₁ - μ₂||² + Tr(Σ₁ + Σ₂ - 2(Σ₁Σ₂)^(1/2))
In der Praxis werden die Merkmale aus einem Video-Encoder extrahiert, und Mittelwert und Kovarianz werden aus einer großen Stichprobe von Clips geschätzt. Die Wahl des Encoders ist entscheidend; I3D, vortrainiert auf dem Kinetics-400-Aktionserkennungsdatensatz, ist am gebräuchlichsten, da es sowohl räumliche als auch zeitliche Muster erfasst. Im Gegensatz zu einfacheren Metriken wie dem Spitzen-Signal-Rausch-Verhältnis (PSNR) oder dem strukturellen Ähnlichkeitsindex (SSIM) erfordert FVD keinen Referenzvideo-Frame-für-Frame-Vergleich, was es für unkonditionierte Generierungsaufgaben geeignet macht.
Vergleich mit anderen Metriken
FVD wird oft mit FID kontrastiert, das einzelne Frames unabhängig bewertet und zeitliche Dynamiken ignoriert. Während FID auf Videos angewendet werden kann, indem Frame-Ebene-Scores gemittelt werden, versagt es bei der Bestrafung von Flackern, Zittern oder unrealistischer Bewegung. FVD behebt dies, indem es die gemeinsame Verteilung von Merkmalen über die Zeit berücksichtigt. Allerdings hat FVD Einschränkungen: Es ist empfindlich gegenüber der Wahl des Merkmalsextraktors und der Anzahl der Stichproben, und es erfasst möglicherweise nicht vollständig semantische Korrektheit oder Text-Video-Ausrichtung. Andere Metriken, wie CLIP-basierte Scores für Text-Video-Ähnlichkeit, werden manchmal neben FVD verwendet, um eine ganzheitlichere Bewertung zu ermöglichen. In der Praxis berichten Forscher sowohl FVD als auch zusätzliche Metriken wie IS (Inception Score) oder Nutzerstudien.
Anwendungen in der Videogenerierung
FVD ist zu einem De-facto-Standard bei der Bewertung von Videogenerierungsmodellen geworden, einschließlich derer von Google DeepMind, OpenAI und Meta AI. Beispielsweise wird FVD bei der Entwicklung von Text-zu-Video-Systemen verwendet, um Modellvarianten auf Datensätzen wie UCF-101 (101 Aktionsklassen) und dem größeren Kinetics-600 zu vergleichen. Es wird auch in Videoprädiktionsaufgaben eingesetzt, bei denen Modelle zukünftige Frames aus vergangenen vorhersagen. Die Metrik hat Fortschritte bei der Reduzierung zeitlicher Artefakte vorangetrieben, da niedrigere FVD-Werte mit glatterer und realistischerer Bewegung korrelieren. In den Jahren 2023 und 2024 berichteten mehrere kommerzielle und Open-Source-Modelle, wie die von Runway und Stability AI, FVD-Verbesserungen als wichtiges Verkaufsargument, obwohl die Metrik nicht ohne Kritik an ihren Rechenkosten und einer potenziellen Verzerrung gegenüber den Trainingsdaten des Encoders ist.
Einschränkungen und Kritik
Trotz seiner Beliebtheit hat FVD mehrere bekannte Probleme. Erstens wurde der I3D-Encoder für Aktionserkennung trainiert, sodass er möglicherweise weniger empfindlich auf feine visuelle Details oder nicht-aktionsbezogene Inhalte reagiert. Zweitens erfordert FVD eine große Anzahl von Stichproben (typischerweise Tausende) für stabile Schätzungen, was rechenintensiv sein kann. Drittens misst es keine semantische Ausrichtung mit Text-Prompts, sodass ein Video mit hoher FVD-Qualität dennoch themenfremd sein kann. Forscher haben Varianten vorgeschlagen, wie die Fréchet-Video-Distanz mit einem anderen Backbone (z. B. unter Verwendung eines Video-Transformers), aber es hat sich kein Konsens herausgebildet. Darüber hinaus sind FVD-Werte nicht direkt über verschiedene Datensätze oder Encoder vergleichbar, was zu potenziellen Fehlinterpretationen in veröffentlichten Ergebnissen führen kann.
Zukünftige Richtungen
Da die Videogenerierung fortschreitet, könnte FVD durch Metriken ergänzt oder ersetzt werden, die menschliche Wahrnehmung oder Sprachverankerung einbeziehen. Einige Bemühungen, wie die Verwendung von Large-Language-Modell-basierten Bewertern, zielen darauf ab, Videos ganzheitlicher zu beurteilen. FVD bleibt jedoch eine robuste, reproduzierbare Baseline für die automatisierte Bewertung. Die Forschungsgemeinschaft verfeinert sie weiterhin, wobei neuere Arbeiten adaptive Stichprobengrößen und bessere Merkmalsextraktoren untersuchen. Vorerst ist FVD ein wesentliches Werkzeug im Werkzeugkasten von Machine-Learning-Praktikern, die an Videosynthese arbeiten, neben anderen Bewertungsrahmen.