La distancia de vídeo de Fréchet (FVD) es una métrica cuantitativa utilizada para evaluar la calidad de los vídeos producidos por modelos generativos, particularmente en el campo de la IA generativa. Calcula la distancia entre las distribuciones de características de un conjunto de vídeos reales y un conjunto de vídeos generados, capturando tanto la calidad espacial (fotogramas individuales) como la coherencia temporal (dinámica del movimiento). La FVD fue introducida en 2019 por investigadores de Google DeepMind como una extensión de la distancia de inicio de Fréchet (FID), que se utiliza ampliamente para imágenes fijas. Al incorporar información temporal, la FVD aborda una limitación clave de la FID cuando se aplica a datos de vídeo, convirtiéndola en un estándar de referencia para tareas como la generación de texto a vídeo y la predicción de vídeo.
La métrica funciona introduciendo clips de vídeo a través de una red neuronal preentrenada, típicamente una red convolucional 3D como I3D (Red ConvNet 3D inflada), para extraer características de alto nivel. Estas características se modelan entonces como distribuciones gaussianas multivariantes, y se calcula la distancia de Fréchet entre las distribuciones reales y generadas. Una puntuación FVD más baja indica que los vídeos generados son más similares a los vídeos reales en términos de apariencia y movimiento. La FVD está ampliamente adoptada en la investigación académica y la evaluación industrial, con modelos como los de OpenAI, Anthropic y otros laboratorios que reportan puntuaciones FVD en puntos de referencia públicos como UCF-101 y Kinetics-400.
Fundamento matemático
La FVD se basa en la distancia de Fréchet, una medida de similitud entre dos distribuciones de probabilidad. Para dos distribuciones gaussianas multivariantes con medias μ₁, μ₂ y matrices de covarianza Σ₁, Σ₂, la distancia de Fréchet se define como:
FVD = ||μ₁ - μ₂||² + Tr(Σ₁ + Σ₂ - 2(Σ₁Σ₂)^(1/2))
En la práctica, las características se extraen de un codificador de vídeo, y la media y la covarianza se estiman a partir de una gran muestra de clips. La elección del codificador es crítica; I3D, preentrenado en el conjunto de datos de reconocimiento de acciones Kinetics-400, es el más común, ya que captura patrones tanto espaciales como temporales. A diferencia de métricas más simples como la relación señal-ruido máxima (PSNR) o el índice de similitud estructural (SSIM), la FVD no requiere un vídeo de referencia fotograma a fotograma, lo que la hace adecuada para tareas de generación incondicional.
Comparación con otras métricas
La FVD se contrasta a menudo con la FID, que evalúa fotogramas individuales de forma independiente e ignora la dinámica temporal. Aunque la FID puede aplicarse a vídeos promediando las puntuaciones a nivel de fotograma, no penaliza el parpadeo, la vibración o el movimiento poco realista. La FVD aborda esto considerando la distribución conjunta de características a lo largo del tiempo. Sin embargo, la FVD tiene limitaciones: es sensible a la elección del extractor de características y al número de muestras, y puede no capturar completamente la corrección semántica o la alineación texto-vídeo. Otras métricas, como las puntuaciones basadas en CLIP para la similitud texto-vídeo, se utilizan a veces junto con la FVD para proporcionar una evaluación más holística. En la práctica, los investigadores reportan tanto la FVD como métricas adicionales como el IS (puntuación de inicio) o estudios de usuarios.
Aplicaciones en la generación de vídeo
La FVD se ha convertido en un estándar de facto en la evaluación de modelos de generación de vídeo, incluidos los desarrollados por Google DeepMind, OpenAI y Meta AI. Por ejemplo, en el desarrollo de sistemas de texto a vídeo, la FVD se utiliza para comparar variantes de modelos en conjuntos de datos como UCF-101 (101 clases de acciones) y el más grande Kinetics-600. También se emplea en tareas de predicción de vídeo, donde los modelos pronostican fotogramas futuros a partir de los pasados. La métrica ha impulsado el progreso en la reducción de artefactos temporales, ya que puntuaciones FVD más bajas se correlacionan con un movimiento más suave y realista. En 2023 y 2024, varios modelos comerciales y de código abierto, como los de Runway y Stability AI, reportaron mejoras en la FVD como un punto de venta clave, aunque la métrica no está exenta de críticas por su coste computacional y su posible sesgo hacia los datos de entrenamiento del codificador.
Limitaciones y críticas
A pesar de su popularidad, la FVD tiene varios problemas conocidos. Primero, el codificador I3D fue entrenado en reconocimiento de acciones, por lo que puede ser menos sensible a detalles visuales finos o contenido no relacionado con acciones. Segundo, la FVD requiere un gran número de muestras (típicamente miles) para estimaciones estables, lo que puede ser computacionalmente costoso. Tercero, no mide la alineación semántica con las indicaciones de texto, por lo que un vídeo con alta calidad FVD podría seguir estando fuera de tema. Los investigadores han propuesto variantes, como la distancia de vídeo de Fréchet con una columna vertebral diferente (por ejemplo, utilizando un transformador de vídeo), pero no ha surgido un consenso. Además, las puntuaciones FVD no son directamente comparables entre diferentes conjuntos de datos o codificadores, lo que lleva a una posible interpretación errónea en los resultados publicados.
Direcciones futuras
A medida que avanza la generación de vídeo, la FVD puede ser complementada o reemplazada por métricas que incorporen la percepción humana o el fundamento lingüístico. Algunos esfuerzos, como el uso de evaluadores basados en modelos de lenguaje grandes, tienen como objetivo juzgar los vídeos de manera más holística. Sin embargo, la FVD sigue siendo una línea base robusta y reproducible para la evaluación automatizada. La comunidad investigadora continúa refinándola, con trabajos recientes que exploran tamaños de muestra adaptativos y mejores extractores de características. Por ahora, la FVD es una herramienta esencial en el kit de herramientas de los profesionales de aprendizaje automático que trabajan en síntesis de vídeo, junto con otros marcos de evaluación.