Fréchet Video Distance (FVD) é uma métrica quantitativa usada para avaliar a qualidade de vídeos produzidos por modelos generativos, particularmente no campo da IA generativa. Ela calcula a distância entre as distribuições de características de um conjunto de vídeos reais e um conjunto de vídeos gerados, capturando tanto a qualidade espacial (quadros individuais) quanto a coerência temporal (dinâmica de movimento). A FVD foi introduzida em 2019 por pesquisadores da Google DeepMind como uma extensão da Fréchet Inception Distance (FID), amplamente usada para imagens estáticas. Ao incorporar informações temporais, a FVD aborda uma limitação fundamental da FID quando aplicada a dados de vídeo, tornando-se um padrão de referência para tarefas como geração de texto para vídeo e predição de vídeo.
A métrica opera alimentando clipes de vídeo por uma rede neural pré-treinada, tipicamente uma rede convolucional 3D como a I3D (Inflated 3D ConvNet), para extrair características de alto nível. Essas características são então modeladas como distribuições gaussianas multivariadas, e a distância de Fréchet entre as distribuições real e gerada é calculada. Uma pontuação FVD mais baixa indica que os vídeos gerados são mais semelhantes aos vídeos reais em termos de aparência e movimento. A FVD é amplamente adotada em pesquisa acadêmica e avaliação industrial, com modelos como os da OpenAI, Anthropic e outros laboratórios relatando pontuações FVD em benchmarks públicos como UCF-101 e Kinetics-400.
Fundamentação Matemática
A FVD está enraizada na distância de Fréchet, uma medida de similaridade entre duas distribuições de probabilidade. Para duas distribuições gaussianas multivariadas com médias μ₁, μ₂ e matrizes de covariância Σ₁, Σ₂, a distância de Fréchet é definida como:
FVD = ||μ₁ - μ₂||² + Tr(Σ₁ + Σ₂ - 2(Σ₁Σ₂)^(1/2))
Na prática, as características são extraídas de um codificador de vídeo, e a média e a covariância são estimadas a partir de uma grande amostra de clipes. A escolha do codificador é crítica; a I3D, pré-treinada no conjunto de dados de reconhecimento de ação Kinetics-400, é a mais comum, pois captura padrões espaciais e temporais. Diferentemente de métricas mais simples como a relação sinal-ruído de pico (PSNR) ou o índice de similaridade estrutural (SSIM), a FVD não requer um vídeo de referência quadro a quadro, tornando-a adequada para tarefas de geração incondicional.
Comparação com Outras Métricas
A FVD é frequentemente contrastada com a FID, que avalia quadros individuais de forma independente e ignora a dinâmica temporal. Embora a FID possa ser aplicada a vídeos pela média das pontuações em nível de quadro, ela falha em penalizar tremulação, oscilação ou movimento irrealista. A FVD aborda isso considerando a distribuição conjunta das características ao longo do tempo. No entanto, a FVD tem limitações: é sensível à escolha do extrator de características e ao número de amostras, e pode não capturar totalmente a correção semântica ou o alinhamento texto-vídeo. Outras métricas, como pontuações baseadas em CLIP para similaridade texto-vídeo, são às vezes usadas junto com a FVD para fornecer uma avaliação mais holística. Na prática, pesquisadores relatam tanto a FVD quanto métricas adicionais como o IS (Inception Score) ou estudos com usuários.
Aplicações em Geração de Vídeo
A FVD se tornou um padrão de facto na avaliação de modelos de geração de vídeo, incluindo aqueles desenvolvidos pela Google DeepMind, OpenAI e Meta AI. Por exemplo, no desenvolvimento de sistemas de texto para vídeo, a FVD é usada para comparar variantes de modelos em conjuntos de dados como UCF-101 (101 classes de ação) e o maior Kinetics-600. Ela também é empregada em tarefas de predição de vídeo, onde modelos preveem quadros futuros a partir de quadros passados. A métrica impulsionou o progresso na redução de artefatos temporais, pois pontuações FVD mais baixas correlacionam-se com movimento mais suave e realista. Em 2023 e 2024, vários modelos comerciais e de código aberto, como os da Runway e Stability AI, relataram melhorias na FVD como um ponto de venda chave, embora a métrica não esteja isenta de críticas por seu custo computacional e potencial viés em relação aos dados de treinamento do codificador.
Limitações e Críticas
Apesar de sua popularidade, a FVD tem vários problemas conhecidos. Primeiro, o codificador I3D foi treinado para reconhecimento de ação, então pode ser menos sensível a detalhes visuais finos ou conteúdo não relacionado a ação. Segundo, a FVD requer um grande número de amostras (tipicamente milhares) para estimativas estáveis, o que pode ser computacionalmente caro. Terceiro, ela não mede o alinhamento semântico com prompts de texto, então um vídeo com alta qualidade FVD pode ainda assim estar fora do tópico. Pesquisadores propuseram variantes, como a Fréchet Video Distance com um backbone diferente (por exemplo, usando um transformer de vídeo), mas nenhum consenso emergiu. Além disso, pontuações FVD não são diretamente comparáveis entre diferentes conjuntos de dados ou codificadores, levando a potencial má interpretação em resultados publicados.
Direções Futuras
À medida que a geração de vídeo avança, a FVD pode ser suplementada ou substituída por métricas que incorporam percepção humana ou fundamentação em linguagem. Alguns esforços, como o uso de avaliadores baseados em modelos de linguagem de grande escala, visam julgar vídeos de forma mais holística. No entanto, a FVD permanece uma linha de base robusta e reproduzível para avaliação automatizada. A comunidade de pesquisa continua a refiná-la, com trabalhos recentes explorando tamanhos de amostra adaptativos e melhores extratores de características. Por enquanto, a FVD é uma ferramenta essencial no kit de ferramentas de profissionais de aprendizado de máquina que trabalham com síntese de vídeo, juntamente com outras estruturas de avaliação.