Fréchet视频距离（FVD）是一种用于评估生成模型所生成视频质量的定量指标，尤其在生成式人工智能领域应用广泛。它计算一组真实视频与一组生成视频的特征分布之间的距离，同时捕捉空间质量（单个帧）和时间连贯性（运动动态）。FVD由谷歌深度思维于2019年提出，作为广泛应用于静态图像的Fréchet Inception距离（FID）的扩展。通过引入时间信息，FVD解决了FID在应用于视频数据时的一个关键局限性，使其成为文本生成视频和视频预测等任务的标准基准。
该指标通过将视频片段输入预训练的神经网络（通常是三维卷积网络，如I3D（膨胀三维卷积网络））来提取高层特征。这些特征随后被建模为多元高斯分布，并计算真实分布与生成分布之间的Fréchet距离。FVD分数越低，表明生成视频在外观和运动方面与真实视频越相似。FVD在学术研究和行业评估中被广泛采用，OpenAI、Anthropic等实验室以及UCF-101和Kinetics-400等公开基准上报告的模型均会给出FVD分数。
数学基础
FVD源于Fréchet距离，这是一种衡量两个概率分布之间相似度的指标。对于均值分别为μ₁、μ₂，协方差矩阵分别为Σ₁、Σ₂的两个多元高斯分布，Fréchet距离定义为：
FVD = ||μ₁ - μ₂||² + Tr(Σ₁ + Σ₂ - 2(Σ₁Σ₂)^(1/2))
在实践中，特征从视频编码器中提取，均值和协方差则根据大量视频片段样本进行估计。编码器的选择至关重要；在Kinetics-400动作识别数据集上预训练的I3D是最常用的选择，因为它能同时捕捉空间和时间模式。与峰值信噪比（PSNR）或结构相似性指数（SSIM）等更简单的指标不同，FVD不需要逐帧参考视频，因此适用于无条件生成任务。
与其他指标的比较
FVD常与FID进行对比，后者独立评估每一帧并忽略时间动态。虽然FID可以通过对帧级分数取平均来应用于视频，但它无法惩罚闪烁、抖动或不真实的运动。FVD通过考虑特征在时间上的联合分布来解决这一问题。然而，FVD也有局限性：它对特征提取器的选择和样本数量较为敏感，并且可能无法完全捕捉语义正确性或文本-视频对齐。其他指标，例如基于CLIP的文本-视频相似度评分，有时会与FVD结合使用，以提供更全面的评估。在实践中，研究人员会同时报告FVD以及IS（Inception分数）或用户研究等其他指标。
在视频生成中的应用
FVD已成为评估视频生成模型的事实标准，包括谷歌深度思维、OpenAI和Meta AI开发的模型。例如，在文本生成视频系统的开发中，FVD用于在UCF-101（101个动作类别）和更大的Kinetics-600等数据集上比较不同模型变体。它也用于视频预测任务，即模型根据过去的帧预测未来的帧。该指标推动了减少时间伪影的进展，因为较低的FVD分数与更平滑、更真实的运动相关。在2023年和2024年，Runway和Stability AI等多家商业和开源模型将FVD的改进作为关键卖点，尽管该指标因其计算成本以及对编码器训练数据的潜在偏差而受到批评。
局限性与批评
尽管FVD广受欢迎，但它存在几个已知问题。首先，I3D编码器是在动作识别任务上训练的，因此可能对细粒度的视觉细节或非动作内容不够敏感。其次，FVD需要大量样本（通常数千个）才能获得稳定估计，这可能导致计算成本高昂。第三，它不衡量与文本提示的语义对齐，因此FVD分数高的视频仍可能与主题无关。研究人员提出了各种变体，例如使用不同骨干网络（如视频Transformer）的Fréchet视频距离，但尚未达成共识。此外，FVD分数在不同数据集或编码器之间不具有直接可比性，这可能导致已发表结果被误解。
未来方向
随着视频生成技术的进步，FVD可能会被纳入人类感知或语言接地的新指标所补充或取代。一些努力，例如使用基于大型语言模型的评估器，旨在更全面地评判视频。然而，FVD仍然是一个稳健、可复现的自动化评估基线。研究社区持续对其进行改进，近期工作探索了自适应样本量和更好的特征提取器。目前，FVD是机器学习从业者进行视频合成时工具包中的重要组成部分，与其他评估框架并列使用。