Fréchet Video Distance（FVD）是一种用于评估生成模型所生成视频质量的定量指标，尤其在生成式人工智能领域中得到应用。它通过计算一组真实视频与一组生成视频在特征分布之间的距离，同时捕捉空间质量（单个帧）和时间连贯性（运动动态）。FVD由谷歌深度思维的研究人员于2019年提出，作为广泛用于静态图像的Fréchet Inception Distance（FID）的扩展。通过纳入时间信息，FVD解决了FID在应用于视频数据时的一个关键局限性，并成为文本到视频生成和视频预测等任务的标准基准。
该指标的操作方式是，将视频片段输入预训练的神经网络（通常是3D卷积网络，如I3D（Inflated 3D ConvNet））以提取高层特征。随后，这些特征被建模为多元高斯分布，并计算真实分布与生成分布之间的Fréchet距离。FVD分数越低，表示生成视频在视觉外观和运动方面越接近真实视频。FVD在学术研究和行业评估中被广泛采用，OpenAI、Anthropic等实验室以及Runway和Stability AI等机构在UCF-101和Kinetics-400等公开基准上报告FVD分数。
数学基础
FVD植根于Fréchet距离，这是一种衡量两个概率分布之间相似度的指标。对于两个多元高斯分布，其均值分别为μ₁和μ₂，协方差矩阵分别为Σ₁和Σ₂，Fréchet距离定义为：
FVD = ||μ₁ - μ₂||² + Tr(Σ₁ + Σ₂ - 2(Σ₁Σ₂)^(1/2))
在实践中，特征从视频编码器中提取，均值和协方差则从大量样本片段中估计。编码器的选择至关重要；I3D在Kinetics-400动作识别数据集上预训练，是最常用的选择，因为它能同时捕捉空间和时间模式。与峰值信噪比（PSNR）或结构相似性指数（SSIM）等较简单的指标不同，FVD不需要逐帧参考视频，因此适用于无条件生成任务。
与其他指标的对比
FVD常与FID进行对比，后者独立评估每一帧，而忽略时间动态。虽然FID可以通过对帧级分数取平均来应用于视频，但它无法惩罚闪烁、抖动或不真实的运动。FVD通过考虑特征在时间上的联合分布来解决这一问题。然而，FVD也有其局限性：它对特征提取器的选择敏感，且需要大量样本才能获得稳定估计，并且可能无法完全捕捉语义正确性或文本对齐。其他指标，如基于CLIP的文本-视频相似度分数，有时会与FVD结合使用，以提供更全面的评估。在实践中，研究人员会同时报告FVD和额外指标，如IS（Inception Score）或用户研究。
在视频生成中的应用
FVD已成为评估视频生成模型的事实标准，包括由谷歌深度思维、OpenAI和Meta AI开发的模型。例如，在文本到视频系统的开发中，FVD用于在UCF-101（101个动作类别）和更大的Kinetics-600等数据集上比较模型变体。它也被用于视频预测任务，其中模型从过去的帧预测未来的帧。该指标推动了减少时间伪影方面的进展，因为较低的FVD分数与更平滑、更真实的运动相关。在2023年和2024年，多个商业和开源模型（如来自Runway和Stability AI的模型）将FVD改进作为关键卖点，尽管该指标因其计算成本和对编码器训练数据的潜在偏差而受到批评。
局限性与批评
尽管FVD广受欢迎，但它存在几个已知问题。首先，I3D编码器是在动作识别任务上训练的，因此可能对细粒度的视觉细节或非动作内容不太敏感。其次，FVD需要大量样本（通常为数千个）才能获得稳定估计，这在计算上成本较高。第三，它不衡量与文本提示的语义对齐，因此一个FVD分数较高的视频可能在内容上偏离主题。研究人员提出了多种变体，例如使用不同骨干网络（如视频Transformer）的Fréchet Video Distance，但尚未形成共识。此外，FVD分数在不同数据集或编码器之间不具有直接可比性，这可能导致已发表结果中的误解。
未来方向
随着视频生成技术的进步，FVD可能会被结合人类感知或语言 grounding 的指标所补充或取代。一些努力，例如使用大语言模型的评估器，旨在更全面地评判视频。然而，FVD仍然是自动化评估中一个稳健且可复现的基线。研究社区正在持续改进它，近期工作探索了自适应样本量和更好的特征提取器。目前，FVD是机器学习从业者在视频合成领域的重要工具，与其他评估框架并存。