流匹配是一种用于连续归一化流的训练范式，这类生成模型通过常微分方程将简单概率分布转换为复杂目标分布。该概念由Yaron Lipman及其合作者于2022年提出，流匹配在训练过程中无需模拟完整的扩散过程。相反，它直接将神经网络回归到预定义的向量场上，该向量场将样本从噪声分布传输到数据分布。这种方法简化了训练目标，降低了计算成本，并已成为现代生成式AI的基础技术，尤其在图像、音频和视频合成领域。
在连续归一化流中，变换由常微分方程定义：dz/dt = v_t(z)，其中v_t是时间相关的向量场。流匹配目标最小化模型预测向量场与定义先验分布和数据分布之间概率路径的目标向量场之间的期望平方差。与需要随机前向过程和去噪得分匹配目标的扩散模型不同，流匹配使用噪声与数据之间的确定性插值。这种确定性公式通常带来更快的训练和采样速度，并提供了一个统一框架，在适当选择插值时将扩散模型作为特例包含在内。
流匹配的核心思想是构建一个条件概率路径p_t(z | z_1)，将简单先验分布p_0（例如标准高斯分布）连接到数据点z_1。目标向量场u_t(z | z_1)随后定义为插值z_t = (1 - t) z_0 + t z_1的时间导数，其中t从0到1变化。模型被训练以匹配此条件向量场，由于边缘向量场是条件向量场的加权平均，匹配条件向量场足以学习边缘概率路径。这一见解在流匹配定理中形式化，使得训练目标无需解常微分方程即可计算，从而提高了计算效率。
历史背景及与扩散模型的关系
流匹配源于归一化流和基于得分的生成模型的更广泛谱系。传统归一化流，如NICE、RealNVP和Glow，使用一系列可逆变换将简单分布映射到复杂分布，但通常需要精心设计的架构以保持雅可比行列式的可计算性。连续归一化流由Chen等人于2018年引入，将变换参数化为神经常微分方程，但通过最大似然训练需要反向传播通过常微分方程求解器，计算成本高昂。
扩散模型由Ho等人于2020年推广，使用逐步向数据添加噪声的前向过程和去噪的反向过程。它们通过得分匹配进行训练，这等价于学习对数密度的梯度。流匹配可视为扩散模型的推广：通过选择特定的插值调度，流匹配目标可简化为去噪得分匹配目标。然而，流匹配在设计概率路径方面提供更多灵活性，且通常产生更直的轨迹，从而支持更少的采样步骤。这使得流匹配成为许多最先进生成系统中的首选方法，包括OpenAI和Google DeepMind等公司使用的系统。
数学公式
设z_0为从先验分布p_0（通常为标准高斯分布）中抽取的随机变量。对于每个数据点z_1，定义一个条件概率路径p_t(z | z_1)，在t=0时插值p_0，在t=1时插值z_1处的狄拉克δ函数。常见选择是线性插值z_t = (1 - t) z_0 + t z_1，这产生均值为(1-t) z_1、方差为t^2 I的高斯路径。条件向量场随后为u_t(z | z_1) = (z_1 - z) / (1 - t)，即插值的时间导数。
流匹配目标是最小化模型向量场v_theta(z, t)与条件向量场u_t(z | z_1)之间的期望平方L2范数，平均于t、z_0和z_1。关键定理指出，如果v_theta匹配所有数据点的条件向量场，则它也匹配生成边缘概率路径p_t(z) = ∫ p_t(z | z_1) q(z_1) dz_1的边缘向量场，其中q是数据分布。这允许无需模拟常微分方程即可训练，在推理时，通过从t=0到t=1求解常微分方程dz/dt = v_theta(z, t)生成样本。
训练与实现
在实践中，流匹配模型使用神经网络实现，通常基于U-Net或Transformer (architecture)架构，这些网络以噪声样本z_t和时间步t为输入，输出预测向量场。训练损失通过从均匀分布中采样随机t、从先验中采样z_0、从数据集中采样z_1并计算目标向量场来计算。模型使用标准优化器如Adam (Optimizer)和Learning Rate Scheduling技术进行训练。
流匹配的主要优势之一是其简单性：无需前向扩散过程，无需单独的噪声调度，也无需扩散训练中常见的重要性采样或其他方差减少技术。目标是一个直接的回归损失，通常更稳定且更易调整。此外，流匹配可与Data Augmentation和Gradient Clipping等技术结合以提高鲁棒性。
在生成式AI中的应用
流匹配已广泛用于生成式AI，特别是在高质量图像和视频合成中。例如，Stability AI开发的Stable Diffusion 3模型使用基于流匹配的架构，并在文本到图像生成中展示了最先进的性能。类似地，音频生成模型AudioLDM 2使用流匹配从文本描述生成声音。在视频领域，Sora（由OpenAI开发）和多个Google DeepMind项目已探索将流匹配用于生成连贯视频序列。
该技术还用于科学应用，如蛋白质结构预测和分子生成，其中连续归一化流在建模复杂分布方面具有优势。在Machine learning领域，流匹配已成为生成建模者工具箱中的标准工具，通常因其计算效率和概念清晰性而优于扩散模型。
优势与局限性
流匹配相比其他生成模型具有多项优势。首先，它提供噪声与数据之间的确定性映射，从而实现精确似然计算和更简单的反演。其次，训练目标是简单的回归损失，计算高效且稳定。第三，生成的常微分方程轨迹通常比扩散模型更直，从而支持更少的采样步骤和更快的推理。
然而，流匹配也有局限性。插值调度和先验分布的选择会显著影响性能，找到最佳设置可能需要实验。此外，虽然流匹配简化了训练，但推理时仍需解常微分方程，对于高维数据可能计算密集。与Generative AI模型如GAN相比，流匹配在某些情况下可能产生较不清晰的样本，尽管这一差距已随着近期进展而缩小。
扩展与变体
已提出多种流匹配扩展以解决其局限性。随机流匹配在插值中引入噪声以提高鲁棒性。Liu等人引入的整流流旨在通过迭代细化插值进一步拉直轨迹，从而实现更快的采样。使用最优传输路径的条件流匹配利用先验与数据分布之间的最优传输映射，可减少轨迹曲率并提高训练效率。
另一个变体是在潜在空间中使用流匹配，其中模型在由自编码器学习的压缩表示上操作。这种方法用于Stable Diffusion 3等模型，降低了维度，使流匹配模型能专注于最显著的特征。此外，流匹配已与Large language model架构结合用于多模态生成，同一模型可生成文本、图像和音频。
影响与未来方向
流匹配对生成建模领域产生了重大影响，提供了比扩散模型更简单且更灵活的替代方案。其在商业系统中的采用，如OpenAI和Google DeepMind的系统，凸显了其实用相关性。截至2025年，研究继续探索新的插值方案、更高效的求解器以及3D生成和机器人等领域的应用。
流匹配的未来可能涉及与Transformer (architecture)架构和Neural network设计的更深层次集成，以处理日益复杂的数据模态。此外，还有关于提高流匹配样本效率并将其扩展到离散数据（这仍是一个挑战）的积极研究。总体而言，流匹配代表了迈向更鲁棒和可扩展生成模型的关键一步，其原理可能影响Artificial intelligence的未来发展。