最优传输是数学的一个分支，它形式化了将一个概率分布以最小成本转换为另一个概率分布的问题。该理论起源于加斯帕尔·蒙日1781年的工作，并由列昂尼德·坎托罗维奇在1942年加以推广，为比较和转移质量（如商品、数据点或概率）提供了严格的框架。其核心见解是将分布之间的差异不仅视为简单的标量，而是视为考虑底层空间结构的几何量。
该问题通常以两种形式表述。蒙日公式寻求一个确定性映射，将一种分布推送到另一种分布，同时最小化总传输成本。坎托罗维奇的松弛允许质量被分割并重新分配，从而形成一个总是有解的线性规划问题，这种松弛引入了传输计划和Wasserstein距离的概念，后者是一种度量，量化了将一个分布转换为另一个分布的最小成本
数学基础
最优传输的核心是成本函数，通常定义为点之间距离的幂次，例如平方欧氏距离，p阶Wasserstein距离（记作W_p）定义为所有耦合上的最小期望成本，对于p=1，它也被称为推土机距离，在图像检索和直方图比较中很流行，该理论通过Monge-Ampere方程与偏微分方程相联系，该方程描述了连续设置中的最优映射
Kantorovich对偶性是另一个关键结果，将原始运输问题表示为函数对的上确界，从而产生高效的计算方法，这种对偶性还将最优传输与凸分析和博弈论中的概念联系起来，在特定条件下最优解的存在性和唯一性由Yann Brenier等数学家于1991年确立，他证明了对于二次成本，最优映射是凸函数的梯度
##计算方法
精确计算最优传输计划在计算上非常密集，尤其是在高维空间中，Marco Cuturi在2013年引入熵正则化改变了该领域，使得可以使用Sinkhorn算法，该算法通过迭代缩放矩阵来近似最优计划，这种方法被称为Sinkhorn距离，可扩展到大型数据集，并已成为Machine learning库中的常用工具
稀疏和多尺度方法进一步提高了在AMD和NVIDIA GPU等并行硬件上的可扩展性，Python的POT（Python Optimal Transport）库和基于JAX的实现提供了高效的求解器，对于高维问题，切片最优传输等近似方法将分布投影到低维空间，在降低复杂性的同时保留几何信息
##在机器学习中的应用
在Machine learning中，最优传输广泛用于域适应，即调整在一个分布上训练的模型以适用于另一个分布，Wasserstein距离作为生成模型中的训练目标，，尤其是在Wasserstein生成对抗网络（WGANs）中，由Martin Arjovsky及其同事于2017年引入，与传统GAN相比提高了训练稳定性
最优传输还为Neural network的可解释性和模型压缩提供支持，例如，它用于对齐不同模型的嵌入，从而在Artificial intelligence系统之间实现迁移学习，在Deep learning中，，它促进了变分自编码器中潜在空间的对齐，并有助于具有几何意识的聚类，该理论支撑了Generative AI中控制模型输出分布的方法，提高了多样性和保真度
##经济学及其他领域
在人工智能之外，最优传输在经济学中是基础性的，它模拟资源分配，例如以最小成本将货物从工厂运送到市场，它用于计量经济学中，通过收入分布之间的Wasserstein距离来衡量不平等，在城市规划中，，它有助于优化公共交通网络和设施选址
在图像处理中，最优传输实现了图像之间的颜色转移和形状变形，在生物信息学中，它跨实验对齐单细胞RNA测序数据，该理论还出现在气象学中的数据同化以及金融学中的风险管理和投资组合优化中，，它有助于比较资产收益的概率分布
##近期发展
近期研究将最优传输扩展到不平衡和部分传输，其中总质量可能不守恒，这在噪声环境中很有用，神经最优传输使用Deep learning来参数化传输映射，使其能够用于高维空间，该领域还与Large language model对齐相交义，，它有助于评估和改进文本嵌入之间的语义相似性
Sinkhorn算法已被改编用于Transformer (architecture)架构中，提高了注意力机制的效率，，Google DeepMind和OpenAI的研究人员探索了最优传输以改进训练数据选择和模型鲁棒性，截至2024年，最优传输仍是一个活跃的研究领域，在NeurIPS和ICML等主要AI会议上设有年度研讨会，，反映了其广泛的实用性
infobox
• 类型：数学理论
• 提出时间：1781年（蒙日），1942年（坎托罗维奇）
• 提出者：加斯帕尔·蒙日、列昂尼德·坎托罗维奇
• 相关：Machine learning、Deep learning、Generative AI
/infobox