Le transport optimal est une branche des mathématiques qui formalise le problème de transformer une distribution de probabilité en une autre avec un coût minimal. Issu des travaux de Gaspard Monge en 1781, puis généralisé par Leonid Kantorovich en 1942, la théorie fournit un cadre rigoureux pour comparer et déplacer de la masse, comme des biens, des points de données ou des probabilités. Son idée centrale est de traiter la différence entre distributions non pas comme un scalaire simple, mais comme une quantité géométrique qui tient compte de la structure de l'espace sous-jacent.
Le problème est généralement formulé sous deux formes. La formulation de Monge cherche une application déterministe qui pousse une distribution vers une autre, en minimisant le coût total de transport. La relaxation de Kantorovich permet de diviser et de réassigner la masse, conduisant à un problème de programmation linéaire qui a toujours une solution. Cette relaxation a introduit le concept de plan de transport et la distance de Wasserstein, une métrique qui quantifie le coût minimal de transformation d'une distribution en une autre.
Fondements mathématiques
Au cœur du transport optimal se trouve la fonction de coût, généralement définie comme la distance entre points élevée à une puissance, comme la distance euclidienne au carré. La distance de Wasserstein d'ordre p, notée W_p, est définie comme le coût attendu minimal sur tous les couplages. Pour p=1, elle est également connue sous le nom de distance du déménageur, populaire dans la recherche d'images et la comparaison d'histogrammes. La théorie se connecte aux équations aux dérivées partielles via l'équation de Monge-Ampère, qui décrit l'application optimale dans des contextes continus.
La dualité de Kantorovich est un autre résultat clé, exprimant le problème primal de transport comme un supremum sur des paires de fonctions, conduisant à des méthodes computationnelles efficaces. Cette dualité relie également le transport optimal à des concepts en analyse convexe et en théorie des jeux. L'existence et l'unicité des solutions optimales sous certaines conditions ont été établies par des mathématiciens comme Yann Brenier en 1991, qui a montré que pour des coûts quadratiques, l'application optimale est le gradient d'une fonction convexe.
Approches computationnelles
Calculer exactement les plans de transport optimal est coûteux en calcul, surtout en haute dimension. L'introduction de la régularisation entropique par Marco Cuturi en 2013 a transformé le domaine, permettant l'utilisation de l'algorithme de Sinkhorn, qui met à l'échelle itérativement une matrice pour approximer le plan optimal. Cette approche, connue sous le nom de distances de Sinkhorn, s'adapte à de grands ensembles de données et est devenue un incontournable dans les bibliothèques de Machine learning.
Des méthodes éparses et multi-échelles ont encore amélioré l'évolutivité sur du matériel parallèle comme les GPU AMD et NVIDIA. Des bibliothèques comme POT (Python Optimal Transport) et des implémentations basées sur JAX fournissent des solveurs efficaces. Pour les problèmes en haute dimension, des méthodes approximatives comme le transport optimal en tranches projettent les distributions sur des espaces de dimension inférieure, réduisant la complexité tout en conservant l'information géométrique.
Applications en apprentissage automatique
En Machine learning, le transport optimal est largement utilisé pour l'adaptation de domaine, où un modèle entraîné sur une distribution est ajusté pour fonctionner sur une autre. La distance de Wasserstein sert d'objectif d'entraînement dans les modèles génératifs, notamment dans les réseaux antagonistes génératifs de Wasserstein (WGAN), introduits par Martin Arjovsky et ses collègues en 2017, qui améliorent la stabilité de l'entraînement par rapport aux GAN traditionnels.
Le transport optimal alimente également l'interprétabilité des Neural network et la compression de modèles. Par exemple, il est utilisé pour aligner les plongements de différents modèles, permettant l'apprentissage par transfert entre systèmes d'Artificial intelligence. En Deep learning, il facilite l'alignement des espaces latents dans les autoencodeurs variationnels et aide au clustering avec une conscience géométrique. La théorie sous-tend des méthodes en Generative AI pour contrôler la distribution de sortie des modèles, améliorant la diversité et la fidélité.
Économie et autres domaines
Au-delà de l'IA, le transport optimal est fondamental en économie, où il modélise l'allocation des ressources, comme l'expédition de biens des usines vers les marchés avec un coût minimal. Il est utilisé en économétrie pour mesurer l'inégalité via la distance de Wasserstein entre les distributions de revenus. En urbanisme, il aide à optimiser les réseaux de transport public et l'emplacement des installations.
En traitement d'images, le transport optimal permet le transfert de couleurs entre images et le morphing de formes. En bioinformatique, il aligne les données de séquençage ARN unicellulaire entre expériences. La théorie apparaît également en météorologie pour l'assimilation de données et en finance pour la gestion des risques et l'optimisation de portefeuille, où elle aide à comparer les distributions de probabilité des rendements d'actifs.
Développements récents
Les recherches récentes étendent le transport optimal au transport non équilibré et partiel, où la masse totale peut ne pas être conservée, utile dans des contextes bruités. Le transport optimal neuronal utilise le Deep learning pour paramétrer les applications de transport, permettant une utilisation dans des espaces de haute dimension. Le domaine intersecte également l'alignement des Large language model, où il aide à évaluer et améliorer la similarité sémantique entre les plongements de texte.
L'algorithme de Sinkhorn a été adapté pour une utilisation dans les architectures Transformer (architecture), améliorant l'efficacité des mécanismes d'attention. Des chercheurs chez Google DeepMind et OpenAI ont exploré le transport optimal pour améliorer la sélection des données d'entraînement et la robustesse des modèles. En 2024, le transport optimal reste un domaine de recherche dynamique, avec des ateliers annuels lors des grandes conférences IA comme NeurIPS et ICML, reflétant son utilité générale.
infobox
• Type : Théorie mathématique
• Introduit : 1781 (Monge), 1942 (Kantorovich)
• Introduit par : Gaspard Monge, Leonid Kantorovich
• Lié : Machine learning, Deep learning, Generative AI
/infobox