最適輸送は、ある確率分布を最小コストで別の確率分布へ変換する問題を定式化する数学の一分野である。1781年のガスパール・モンジュの研究に起源を持ち、後に1942年にレオニード・カントロビッチによって一般化されたこの理論は、財、データ点、確率などの質量を比較・移動するための厳密な枠組みを提供する。その核心的な洞察は、分布間の差異を単純なスカラーとしてではなく、基礎となる空間の構造を考慮した幾何学的量として扱うことにある。
この問題は通常、2つの形式で述べられる。モンジュの定式化は、一方の分布を他方へ押し出す決定論的写像を求め、総輸送コストを最小化する。カントロビッチの緩和は、質量の分割と再割り当てを可能にし、常に解を持つ線形計画問題へと導く。この緩和により、輸送計画の概念と、ある分布を別の分布へ変換する最小コストを定量化する計量であるワッサーシュタイン距離が導入された。
数学的基礎
最適輸送の中心にはコスト関数があり、通常は点間の距離のべき乗、例えばユークリッド距離の二乗として定義される。次数pのワッサーシュタイン距離はW_pと表記され、すべてのカップリングにわたる最小期待コストとして定義される。p=1の場合、これは地球移動距離としても知られ、画像検索やヒストグラム比較で人気がある。この理論は、連続設定における最適写像を記述するモンジュ・アンペール方程式を通じて偏微分方程式と関連する。
カントロビッチ双対性ももう一つの重要な結果であり、主輸送問題を関数のペア上の上限として表現し、効率的な計算手法を導く。この双対性はまた、最適輸送を凸解析やゲーム理論の概念と結び付ける。特定の条件下での最適解の存在と一意性は、1991年にイアン・ブレニエなどの数学者によって確立され、二次コストの場合、最適写像が凸関数の勾配であることを示した。
計算手法
最適輸送計画を正確に計算することは、特に高次元では計算集約的である。2013年にマルコ・クトゥリによって導入されたエントロピー正則化はこの分野を変革し、行列を反復的にスケーリングして最適計画を近似するシンクホーンアルゴリズムの使用を可能にした。シンクホーン距離として知られるこの手法は、大規模データセットにスケールし、Machine learningライブラリの定番となっている。
スパースおよびマルチスケール手法は、AMDやNVIDIA GPUなどの並列ハードウェア上でのスケーラビリティをさらに向上させた。PythonのPOT（Python Optimal Transport）やJAXベースの実装などのライブラリは、効率的なソルバーを提供する。高次元問題では、スライス最適輸送などの近似手法が分布を低次元空間に射影し、幾何学的情報を保持しながら複雑さを低減する。
機械学習への応用
Machine learningにおいて、最適輸送はドメイン適応に広く使用され、ある分布で訓練されたモデルが別の分布で機能するように調整される。ワッサーシュタイン距離は生成モデルにおける訓練目的として機能し、特に2017年にマーティン・アルヨフスキーらによって導入されたワッサーシュタイン生成敵対ネットワーク（WGAN）では、従来のGANと比較して訓練の安定性が向上する。
最適輸送はまた、Neural networkの解釈可能性とモデル圧縮を支える。例えば、異なるモデルからの埋め込みを整列させるために使用され、Artificial intelligenceシステム間の転移学習を可能にする。Deep learningでは、変分オートエンコーダにおける潜在空間の整列を促進し、幾何学的認識を持つクラスタリングを支援する。この理論は、Generative AIにおけるモデルの出力分布を制御し、多様性と忠実度を向上させる手法の基盤となっている。
経済学およびその他の領域
AIを超えて、最適輸送は経済学の基盤であり、工場から市場への商品輸送などの資源配分を最小コストでモデル化する。計量経済学では、所得分布間のワッサーシュタイン距離を通じて不平等を測定するために使用される。都市計画では、公共交通ネットワークや施設配置の最適化を支援する。
画像処理では、最適輸送により画像間の色転送や形状モーフィングが可能になる。バイオインフォマティクスでは、実験間の単一細胞RNAシーケンシングデータを整列させる。この理論はまた、気象学のデータ同化や、資産収益の確率分布の比較を支援する金融のリスク管理やポートフォリオ最適化にも現れる。
最近の展開
最近の研究は、総質量が保存されない可能性がある不均衡輸送や部分輸送へと拡張しており、ノイズの多い設定で有用である。ニューラル最適輸送は、Deep learningを使用して輸送写像をパラメータ化し、高次元空間での使用を可能にする。この分野はまた、Large language modelの整列と交差し、テキスト埋め込み間の意味的類似性の評価と改善に役立つ。
シンクホーンアルゴリズムは、Transformer (architecture)アーキテクチャでの使用に適応され、注意機構の効率を向上させている。Google DeepMindやOpenAIの研究者は、訓練データ選択とモデル堅牢性の改善のために最適輸送を探求している。2024年現在、最適輸送は活発な研究領域であり、NeurIPSやICMLなどの主要なAI会議での年次ワークショップがその広範な有用性を反映している。
infobox
• 種類: 数学理論
• 導入年: 1781年（モンジュ）、1942年（カントロビッチ）
• 導入者: ガスパール・モンジュ、レオニード・カントロビッチ
• 関連: Machine learning、Deep learning、Generative AI
/infobox