최적 수송(Optimal transport)은 하나의 확률 분포를 최소 비용으로 다른 확률 분포로 변환하는 문제를 형식화하는 수학의 한 분야이다. 1781년 가스파르 몽주(Gaspard Monge)의 연구에서 시작되어 1942년 레오니트 칸토로비치(Leonid Kantorovich)에 의해 일반화된 이 이론은 상품, 데이터 포인트, 또는 확률과 같은 질량을 비교하고 이동시키기 위한 엄밀한 프레임워크를 제공한다. 그 핵심 통찰은 분포 간의 차이를 단순한 스칼라가 아니라 기저 공간의 구조를 고려하는 기하학적 양으로 취급하는 것이다.
이 문제는 일반적으로 두 가지 형태로 제시된다. 몽주의 공식화는 하나의 분포를 다른 분포로 밀어내는 결정론적 매핑을 찾아 총 수송 비용을 최소화한다. 칸토로비치의 완화는 질량이 분할되고 재할당될 수 있도록 허용하여 항상 해가 존재하는 선형 계획법 문제로 이끈다. 이 완화는 수송 계획(transport plan)과 바서슈타인 거리(Wasserstein distance)의 개념을 도입했으며, 이는 하나의 분포를 다른 분포로 변환하는 최소 비용을 정량화하는 메트릭이다.
수학적 기초
최적 수송의 핵심에는 비용 함수가 있으며, 일반적으로 점 사이의 거리를 거듭제곱한 값, 예를 들어 제곱 유클리드 거리로 정의된다. p차 바서슈타인 거리는 W_p로 표기되며, 모든 결합(coupling)에 대한 최소 기대 비용으로 정의된다. p=1인 경우, 이는 지구 이동 거리(Earth mover's distance)로도 알려져 있으며, 이미지 검색 및 히스토그램 비교에서 널리 사용된다. 이 이론은 연속 설정에서 최적 매핑을 설명하는 몽주-앙페르 방정식(Monge-Ampere equation)을 통해 편미분 방정식과 연결된다.
칸토로비치 쌍대성(Kantorovich duality)은 또 다른 핵심 결과로, 원시 수송 문제를 함수 쌍에 대한 상한(supremum)으로 표현하여 효율적인 계산 방법을 가능하게 한다. 이 쌍대성은 또한 최적 수송을 볼록 해석 및 게임 이론의 개념과 연결한다. 특정 조건에서 최적 해의 존재성과 유일성은 1991년 얀 브레니에(Yann Brenier)와 같은 수학자들에 의해 확립되었으며, 그는 이차 비용의 경우 최적 매핑이 볼록 함수의 기울기임을 보여주었다.
계산 접근법
최적 수송 계획을 정확히 계산하는 것은 특히 고차원에서 계산 집약적이다. 2013년 마르코 쿠투리(Marco Cuturi)에 의한 엔트로피 정칙화(entropic regularization)의 도입은 이 분야를 변혁시켰으며, 행렬을 반복적으로 스케일링하여 최적 계획을 근사하는 싱크혼 알고리즘(Sinkhorn algorithm)의 사용을 가능하게 했다. 싱크혼 거리(Sinkhorn distances)로 알려진 이 접근법은 대규모 데이터셋으로 확장 가능하며 Machine learning 라이브러리에서 필수 요소가 되었다.
희소 및 다중 스케일 방법은 AMD 및 NVIDIA GPU와 같은 병렬 하드웨어에서 확장성을 더욱 개선했다. Python의 POT(Python Optimal Transport) 및 JAX 기반 구현과 같은 라이브러리는 효율적인 솔버를 제공한다. 고차원 문제의 경우, 슬라이스드 최적 수송(sliced optimal transport)과 같은 근사 방법은 분포를 저차원 공간에 투영하여 기하학적 정보를 유지하면서 복잡성을 줄인다.
머신러닝 응용
Machine learning에서 최적 수송은 한 분포에서 훈련된 모델을 다른 분포에서 작동하도록 조정하는 도메인 적응(domain adaptation)에 널리 사용된다. 바서슈타인 거리는 생성 모델의 훈련 목표로 사용되며, 특히 2017년 마틴 아르요프스키(Martin Arjovsky)와 동료들이 도입한 바서슈타인 생성적 적대 신경망(WGAN)에서 전통적인 GAN에 비해 훈련 안정성을 개선한다.
최적 수송은 또한 Neural network 해석 가능성과 모델 압축을 지원한다. 예를 들어, 서로 다른 모델의 임베딩을 정렬하여 Artificial intelligence 시스템 간의 전이 학습을 가능하게 한다. Deep learning에서는 변분 오토인코더의 잠재 공간 정렬을 용이하게 하고 기하학적 인식을 갖춘 클러스터링을 돕는다. 이 이론은 Generative AI에서 모델의 출력 분포를 제어하여 다양성과 충실도를 개선하는 방법의 기반이 된다.
경제학 및 기타 영역
AI 외에도 최적 수송은 경제학에서 기초적이며, 공장에서 시장으로 상품을 최소 비용으로 운송하는 것과 같은 자원 할당을 모델링한다. 계량 경제학에서는 소득 분포 간의 바서슈타인 거리를 통해 불평등을 측정하는 데 사용된다. 도시 계획에서는 대중 교통 네트워크와 시설 위치를 최적화하는 데 도움을 준다.
이미지 처리에서 최적 수송은 이미지 간 색상 전송과 형태 변형을 가능하게 한다. 생물정보학에서는 단일 세포 RNA 시퀀싱 데이터를 실험 간에 정렬한다. 이 이론은 기상학의 데이터 동화와 금융의 위험 관리 및 포트폴리오 최적화에도 나타나며, 자산 수익률 분포를 비교하는 데 도움을 준다.
최근 발전
최근 연구는 총 질량이 보존되지 않을 수 있는 불균형 및 부분 수송으로 최적 수송을 확장하며, 이는 노이즈가 많은 설정에서 유용하다. 신경 최적 수송(neural optimal transport)은 Deep learning을 사용하여 수송 맵을 매개변수화하여 고차원 공간에서의 사용을 가능하게 한다. 이 분야는 또한 Large language model 정렬과 교차하며, 텍스트 임베딩 간의 의미적 유사성을 평가하고 개선하는 데 도움을 준다.
싱크혼 알고리즘은 Transformer (architecture) 아키텍처에 적응되어 주의 메커니즘의 효율성을 개선했다. Google DeepMind 및 OpenAI의 연구자들은 훈련 데이터 선택과 모델 견고성을 개선하기 위해 최적 수송을 탐구했다. 2024년 현재, 최적 수송은 NeurIPS 및 ICML과 같은 주요 AI 컨퍼런스에서 연례 워크숍이 열리는 활발한 연구 분야로 남아 있으며, 그 광범위한 유용성을 반영한다.
infobox
• 유형: 수학 이론
• 도입: 1781년(몽주), 1942년(칸토로비치)
• 도입자: 가스파르 몽주, 레오니트 칸토로비치
• 관련: Machine learning, Deep learning, Generative AI
/infobox