머신 러닝에서 분포의 커널 임베딩(커널 평균 또는 평균 맵이라고도 함)은 확률 분포를 재생 커널 힐베르트 공간(RKHS)의 원소로 표현하는 비모수적 방법의 한 종류입니다. 이 접근 방식은 고전적인 커널 방법에서 사용되는 특징 매핑을 일반화합니다. 개별 데이터 포인트를 매핑하는 대신 전체 분포를 무한 차원 특징 공간으로 매핑합니다. 임베딩은 임의 분포의 모든 통계적 특징을 보존할 수 있으므로 실무자는 내적, 거리, 투영, 선형 변환 및 스펙트럼 분석과 같은 힐베르트 공간 연산을 사용하여 분포를 비교하고 조작할 수 있습니다.
이 프레임워크는 매우 일반적이며 합리적인 커널 함수가 정의될 수 있는 모든 공간의 분포에 적용됩니다. 커널은 유클리드 공간의 벡터, 이산 범주, 문자열, 그래프, 이미지, 시계열, 다양체, 동적 시스템 및 기타 구조화된 객체에 대해 제안되었습니다. 이론적 기초는 주로 Alex Smola, Le Song, Arthur Gretton 및 Bernhard Schölkopf에 의해 개발되었습니다. 이 접근 방식은 고차원 설정에서 실행 불가능한 밀도 추정이나 모수적 가정을 종종 요구하는 정보 이론적 방법에 대한 원리적인 대안을 제공합니다.
동기 및 장점
분포를 분석하는 전통적인 방법은 종종 엔트로피, 상호 정보 또는 Kullback-Leibler 발산과 같은 정보 이론적 양에 의존합니다. 이를 추정하려면 일반적으로 밀도 추정 또는 정교한 공간 분할 및 편향 보정 전략이 필요하며, 이는 고차원에서 실패합니다. 가우시안 혼합 모델과 같은 모수적 모델은 근거가 없을 수 있는 가정을 부과하는 반면, 커널 밀도 추정 또는 특성 함수 표현과 같은 비모수적 방법도 고차원 데이터로 어려움을 겪습니다.
커널 임베딩은 이러한 문제를 우회합니다. 분포의 형태나 변수 간의 관계에 대한 제한적인 가정 없이 데이터를 모델링할 수 있습니다. 중간 밀도 추정이 필요하지 않습니다. 실무자는 적절한 커널을 선택하고 사전 지식을 통합하여 분포의 어떤 속성이 가장 관련이 있는지 지정할 수 있습니다. 특성 커널을 사용하면 임베딩이 분포에 대한 모든 정보를 고유하게 보존하며, 잠재적으로 무한 차원 RKHS에서의 계산은 단순한 그람 행렬 연산으로 축소됩니다. 더욱이, 샘플에서 추정된 경험적 커널 평균은 데이터의 차원과 무관한 속도로 실제 임베딩에 수렴합니다. 이 프레임워크를 기반으로 하는 학습 알고리즘은 우수한 일반화 및 유한 샘플 수렴을 나타내며, 종종 정보 이론적 방법보다 더 간단하고 효과적입니다.
정의
\(X\)를 도메인 \(\Omega\)와 분포 \(P\)를 가진 확률 변수라고 합시다. 대칭 양의 정부호 커널 \(k: \Omega \times \Omega \to \mathbb{R}\)이 주어지면, Moore-Aronszajn 정리는 \(\Omega\)에 대한 고유한 RKHS \(\mathcal{H}\)의 존재를 보장합니다. 이는 내적 \(\langle \cdot, \cdot \rangle_{\mathcal{H}}\)와 노름 \(\|\cdot\|_{\mathcal{H}}\)을 가진 함수 \(f: \Omega \to \mathbb{R}\)의 힐베르트 공간이며, \(k\)는 재생 커널입니다. 이는 모든 \(x \in \Omega\)에 대해 함수 \(k(x, \cdot)\)가 재생 속성을 충족함을 의미합니다: 모든 \(f \in \mathcal{H}\)에 대해 \(\langle f, k(x, \cdot) \rangle_{\mathcal{H}} = f(x)\).
매핑 \(x \mapsto k(x, \cdot)\)은 암시적 특징 맵 \(\varphi: \Omega \to \mathcal{H}\)으로 볼 수 있으므로 \(k(x, x') = \langle \varphi(x), \varphi(x') \rangle_{\mathcal{H}}\)입니다. 분포 \(P\)의 커널 임베딩은 기대값 \(\mu_P := \mathbb{E}_{X \sim P}[\varphi(X)]\)으로 정의되며, 이는 RKHS의 원소입니다. 실제로 \(P\)에서 샘플 \(x_1, \dots, x_n\)이 주어지면 경험적 임베딩은 평균 \(\hat{\mu}_P = \frac{1}{n} \sum_{i=1}^n \varphi(x_i)\)입니다.
주요 속성 및 연산
임베딩은 분포에 대한 다양한 연산을 가능하게 합니다. 두 임베딩 간의 내적 \(\langle \mu_P, \mu_Q \rangle_{\mathcal{H}}\)은 커널 평가의 기대값으로 계산할 수 있으며, 이는 종종 샘플에서 추정됩니다. 분포 간의 거리인 최대 평균 불일치(MMD)는 \(\|\mu_P - \mu_Q\|_{\mathcal{H}}\)로 주어집니다. 커널이 특성적일 때 이 거리는 \(P = Q\)인 경우에만 0이 되므로 확률 분포 공간에서 메트릭이 됩니다. 다른 연산에는 RKHS의 부분 공간에 대한 투영 및 공분산 연산자의 스펙트럼 분석이 포함되며, 이는 차원 축소 및 독립성 검정에 유용합니다.
중요한 속성은 경험적 임베딩이 입력 차원과 무관하게 RKHS 노름에서 \(O(n^{-1/2})\)의 속도로 실제 임베딩에 수렴한다는 것입니다. 이는 차원의 저주로 어려움을 겪는 밀도 기반 방법에 비해 상당한 이점입니다. 커널 선택은 분포의 어떤 특징이 강조되는지 결정합니다. 예를 들어, 가우시안 커널은 특성적이고 보편적이므로 컴팩트 도메인에서 모든 연속 함수를 근사할 수 있습니다.
응용
커널 임베딩 프레임워크는 많은 인기 있는 방법을 특수한 경우로 포함합니다. 두 샘플 검정에 사용되며, 여기서 MMD는 두 샘플이 동일한 분포에서 왔는지 여부를 결정하는 검정 통계량 역할을 합니다. 또한 Hilbert-Schmidt 독립성 기준(HSIC)과 같은 커널 독립성 검정의 기초가 되며, 이는 확률 변수 간의 의존성을 측정합니다. Machine learning에서 커널 임베딩은 생성 모델의 Data Augmentation, 효율적인 추론을 위한 Model Pruning, Deep learning의 Loss Functions 설계에 적용되었습니다.
고전적 설정을 넘어, 이 프레임워크는 구조화된 데이터로 확장됩니다. 예를 들어, 그래프의 커널은 네트워크 분포의 임베딩을 가능하게 하며, Graphcore 스타일 하드웨어 연구나 Google DeepMind 프로젝트에 유용합니다. Artificial intelligence 연구에서 커널 임베딩은 Reinforcement learning의 정책 평가와 Bayesian Inference의 비모수적 사전 분포에 사용되었습니다. 이 접근 방식은 또한 Neural network 이론과 연결되며, 여기서 RKHS는 특정 네트워크의 무한 너비 한계로 볼 수 있어 Residual Network (ResNet) 및 U-Net 아키텍처와 연결됩니다.
다른 방법과의 관계
커널 임베딩은 푸리에 분석의 특성 함수와 밀접한 관련이 있지만, 주파수 도메인 대신 재생 커널 힐베르트 공간에서 작동합니다. 평활화 커널을 사용하여 밀도를 추정하는 커널 밀도 추정과 달리, 여기의 커널은 특징 공간을 정의하며 밀도 추정이 필요하지 않습니다. 이 프레임워크는 분포의 불확실성을 처리하는 원리적인 방법을 제공한다는 점에서 Dropout 및 Batch Normalization과도 관련이 있지만, 이러한 기술은 다른 문제를 해결합니다.
이론은 조건부 분포로 확장되어 조건부 커널 임베딩으로 이어졌으며, 이는 Sequence-to-Sequence (Seq2Seq) 모델 및 Encoder-Decoder Architecture 아키텍처에 유용합니다. 이러한 임베딩은 상태 공간 모델에서 비모수적 회귀 및 필터링을 가능하게 합니다. 최근 연구는 Transformer (architecture) 모델과의 연결을 탐구했으며, 여기서 주의 메커니즘은 커널 평활화로 해석될 수 있고, Large language model 훈련에서는 분포 임베딩이 Reinforcement Learning from AI Feedback (RLAIF) 또는 Curriculum Learning 전략에 정보를 제공할 수 있습니다.
한계 및 향후 방향
장점에도 불구하고 커널 임베딩에는 한계가 있습니다. 커널 선택이 중요하며, 잘못된 선택은 정보 손실이나 성능 저하를 초래할 수 있습니다. 대규모 데이터 세트에 대한 그람 행렬 계산은 계산 비용이 많이 들 수 있지만 근사치가 존재합니다. 이 방법은 주로 유클리드 또는 구조화된 공간의 분포를 위해 설계되었으며, 더 복잡한 객체로 확장하는 것은 여전히 활발한 연구 분야입니다. 연구자들은 OpenAI, Anthropic 및 Google DeepMind와 같은 산업 연구소와 협력하여 새로운 커널과 효율적인 알고리즘을 계속 탐구하고 있습니다.
2020년대 초반 현재, 커널 임베딩은 인과 추론, 도메인 적응 및 불확실성 정량화에 적용되며 활발한 연구 주제로 남아 있습니다. 이 프레임워크의 이론적 보장과 유연성은 Machine learning 및 통계의 더 넓은 도구 상자에서 가치 있는 도구로 만듭니다.