機械学習において、分布のカーネル埋め込み（カーネル平均または平均写像とも呼ばれる）は、確率分布を再生核ヒルベルト空間（RKHS）の要素として表現するノンパラメトリック手法の一種である。このアプローチは、古典的なカーネル法で用いられる特徴写像を一般化するもので、個々のデータ点を写像する代わりに、分布全体を無限次元の特徴空間へ写像する。この埋め込みは、任意の分布の統計的特徴をすべて保持することができ、実践者は内積、距離、射影、線形変換、スペクトル解析といったヒルベルト空間の演算を用いて分布を比較・操作できる。
この枠組みは非常に一般的であり、適切なカーネル関数が定義できる任意の空間上の分布に適用できる。カーネルは、ユークリッド空間のベクトル、離散カテゴリ、文字列、グラフ、画像、時系列、多様体、力学系、その他の構造化オブジェクトに対して提案されている。理論的基盤は主にAlex Smola、Le Song、Arthur Gretton、Bernhard Schölkopfによって開発された。このアプローチは、高次元設定では実行不可能な密度推定やパラメトリック仮定をしばしば必要とする情報理論的手法に代わる原理的な選択肢を提供する。
動機と利点
分布を解析する伝統的な手法は、エントロピー、相互情報量、カルバック・ライブラー発散などの情報理論的量に依存することが多い。これらを推定するには通常、密度推定や高度な空間分割・バイアス補正戦略が必要であり、高次元では破綻する。ガウス混合モデルなどのパラメトリックモデルは根拠のない仮定を課す一方、カーネル密度推定や特性関数表現などのノンパラメトリック手法も高次元データに苦戦する。
カーネル埋め込みはこれらの問題を回避する。分布の形や変数間の関係について制限的な仮定を置かずにデータをモデル化できる。中間的な密度推定は不要である。実践者は適切なカーネルを選択することで、分布のどの特性が最も重要かを指定でき、事前知識を組み込むことができる。特性カーネルを用いれば、埋め込みは分布に関するすべての情報を一意に保持し、潜在的に無限次元のRKHSでの計算は単純なグラム行列演算に帰着する。さらに、サンプルから推定された経験的カーネル平均は、データの次元に依存しない速度で真の埋め込みに収束する。この枠組みに基づく学習アルゴリズムは、良好な汎化性能と有限サンプル収束を示し、情報理論的手法よりも単純で効果的であることが多い。
定義
\(X\)を定義域\(\Omega\)と分布\(P\)を持つ確率変数とする。対称で正定値なカーネル\(k: \Omega \times \Omega \to \mathbb{R}\)が与えられたとき、ムーア・アロンジャインの定理は、\(\Omega\)上の一意なRKHS \(\mathcal{H}\)の存在を保証する。これは、内積\(\langle \cdot, \cdot \rangle_{\mathcal{H}}\)とノルム\(\|\cdot\|_{\mathcal{H}}\)を持つ関数\(f: \Omega \to \mathbb{R}\)のヒルベルト空間であり、\(k\)が再生核となる。つまり、すべての\(x \in \Omega\)に対して、関数\(k(x, \cdot)\)は再生性\(\langle f, k(x, \cdot) \rangle_{\mathcal{H}} = f(x)\)をすべての\(f \in \mathcal{H}\)について満たす。
写像\(x \mapsto k(x, \cdot)\)は暗黙の特徴写像\(\varphi: \Omega \to \mathcal{H}\)と見なすことができ、\(k(x, x') = \langle \varphi(x), \varphi(x') \rangle_{\mathcal{H}}\)となる。分布\(P\)のカーネル埋め込みは、期待値\(\mu_P := \mathbb{E}_{X \sim P}[\varphi(X)]\)として定義され、これはRKHSの要素である。実際には、\(P\)からのサンプル\(x_1, \dots, x_n\)が与えられたとき、経験的埋め込みは平均\(\hat{\mu}_P = \frac{1}{n} \sum_{i=1}^n \varphi(x_i)\)である。
主要な性質と演算
埋め込みにより、分布に対するさまざまな演算が可能になる。2つの埋め込み間の内積\(\langle \mu_P, \mu_Q \rangle_{\mathcal{H}}\)は、カーネル評価の期待値として計算でき、これはサンプルから推定されることが多い。分布間の距離は最大平均不一致（MMD）として知られ、\(\|\mu_P - \mu_Q\|_{\mathcal{H}}\)で与えられる。この距離は、カーネルが特性である場合、\(P = Q\)のときかつそのときに限りゼロとなり、確率分布の空間上の計量となる。他の演算には、RKHSの部分空間への射影や共分散作用素のスペクトル解析があり、これらは次元削減や独立性検定に有用である。
重要な性質として、経験的埋め込みはRKHSノルムにおいて\(O(n^{-1/2})\)の速度で真の埋め込みに収束し、これは入力次元に依存しない。これは次元の呪いに悩まされる密度ベースの手法に対する大きな利点である。カーネルの選択は分布のどの特徴が強調されるかを決定する。例えば、ガウスカーネルは特性かつ普遍的であり、コンパクト領域上の任意の連続関数を近似できる。
応用
カーネル埋め込みの枠組みは、多くの一般的な手法を特殊ケースとして包含する。これは2標本検定で使用され、MMDが2つのサンプルが同じ分布から来るかどうかを判断する検定統計量として機能する。また、ヒルベルト・シュミット独立基準（HSIC）などのカーネル独立性検定の基礎でもあり、これは確率変数間の依存性を測定する。Machine learningでは、カーネル埋め込みは生成モデルのData Augmentation、効率的な推論のためのModel Pruning、Deep learningにおけるLoss Functions設計に応用されている。
古典的な設定を超えて、この枠組みは構造化データにも拡張される。例えば、グラフ上のカーネルはネットワーク上の分布の埋め込みを可能にし、Graphcoreスタイルのハードウェア研究やGoogle DeepMindプロジェクトで有用である。Artificial intelligence研究では、カーネル埋め込みはReinforcement learningの政策評価やBayesian Inferenceのノンパラメトリック事前分布に使用されている。このアプローチはNeural network理論とも関連し、RKHSは特定のネットワークの無限幅極限と見なすことができ、Residual Network (ResNet)やU-Netアーキテクチャと結びつく。
他の手法との関係
カーネル埋め込みはフーリエ解析における特性関数と密接に関連するが、周波数領域ではなく再生核ヒルベルト空間で動作する。平滑化カーネルを用いて密度を推定するカーネル密度推定とは異なり、ここでのカーネルは特徴空間を定義し、密度推定を必要としない。この枠組みはDropoutやBatch Normalizationとも関連し、分布の不確実性を扱う原理的な方法を提供するが、これらの手法は異なる問題に対処する。
理論は条件付き分布に拡張され、条件付きカーネル埋め込みにつながり、これはSequence-to-Sequence (Seq2Seq)モデルやEncoder-Decoder Architectureアーキテクチャで有用である。これらの埋め込みにより、状態空間モデルにおけるノンパラメトリック回帰とフィルタリングが可能になる。最近の研究では、Transformer (architecture)モデルとの関連が探求されており、注意機構はカーネル平滑化として解釈でき、Large language modelトレーニングでは、分布埋め込みがReinforcement Learning from AI Feedback (RLAIF)やCurriculum Learning戦略に情報を提供する可能性がある。
限界と今後の方向性
その利点にもかかわらず、カーネル埋め込みには限界がある。カーネルの選択は重要であり、不適切な選択は情報の喪失や性能低下を招く可能性がある。大規模データセットに対するグラム行列の計算は計算コストが高くなることがあり、近似法が存在するが、この手法は主にユークリッド空間や構造化空間上の分布向けに設計されており、より複雑なオブジェクトへの拡張は依然として活発な研究領域である。研究者は、OpenAI、Anthropic、Google DeepMindなどの産業研究所と協力して、新しいカーネルと効率的なアルゴリズムを探求し続けている。
2020年代初頭の時点で、カーネル埋め込みは依然として活発な研究トピックであり、因果推論、ドメイン適応、不確実性定量化に応用されている。この枠組みの理論的保証と柔軟性は、Machine learningと統計学のより広いツールキットにおいて貴重なツールとなっている。