在机器学习中，分布的核嵌入（也称为核均值或均值映射）是一类非参数方法，它将概率分布表示为再生核希尔伯特空间（RKHS）中的一个元素。这种方法推广了经典核方法中使用的特征映射：它不是映射单个数据点，而是将整个分布映射到无限维特征空间中。该嵌入可以保留任意分布的所有统计特征，使从业者能够使用希尔伯特空间运算（如内积、距离、投影、线性变换和谱分析）来比较和操作分布。
该框架具有高度通用性，适用于任何可以定义合理核函数的空间上的分布。核已被提出用于欧几里得空间中的向量、离散类别、字符串、图、图像、时间序列、流形、动力系统以及其他结构化对象。其理论基础主要由Alex Smola、Le Song、Arthur Gretton和Bernhard Schölkopf发展。这种方法为信息论方法提供了一种原则性的替代方案，后者通常需要密度估计或参数假设，而这些在高维设置中往往不可行。
动机与优势
分析分布的传统方法通常依赖于信息论量，如熵、互信息或Kullback-Leibler散度。估计这些量通常需要密度估计或复杂的空间划分和偏差校正策略，这些在高维中会失效。参数模型如高斯混合模型强加了可能没有根据的假设，而非参数方法如核密度估计或特征函数表示在高维数据中也会遇到困难。
核嵌入绕过了这些问题。它允许在没有关于分布形式或变量之间关系的限制性假设的情况下对数据进行建模。无需中间密度估计。从业者可以通过选择适当的核来指定分布中哪些属性最相关，从而纳入先验知识。如果使用特征核，嵌入将唯一地保留关于分布的所有信息，并且潜在无限维RKHS中的计算简化为简单的Gram矩阵运算。此外，从样本估计的经验核均值以独立于数据维度的速率收敛到真实嵌入。基于该框架的学习算法表现出良好的泛化性和有限样本收敛性，通常比信息论方法更简单且更有效。
定义
设\(X\)为定义域\(\Omega\)上的随机变量，分布为\(P\)。给定对称正定核\(k: \Omega \times \Omega \to \mathbb{R}\)，Moore-Aronszajn定理保证了在\(\Omega\)上存在唯一的RKHS \(\mathcal{H}\)，这是一个由函数\(f: \Omega \to \mathbb{R}\)组成的希尔伯特空间，具有内积\(\langle \cdot, \cdot \rangle_{\mathcal{H}}\)和范数\(\|\cdot\|_{\mathcal{H}}\)，其中\(k\)是再生核。这意味着对于每个\(x \in \Omega\)，函数\(k(x, \cdot)\)满足再生性质：对于所有\(f \in \mathcal{H}\)，有\(\langle f, k(x, \cdot) \rangle_{\mathcal{H}} = f(x)\)。
映射\(x \mapsto k(x, \cdot)\)可以被视为隐式特征映射\(\varphi: \Omega \to \mathcal{H}\)，使得\(k(x, x') = \langle \varphi(x), \varphi(x') \rangle_{\mathcal{H}}\)。分布\(P\)的核嵌入随后定义为期望\(\mu_P := \mathbb{E}_{X \sim P}[\varphi(X)]\)，它是RKHS中的一个元素。在实践中，给定来自\(P\)的样本\(x_1, \dots, x_n\)，经验嵌入是平均值\(\hat{\mu}_P = \frac{1}{n} \sum_{i=1}^n \varphi(x_i)\)。
关键性质与运算
嵌入使得对分布的各种运算成为可能。两个嵌入之间的内积\(\langle \mu_P, \mu_Q \rangle_{\mathcal{H}}\)可以计算为核评估的期望，这通常从样本中估计。分布之间的距离，称为最大均值差异（MMD），由\(\|\mu_P - \mu_Q\|_{\mathcal{H}}\)给出。当核是特征核时，该距离为零当且仅当\(P = Q\)，使其成为概率分布空间上的度量。其他运算包括投影到RKHS的子空间以及协方差算子的谱分析，这些在降维和独立性检验中很有用。
一个关键性质是经验嵌入以\(O(n^{-1/2})\)的速率在RKHS范数下收敛到真实嵌入，这与输入维度无关。这是相对于基于密度的方法的一个显著优势，后者受到维度灾难的影响。核的选择决定了分布的哪些特征被强调；例如，高斯核是特征且通用的，这意味着它可以逼近紧致域上的任何连续函数。
应用
核嵌入框架将许多流行方法作为特例包含在内。它用于双样本检验，其中MMD作为检验统计量来确定两个样本是否来自同一分布。它还支撑了核独立性检验，如希尔伯特-施密特独立性准则（HSIC），该准则衡量随机变量之间的依赖性。在Machine learning中，核嵌入已应用于生成模型的Data Augmentation、高效推理的Model Pruning以及Deep learning中的Loss Functions设计。
在经典设置之外，该框架扩展到结构化数据。例如，图上的核使得能够嵌入网络上的分布，这在Graphcore风格的硬件研究或Google DeepMind项目中很有用。在Artificial intelligence研究中，核嵌入已用于Reinforcement learning中的策略评估和Bayesian Inference中的非参数先验。该方法还与Neural network理论相关联，其中RKHS可以被视为某些网络的无限宽度极限，与Residual Network (ResNet)和U-Net架构相关联。
与其他方法的关系
核嵌入与傅里叶分析中的特征函数密切相关，但它们在再生核希尔伯特空间而非频域中操作。与使用平滑核来估计密度的核密度估计不同，这里的核定义了特征空间，不需要密度估计。该框架还与Dropout和Batch Normalization相关，因为它提供了一种处理分布不确定性的原则性方法，尽管这些技术解决的是不同的问题。
该理论已扩展到条件分布，导致条件核嵌入的出现，这在Sequence-to-Sequence (Seq2Seq)模型和Encoder-Decoder Architecture架构中很有用。这些嵌入允许在状态空间模型中进行非参数回归和滤波。最近的工作探索了与Transformer (architecture)模型的联系，其中注意力机制可以被解释为核平滑，以及与Large language model训练的联系，其中分布嵌入可能为Reinforcement Learning from AI Feedback (RLAIF)或Curriculum Learning策略提供信息。
局限性与开放方向
尽管有其优势，核嵌入也有局限性。核的选择至关重要，选择不当可能会丢失信息或导致性能不佳。计算大型数据集的Gram矩阵可能计算成本高昂，尽管存在近似方法。该方法主要设计用于欧几里得或结构化空间上的分布；将其扩展到更复杂的对象仍然是一个活跃领域。研究人员继续探索新的核和高效算法，通常与OpenAI、Anthropic和Google DeepMind等行业实验室合作。
截至2020年代初，核嵌入仍然是一个充满活力的研究课题，在因果推断、领域适应和不确定性量化中都有应用。该框架的理论保证和灵活性使其成为Machine learning和统计学更广泛工具包中的宝贵工具。