核主成分分析（kernel PCA）是机器学习中用于非线性降维的一种技术。它通过应用核技巧扩展了经典主成分分析（PCA），使得算法能够在高维、隐式特征空间中运行，而无需显式计算数据在该空间中的坐标。这使得核PCA能够捕捉线性PCA会遗漏的非线性模式，使其在数据可视化、噪声消除以及为其他算法进行预处理等任务中非常有用。
该方法于1998年由Bernhard Schölkopf、Alexander Smola以及Klaus-Robert Müller提出。他们的公式表明，特征空间中的主成分可以通过对核矩阵求解特征值问题来获得，其中核矩阵包含通过核函数计算的数据点之间的成对相似度。常见的核函数包括多项式核、径向基函数（RBF）核以及sigmoid核。核函数及其参数的选择显著影响最终的嵌入结果。
数学公式
给定输入空间中的一组n个数据点x_i，核PCA首先通过函数φ将每个点映射到特征空间，，使得φ(x_i)是可能无限维希尔伯特空间中的向量。核函数k(x_i, x_j)计算内积⟨φ(x_i), φ(x_j)⟩。算法通过修改核矩阵对特征空间中的数据进行中心化，，然后计算中心化核矩阵的特征向量和特征值。新点对主成分的投影表示为新点与训练点之间核评估的加权和，，权重来自特征向量。
与线性PCA（在原始空间中寻找最大方差方向）不同，核PCA在特征空间中寻找最大方差方向。主成分的数量最多为训练点的数量，，且该方法可以产生比输入维度更多的成分。在实践中，，通常根据相关特征值的大小选择前k个成分。
与其他方法的关系
核PCA与其他基于核的方法（如支持向量机（SVMs）和高斯过程回归）密切相关，，所有这些方法都依赖于核技巧。它可以被视为PCA的非线性推广，，并且与谱聚类和多维缩放也有联系。在线性核的情况下，，核PCA完全简化为标准PCA。该方法也是更先进的非线性嵌入技术（如t分布随机邻域嵌入（t-SNE）和均匀流形逼近与投影（UMAP））的前身，，尽管这些方法优化了不同的目标函数
应用与局限性
核PCA已应用于多个领域，，包括人脸识别、图像去噪以及异常检测。在人脸识别中，，它可以提取非线性特征，，与线性PCA相比提高分类准确性。对于异常检测，，特征空间中的重建误差可以指示异常值。然而，，核PCA有明显的局限性：计算成本随训练样本数量呈二次方增长，，使得其在没有近似的情况下不适用于非常大的数据集。核函数和超参数的选择通常需要交叉验证，，且所得成分的可解释性低于线性PCA中此外，，该方法假设数据位于特征空间中的低维流形上，，这在所有情况下可能不成立
实践考虑
实现核PCA涉及选择核函数及其参数，，例如RBF核中的带宽参数。核矩阵必须进行中心化，，特征值分解可以使用标准线性代数库执行。对于大规模问题，，可以使用Nyström方法或随机特征映射等近似方法来减少计算负担。在现代机器学习流程中，，核PCA通常用作聚类或分类算法之前的预处理步骤它已在scikit-learn等流行库中实现，，该库提供了KernelPCA类，，支持不同的核和求解器选项