核方法是一类用于机器学习中模式分析的算法，其中支持向量机（SVM）是其最著名的成员。这些方法通过利用一种称为核技巧的数学技术，将线性分类器应用于非线性问题。核方法不通过用户指定的特征映射显式地将数据转换到高维特征空间，而是依赖核函数，该函数计算隐式空间中数据点对之间的内积。这种方法通常比显式坐标计算在计算上更便宜，并且它允许算法在可能是无限维的空间中操作，而只需用户输入有限维矩阵，这由表示者定理保证。
术语“核”指的是衡量任意两个输入之间相似度的函数。核函数已针对各种数据类型开发，包括序列、图、文本、图像和向量。可以使用核的算法包括核感知机、支持向量机、高斯过程、主成分分析（PCA）、典型相关分析、岭回归、谱聚类和线性自适应滤波器。大多数核算法基于凸优化或特征值问题，并且在统计上具有良好基础，其性质通常使用统计学习理论（如Rademacher复杂度）进行分析。
动机与非正式解释
核方法可以被视为基于实例的学习器。它们不是学习一组对应于输入特征的固定参数，而是“记住”训练示例并为每个示例学习一个权重。对于未标记的输入，预测涉及使用核函数计算该输入与所有训练示例之间相似度的加权和。对于二元分类器，预测标签是该和的符号。这种方法早在20世纪60年代就通过核感知机被描述，但在20世纪90年代随着SVM的兴起而获得 prominence，SVM成为人工智能研究和应用中的标准工具。
核技巧与特征空间
核技巧是核方法背后的核心思想。它允许算法在高维、隐式特征空间中操作，而无需计算该空间中数据的坐标。相反，只计算数据对图像之间的内积。这通常比显式转换更便宜。例如，多项式核可以隐式地将数据映射到所有次数不超过给定次数的单项式空间中，从而使线性分类器能够分离在原始输入空间中不是线性可分的数据。核机器中的特征映射可以是无限维的，但表示者定理确保解可以表示为训练数据上核评估的有限组合。
常见核函数
几种核函数在实践中被广泛使用。线性核只是两个向量的内积。多项式核，形式为(x·x' + c)^d，通过考虑特征的乘积引入非线性。径向基函数（RBF）核，也称为高斯核，定义为exp(-γ||x - x'||^2)，是一个流行的默认选择，因为它可以在给定足够数据的情况下近似任何连续函数。其他核包括sigmoid核和针对特定数据结构设计的自定义核，例如用于文本的字符串核或用于结构化数据的图核。核及其参数的选择显著影响基于核的算法的性能。
应用与局限性
核方法已应用于许多领域，包括计算机视觉、生物信息学、自然语言处理和信号处理。例如，具有RBF核的SVM在深度学习兴起之前是图像分类的领先方法。然而，核方法有明显的局限性。对于超过几千个示例的数据集，如果没有并行处理，它们计算速度较慢，因为核矩阵随样本数量呈二次方增长。这导致了近似方法的发展以及向神经网络方法的转变，后者可以更有效地处理大规模数据。尽管如此，核方法因其理论保证和可解释性仍然具有价值，并继续用于专门应用。
与现代机器学习的关系
核方法与深度学习和Transformer架构共享概念联系。例如，Transformer中的注意力机制可以被视为一种核平滑形式，其中在查询和键之间计算相似度分数。一些研究人员探索了无限宽神经网络与高斯过程（一种核方法）之间的联系。虽然深度学习在许多实际应用中由于可扩展性和特征学习而很大程度上取代了核方法，但核方法仍然为理论理解提供信息并提供稳健的基线。它们也用于混合方法，例如神经网络中基于核的正则化。