核方法是一类用于机器学习中模式分析的算法，其最著名的成员是支持向量机（SVM）。这些方法通过在高维隐式特征空间中操作，利用线性分类器解决非线性问题。核方法不通过用户指定的特征映射显式地将数据转换为特征向量，而仅需一个核函数，该函数使用内积计算数据点对之间的相似度得分。这种方法被称为“核技巧”，它允许特征映射为无限维，而只需用户输入有限维矩阵，这由表示定理保证。对于超过数千个样本的数据集，核方法在没有并行处理的情况下计算速度较慢，但它们在统计上基础扎实，并广泛用于涉及文本、图像、图和序列数据的应用。
核技巧的工作原理是计算特征空间中数据点像之间的内积，而无需计算其坐标。例如，一个核化的二分类器通过计算未标记输入与所有训练样本之间相似度的加权和来预测其标签，使用核函数k(x, x')度量相似度。此操作通常比显式坐标计算更廉价，使核方法在许多任务中高效。
历史发展
核分类器早在20世纪60年代随着核感知机的发明而被描述。它们在20世纪90年代随着支持向量机的兴起而获得 prominence，成为分类和回归的标准工具。其理论基础通过统计学习理论得到加强，该理论使用Rademacher复杂度等度量分析泛化性质。随着时间的推移，核方法扩展到包括高斯过程、核主成分分析（PCA）和核岭回归等算法，并为包括序列、图和文本在内的多种数据类型开发了核函数。
关键算法与应用
核方法支撑了除SVM之外的多种算法。这些包括核感知机、高斯过程、核PCA、典型相关分析、核岭回归、谱聚类和线性自适应滤波器。这些算法大多基于凸优化或特征值问题，这确保它们具有明确定义的解。在实践中，核方法用于图像分类、生物信息学和自然语言处理等任务，其中数据中的非线性关系很常见。例如，具有径向基函数核的支持向量机广泛用于模式识别。
核技巧与特征空间
核技巧是核方法的核心。核函数k(x, x')对应于特征空间中的内积，该空间通常为高维或无限维。例如，多项式核k(x, x') = (x · x' + c)^d隐式地将数据映射到所有次数不超过d的单项式空间。高斯径向基函数核k(x, x') = exp(-||x - x'||^2 / (2σ^2))对应于无限维特征空间。这种隐式映射允许线性算法捕获非线性模式，而无需显式构造特征向量，否则计算上会不可行。
优势与局限
核方法具有几个优势：它们在理论上基础扎实，通常是凸的，并能有效处理高维数据。它们是基于实例的学习器，意味着保留训练样本并用于预测，这可能是直观的。然而，它们也有局限性。计算成本随数据集大小扩展性差；在没有专用硬件或近似技术的情况下，在数百万个样本上训练SVM具有挑战性。此外，核及其参数（例如RBF核中的σ）的选择显著影响性能，且调优可能很复杂。截至21世纪20年代初，深度学习方法在许多大规模任务中已超越核方法，但核方法在较小数据集上仍具有价值，并提供理论见解。
与现代机器学习的关系
核方法与神经网络和深度学习共享概念联系。例如，具有无限宽度的神经网络可以被视为高斯过程，这是一种核方法。支撑核方法的表示定理在神经网络学习的函数空间中有对应物。然而，现代深度学习，尤其是Transformer和大型语言模型，已将重点转向在大型数据集上进行可扩展的端到端学习。尽管如此，核方法继续影响算法设计，例如在残差网络和注意力机制中，相似度函数发挥作用。MIT CSAIL和斯坦福AI实验室等机构的研究人员探索了核方法与深度学习之间的联系，促进了对两者的更深入理解。