支持向量机（SVM）是一种用于分类、回归和异常检测的监督学习模型。它通过在高维空间中构造一个或多个超平面，以尽可能大的间隔将不同类别的数据点分开。支持向量机起源于AT&T贝尔实验室，其理论基础建立在统计学习框架（如VC理论）之上，该理论由弗拉基米尔·瓦普尼克和阿列克谢·切尔沃年基斯在20世纪70年代和80年代提出。由于其在理论上的可处理性和跨任务的灵活性，支持向量机是机器学习中研究最深入的模型之一。
支持向量机通过寻找能最佳分离类别的最大间隔超平面来执行线性分类。对于非线性问题，它们采用核技巧，将输入隐式映射到更高维的特征空间中，从而在该空间中实现线性分离。这种方法仅通过核函数对数据点进行成对相似性比较来表示数据，从而降低了计算复杂度。作为最大间隔模型，支持向量机对噪声数据（如错误分类的样本）具有鲁棒性，并且还可以通过ε敏感目标函数适应回归任务。
动机与核心概念
数据分类是机器学习中的常见任务。在二分类问题中，给定每个属于两个类别之一的数据点，目标是判断新数据点属于哪个类别。在支持向量机中，每个数据点被视为p维向量，目标是找到一个(p-1)维超平面来分离类别。这被称为线性分类器。许多超平面都能对数据进行分类，但最优选择是最大化间隔（即到每侧最近数据点的距离）的那个超平面。这个最大间隔超平面定义了一个最大间隔分类器，也称为最优稳定性感知器。
形式上，支持向量机在高维或无限维空间中构造一个或多个超平面。良好的分离通过具有到任何类别最近训练数据点最大距离的超平面实现，因为较大的间隔通常会导致较低的泛化误差和减少过拟合。
核技巧
当原始数据在有限维空间中不可线性分离时，支持向量机将数据映射到更高维的空间中，在该空间中分离更容易。为了保持计算的可管理性，映射的设计使得输入向量对的点积可以通过核函数k(x, y)在原始空间中轻松计算。高维空间中的超平面由一组点定义，这些点与向量的点积为常数。这些向量是数据特征向量的线性组合，参数为alpha_i。决策函数变为核项之和：sum_i alpha_i k(x_i, x) = constant。如果核函数在y远离x时变小，则每个项衡量测试点与数据点的接近程度。这使得能够对原始空间中非凸的集合进行复杂判别。
常见的核函数包括线性核、多项式核、径向基函数（RBF）核和sigmoid核。核函数及其参数的选择对性能有显著影响。
最大间隔原理与正则化
最大间隔原理旨在找到最大化类别间间隔的超平面。在实践中，数据可能无法完美分离，因此支持向量机引入了软间隔，允许一些误分类。这由一个正则化参数（通常记为C）控制，该参数平衡间隔最大化与分类误差。较大的C会更严厉地惩罚误分类，可能导致过拟合，而较小的C则产生更宽的间隔但训练误差更大。这种权衡对泛化至关重要。
支持向量与对偶形式
支持向量是离决策边界最近并决定超平面的训练数据点。只有这些点影响模型；其他点可以被移除而不影响解。优化问题通常以其对偶形式求解，其中目标函数依赖于数据点的点积，这使得核技巧得以应用。对偶形式还支持高效处理高维特征空间。
应用
支持向量机已应用于广泛的任务，包括文本分类、图像识别、生物信息学（如蛋白质分类）和手写数字识别。它们还用于结构化预测问题。其流行源于其理论基础和灵活性。然而，尚不清楚支持向量机是否比其他线性模型（如逻辑回归或线性回归）具有更好的预测性能；其优势通常在于通过核函数处理非线性边界。
扩展与变体
存在多种扩展，包括用于回归任务的支持向量回归（SVR），其目标函数是ε敏感的。支持向量聚类由哈瓦·西格尔曼和弗拉基米尔·瓦普尼克创建，将支持向量统计应用于无监督学习，将未标记数据分类为自然簇。支持向量机还与其他技术结合，如神经网络集成，以提高性能。
与其他模型的关系
支持向量机与其他监督学习方法相关，包括逻辑回归和神经网络模型。逻辑回归直接建模概率，而支持向量机侧重于间隔最大化。在高维空间中，当特征数量超过样本数量时，支持向量机可能更有效。然而，随着深度学习的兴起，支持向量机在图像和语音识别等任务中已被神经网络超越。尽管如此，支持向量机仍然是机器学习工具箱中的基本工具，尤其适用于中小型数据集以及重视可解释性和理论保证的问题。
理论基础
支持向量机基于统计学习理论，特别是VC理论，该理论提供了泛化误差的界限。VC维度衡量模型的容量，支持向量机旨在控制这种容量以避免过拟合。20世纪90年代，特别是在AT&T贝尔实验室的瓦普尼克及其同事的推动下，支持向量机的发展标志着机器学习的重大进步。核技巧最初在20世纪60年代提出，后被集成到支持向量机中，以创建强大的非线性分类器。
实践考虑
使用支持向量机时，实践者必须选择合适的核函数并调整超参数，如C和核特定参数（例如RBF的gamma）。特征缩放通常是必要的，以确保间隔有意义。支持向量机对大型数据集计算密集，但序列最小优化（SMO）等技术使训练变得可行。LIBSVM和scikit-learn等库提供了高效实现。
局限性与当前状态
支持向量机存在局限性，包括对核函数选择和参数调整的敏感性，以及难以扩展到非常大的数据集。在深度学习时代，支持向量机在计算机视觉和自然语言处理等领域不再占主导地位，神经网络模型已取得最先进的结果。然而，支持向量机在许多应用中仍然相关，特别是在数据有限或需要理论保证的情况下。它们也用作混合模型的组件，例如带有深度特征提取的支持向量机。
结论
支持向量机是经典机器学习的基石，通过最大间隔优化和核技巧提供稳健的分类和回归。其理论基础和灵活性使其成为持久的工具，即使像深度学习这样的新模型已经出现。理解支持向量机对于任何研究机器学习及其应用的人来说都是必不可少的。