弗拉基米尔·瓦普尼克是一位出生于苏联的数学家和计算机科学家,以共同创立统计学习理论以及共同发明支持向量机(SVM)而闻名,后者是在2012年深度学习复兴之前机器学习领域最广泛使用的算法之一。
统计学习理论
瓦普尼克于1936年出生在苏联,曾在莫斯科的控制科学研究所工作,自1960年代起,他与阿列克谢·切尔沃年基斯共同发展了后来以他们姓氏首字母命名的VC理论。VC理论提供了一个数学框架,用于理解在有限数据上训练的学习算法如何能很好地泛化到新的未见示例,并通过VC维的概念加以形式化,该概念衡量函数类的复杂度。这项工作为监督学习领域提供了原则性的理论基础,用于推理在紧密拟合训练数据与避免过拟合之间的权衡,这一关注点后来在神经网络中通过正则化和丢弃等技术得到解决。
支持向量机
1990年移居美国并加入AT&T贝尔实验室后,瓦普尼克与包括科琳娜·科尔特斯在内的同事在1990年代初期开发了现代支持向量机,将早期线性分类器的思想扩展为“核技巧”,该技巧通过隐式地将数据映射到高维空间,使SVM能够找到非线性决策边界。凭借VC理论的泛化保证,SVM在1990年代和2000年代成为神经网络的一种占主导地位且数学上易于理解的替代方案,广泛应用于文本分类、生物信息学和计算机视觉领域,这一时期正值第二次人工智能寒冬导致资金减少、神经网络研究不受青睐的阶段。
后期职业生涯
瓦普尼克后来在NEC实验室、Facebook人工智能研究(属于Meta AI)工作,并担任哥伦比亚大学和伦敦大学的教授。他1995年的著作《统计学习理论的本质》至今仍是标准参考书。尽管SVM最终在大多数大规模感知任务中被深度神经网络超越,因为当数据和计算资源足够时,端到端的梯度下降训练变得可行,但瓦普尼克的理论框架继续影响着研究人员对泛化、样本复杂度以及给定数量的训练数据所能支持极限的思考方式。