机器学习是人工智能的一个子领域,其中计算机系统通过从数据中学习统计模式来改进其在任务上的表现,而非遵循由人工显式编写的规则。它支撑了大多数当代人工智能应用,从垃圾邮件过滤器到大型语言模型。
该术语通常归功于亚瑟·塞缪尔,他在1959年用它描述了一个通过自我对弈来改进的跳棋程序。
范式
机器学习通常分为三种范式。在监督学习中,模型从带有正确标签的示例中学习,例如带有物体类别的图像。在无监督学习中,模型在无标签数据中发现结构,例如将相似项目聚类在一起。在强化学习中,智能体通过在与环境互动中采取行动并获得奖励或惩罚来学习,这一范式产生了诸如AlphaGo这样的里程碑式成果。第四种方法,自监督学习,从无标签数据中生成自身的训练信号,例如通过上下文预测隐藏的单词,并且是现代语言模型预训练所采用的方法。
核心方法
大多数机器学习模型通过定义损失函数来训练,该函数衡量模型预测的错误程度,然后通过梯度下降或相关的优化过程调整模型参数以减少损失。在深度学习时代之前出现的统计方法,例如由弗拉基米尔·瓦普尼克及其同事开发的支持向量机,仍然用于较小或更易解释的问题。自2010年代以来,神经网络模型,特别是深度学习架构,在拥有足够数据和计算资源的情况下,已成为处理图像、音频和文本等任务的主导方法。
实际关注点
机器学习的一个核心挑战是过拟合,即模型记住了训练数据特有的模式,而未能学习能够泛化到新示例的模式。从业者通过正则化、交叉验证和保留测试数据等技术来解决这一问题。训练数据的质量和规模,以及模型架构的选择,通常比任何单一的算法技巧更能决定实际性能。
采用情况
机器学习在2010年代从一门学术学科转变为主流工程实践,部分得益于公开可用的框架、云计算以及像吴恩达这样的教育者,其在线课程将该领域引入了广泛受众。如今,它支撑着搜索排名、欺诈检测、医学影像分析、推荐系统,以及为现代对话助手提供动力的大型语言模型的训练。
机器学习与早期基于规则的软件之间的区别在实践中并不总是泾渭分明,因为许多生产系统将学习组件与手工编写的业务逻辑相结合,但机器学习系统的定义性特征仍然是:其行为主要由其训练数据所塑造,而非由程序员直接编写的规则所决定。