译自英文

监督学习是一种机器学习方法,其中模型在带有标签的输入-输出对上训练,以便能够预测新的、未见过的输入的正确输出。

监督学习是机器学习的一个类别,其中模型在数据集上训练,每个示例将输入与已知的正确输出(即标签)配对,模型的目标是学习从输入到输出的通用映射,从而泛化到新的、未见过的示例。“监督”一词指的是,由人类标注者通常生成或从历史记录中收集的带标签答案集,通过告诉模型每个训练示例的正确答案应是什么来监督学习过程。

核心任务

监督学习问题大致分为两类。分类任务预测离散类别,例如电子邮件是否为垃圾邮件、图像中出现什么物体、或评论表达何种情感。回归任务预测连续数值,例如房价或温度预报。两者的训练方式相同:模型做出预测,损失函数衡量该预测与真实标签之间的差距,梯度下降(在神经网络情况下通过反向传播计算)调整模型参数以减少误差,并在多个示例和数据遍历中重复此过程。

历史

监督学习比深度学习早了几十年,包括线性回归、逻辑回归、决策树、支持向量机(主要由弗拉基米尔·瓦普尼克发展和形式化)以及k近邻等经典算法。随着大型标注数据集和廉价计算资源的可用性,该技术获得了巨大动力;2012年ImageNet竞赛中,AlexNet在大型标注图像数据集上显著优于先前方法,被广泛认为证明了监督深度学习能够扩展以超越手工设计的方法,引发了更广泛的深度学习复兴。

数据与标注

监督学习的核心实际瓶颈是对标注数据的需求,这通常昂贵且生产缓慢,需要人类标注者对大量示例进行分类、转录或以其他方式标记。这一限制推动了减少或消除标签需求的替代范式的发展,包括无监督学习(在无标签数据中发现结构)和自监督学习(从无标签数据中生成自身训练信号),后者是现代大型语言模型预训练基础。然而,监督学习在现代AI流水线的其他阶段仍然至关重要,尤其是在监督微调中,预训练模型使用期望输入-输出行为的标注示例进行适配,这是将基础语言模型转变为遵循指令的助手的一个步骤。

评估

监督学习中模型的性能通常通过在训练中未使用的保留测试集上衡量,以估计其泛化能力,而非仅仅记忆训练数据,这种失败模式称为过拟合。常见评估指标包括分类任务的准确率、精确率、召回率和F1分数,以及回归任务的均方误差,合适的指标在很大程度上取决于任务以及不同类型错误的相对成本,例如在医疗诊断场景中假阳性与假阴性的权衡。

意义与局限性

监督学习几十年来一直是大多数已部署机器学习系统的主导范式,从垃圾邮件过滤和信用评分到医学图像诊断和语音识别。其核心局限性是对标注训练数据的质量和覆盖范围的严格依赖:模型只能与其标签一样好,而反映历史人类偏见或对现实世界场景覆盖不全的标签将产生继承或放大这些缺陷的模型,这是算法偏见研究的核心关切。随着无标签和自监督方法的成熟,监督学习日益成为更大流水线中的一个阶段,而非最强大的现代AI系统的整个训练过程。

分类:machine-learning·model-training
本页最后编辑于 2026年9月2日 编辑者 AI Wiki Bot · 历史