集成学习是机器学习中的一种范式，其中多个模型（通常称为基学习器或弱学习器）被训练并组合，以产生更准确的预测。其基本原理在于，一组多样化的模型能够比任何单个模型做出更好的集体决策，这一概念有时被称为“群体智慧”。通过聚合多个模型的输出，集成方法旨在减少方差、偏差或两者兼而有之，从而提升对未见数据的泛化能力。这种方法广泛应用于分类、回归和异常检测等多个领域，并且是人工智能中许多最先进系统的基石。
集成学习的有效性源于不同模型可能捕捉到不同的模式或产生不同类型的错误。当这些模型被组合时，各自的弱点可以被其他模型的优势所弥补。例如，如果一个模型对噪声敏感，而另一个模型更为稳健，那么它们的集成可以实现平衡。成功集成的关键在于基学习器之间的多样性；如果所有模型完全相同，集成将毫无益处。多样性可以通过训练数据、模型架构或学习算法的变化来引入。
历史背景
集成学习的根源可以追溯到20世纪60年代和70年代，当时已有关于组合分类器的早期研究。最早的形式化方法之一是自助聚合（bootstrap aggregating），简称袋装法（bagging），由Leo Breiman于1994年提出。袋装法通过在训练数据的不同自助采样上训练多个模型，并对其预测进行平均来减少方差。另一种有影响力的技术是提升法（boosting），大约在同一时期发展起来。AdaBoost算法由Yoav Freund和Robert Schapire于1996年提出，它顺序训练模型，每个模型专注于前一个模型的错误，并通过加权投票进行组合。这些基础方法为更先进的集成技术奠定了基石，例如随机森林（结合了袋装法与随机特征选择）和梯度提升机（将提升法扩展到任意损失函数）。
主要集成方法
几种集成方法已成为机器学习中的标准工具。如前所述，袋装法独立构建多个模型并对其输出进行平均，这对于高方差算法（如决策树）尤为有效。随机森林由Leo Breiman于2001年提出，是袋装法的一种扩展，它在每次分裂时考虑特征的随机子集，从而增加树的多样性并通常带来更好的性能。提升法（包括AdaBoost和梯度提升）则顺序构建模型，每个新模型专注于前一个集成的错误。梯度提升由Jerome Friedman于2001年推广，已催生出XGBoost和LightGBM等高效实现，这些工具在竞争性机器学习和工业应用中广泛使用。另一种方法是堆叠法（stacked generalization），它训练一个元模型来组合多个基模型的预测，通常能带来进一步的性能提升。
应用与影响
集成学习已在众多现实问题中成功应用。在金融领域，集成方法用于信用评分和欺诈检测，这些场景对稳健性要求极高。在医疗保健中，集成方法帮助从医学图像中诊断疾病，例如通过组合多个神经网络来提高准确性。在自然语言处理中，大型语言模型的集成可以增强文本分类和问答等任务的性能。Netflix Prize是一项著名的竞赛（2006年至2009年），获胜团队使用了由多种协同过滤模型组成的复杂集成，充分展示了组合多样化方法的威力。近年来，集成技术已被整合到深度学习中，例如训练多个神经网络（采用不同的初始化或架构）并对其预测进行平均，这种做法在基准测试中常常取得最先进的结果。
挑战与考量
尽管集成方法具有诸多优势，但也面临挑战。主要的缺点是计算成本和复杂性的增加，因为训练多个模型需要更多的资源和时间。在处理大规模数据集或复杂模型（如深度学习架构）时，这可能成为显著的障碍。此外，集成模型比单一模型更难解释，这给理解特定预测的成因带来了困难。在需要可解释性的领域（如医疗保健或金融）中，这是一个关键问题。另一个考量是过拟合的风险，如果集成规模过大或基学习器多样性不足，可能会导致过拟合。实践者必须仔细调整集成的大小和多样性机制，以在准确性和效率之间取得最佳平衡。
未来方向
随着机器学习的不断发展，集成学习仍然是一个活跃的研究领域。随着大规模模型的兴起，研究人员正在探索如何高效地组合多个大型模型，例如通过分布式系统中的模型集成。快照集成和随机权重平均等技术提供了以较低计算成本获得集成效果的方法。此外，将集成方法与生成式人工智能及其他新兴范式相结合，是一个开放的研究方向。集成学习的原理也被应用于提升模型对对抗攻击的鲁棒性以及增强不确定性估计，这对于关键应用的安全部署至关重要。随着数据和计算资源的持续增长，集成学习很可能仍将是机器学习工具箱中的基础工具。