Boosting(提升方法)是一种机器学习中的集成学习方法，它将一组精度较低的模型（称为弱学习器）组合起来，创建一个精度很高的单一模型（称为强学习器）。与Bagging(装袋)等并行集成方法不同，Boosting算法是顺序构建模型的。序列中的每个新模型都经过训练，以纠正其 predecessors 所犯的错误。这种迭代过程提高了整体精度，尤其是通过减少偏差。Boosting 是一种流行且有效的监督学习技术，用于分类和回归任务。
Boosting 的理论基础源于 Kearns 和 Valiant 在 1988 年和 1989 年提出的一个问题：一组弱学习器能否创建一个强学习器？弱学习器被定义为性能仅略优于随机猜测的分类器，而强学习器则与真实分类高度相关。Robert Schapire 在 1990 年的一篇论文中对此问题给出了肯定回答，从而推动了实用 Boosting 算法的发展。第一个此类算法由 Schapire 提出，随后 Freund 和 Schapire 开发了 AdaBoost，它至今仍是 Boosting 的一个基础性范例。
核心机制
虽然 Boosting 在算法上并不受限于特定形式，但大多数 Boosting 算法都是通过迭代地学习弱分类器，并根据数据分布将其添加到最终的强分类器中。每添加一个弱学习器，都会根据其准确率进行加权。添加弱学习器后，数据的权重会被重新调整，这个过程称为“重加权”。被错误分类的输入数据会获得更高的权重，而被正确分类的数据权重则会降低。因此，后续的弱学习器会更多地关注之前被错误分类的样本。
这种对困难样本的顺序关注，是 Boosting 区别于其他集成方法的关键。重加权机制确保了序列中的每个后续模型都能解决组合集成中尚未解决的残差。经过多轮迭代，集成模型会逐步降低其训练偏差，即使单个弱学习器的性能仅略优于随机猜测，最终也能达到很高的精度。
历史发展
存在许多 Boosting 算法。最初的算法由 Robert Schapire（递归多数门方法）和 Yoav Freund（多数投票提升）提出，它们不是自适应的，无法充分利用弱学习器。随后，Schapire 和 Freund 开发了 AdaBoost，这是一种自适应的 Boosting 算法，并因此获得了著名的哥德尔奖。AdaBoost 是第一个能够自适应弱学习器的算法，这使其具有重要的历史意义，并且通常是大学机器学习课程中介绍 Boosting 的起点。
只有那些在“可能近似正确”学习框架下被证明是可提升的算法，才能严格地被称为 Boosting 算法。其他精神相似的算法有时被称为“利用算法”，尽管它们也常被错误地称为 Boosting 算法。各种 Boosting 算法的主要区别在于它们对训练数据点和假设进行加权的方法。
主要算法
AdaBoost 在历史上最为重要，但后来也发展出了许多其他算法。这些包括 LPBoost、TotalBoost、BrownBoost、xgboost、MadaBoost、LogitBoost 和 CatBoost 等。许多 Boosting 算法都可以纳入 AnyBoost 框架，该框架表明 Boosting 是在函数空间中使用凸代价函数进行梯度下降的一种形式。
现代实现，如 xgboost 和 CatBoost，因其可扩展性和高性能，已在工业界和机器学习竞赛中被广泛使用。这些算法融入了正则化、高效的基于树的弱学习器，并针对稀疏数据和类别特征进行了优化。它们通常应用于金融、医疗等领域的表格数据，并且性能往往优于其他方法。
计算机视觉中的目标分类
给定包含各种已知物体的图像，可以从中学习一个分类器，以便自动对未来的图像中的物体进行分类。基于图像的某些特征构建的简单分类器，其分类性能往往较弱。使用 Boosting 方法进行目标分类，是一种以特殊方式组合这些弱分类器以提升整体分类能力的途径。
目标分类问题
目标分类是人工智能和计算机视觉中的一项典型任务，涉及确定图像是否包含特定类别的物体。这个想法与识别、鉴定和检测密切相关。基于外观的目标分类通常包括特征提取、学习分类器以及将分类器应用于新样本等步骤。表示物体类别的方法有很多，例如形状分析、词袋模型或使用 SIFT 等局部描述子。监督分类器的例子包括朴素贝叶斯分类器、支持向量机、高斯混合模型和神经网络。然而，研究表明，物体类别及其在图像中的位置也可以通过无监督方式发现。
目标分类的现状
图像中的物体识别是计算机视觉中的一个挑战性问题，尤其是当物体类别数量庞大时。这主要是因为类内差异大，以及需要泛化到同一类别内物体的不同形态。同一类别的物体可能看起来差异很大，即使同一物体在不同的视角、尺度和光照条件下也可能表现不同。背景杂乱和部分遮挡也会给识别带来困难。人类可以识别数千种物体，而大多数现有的物体识别系统只能识别少数几类，例如人脸、汽车或简单物体。目前的研究非常活跃，致力于处理更多类别，并支持增量式地添加新类别。尽管总体问题尚未完全解决，但通过特征共享和 Boosting 技术，已经开发出了一些能够处理数百或数千类物体的多类别检测器。
用于二分类的 Boosting
AdaBoost 可以作为二分类的一个例子，例如人脸检测。其任务是区分“人脸”和“非人脸”两类。算法的一般流程如下：首先，构建一个大的简单特征集；然后，初始化训练图像的权重；接着，进行 T 轮迭代，在每轮中：归一化权重，使用单个特征训练一个分类器，评估其训练误差，选择误差最小的分类器，并更新训练图像的权重（错误分类的图像权重增加，正确分类的图像权重减少）；最后，将这些 T 个分类器进行线性组合，构成强分类器，其中分类误差越小的分类器获得的权重越大。经过 Boosting，仅使用 200 个特征构建的分类器就能在极低的误检率（10的负5次方）下达到 95% 的检测率。
另一个 Boosting 用于二分类的例子是行人检测系统，该系统结合了运动信息和外观信息作为特征来检测行走的人。这种方法与 Viola-Jones 物体检测框架的思路类似。
用于多分类的 Boosting
与二分类相比，多分类问题是将图像分配到多个可能的物体类别之一。处理多分类问题的 Boosting 方法通常通过将问题分解为多个二分类问题（例如一对一或一对多策略），或者直接修改 Boosting 算法本身以处理多个类别。这些方法使得物体检测系统能够识别数百或数千个类别，但代价是增加了计算复杂度和成本。
应用与影响
Boosting 的应用范围远远超出了计算机视觉。在深度学习领域，Boosting 的思想也影响了集成技术和基于梯度的优化方法。在自然语言处理中，Boosting 被用于文本分类和情感分析。在金融领域，它被用于信用评分和欺诈检测。在生物信息学中，Boosting 有助于基因表达分类和蛋白质功能预测。Boosting 方法能够将简单模型组合成高精度预测器，这使其成为学术研究和工业实践中的重要工具。
理论意义
Boosting 的理论意义在于它证明了“弱可学习”蕴含“强可学习”。这个由 Schapire 在 1990 年证明的结果，回答了 Kearns 和 Valiant 提出的问题，并为理解集成方法的能力奠定了理论基础。“可能近似正确”学习框架为 Boosting 算法提供了形式化的保证，确保在拥有足够多弱学习器的情况下，集成模型可以在训练分布上达到任意低的错误率。这一理论基础将 Boosting 与许多其他启发式集成方法区分开来，并激发了对其成功条件的广泛研究。
局限性与注意事项
Boosting 并非没有局限性。它对噪声数据和异常值敏感，因为重加权机制可能导致模型过度拟合被错误标记的样本。Boosting 的顺序特性也使其不如 Bagging 那样易于并行化，尽管现代实现已经引入了近似方法来加速训练过程。此外，弱学习器的选择和迭代轮数会显著影响最终性能，需要仔细调整。尽管存在这些挑战，Boosting 仍然是监督学习中最有效、使用最广泛的技术之一。