梯度提升是一种基于提升（boosting）的机器学习技术，它在函数空间中进行优化，其目标是最小化伪残差（pseudo-residuals），而非传统提升方法中的残差。该方法通过集成多个弱预测模型（通常是对数据假设极少的简单决策树）来构建最终的预测模型。当弱学习器为决策树时，相应的算法被称为梯度提升树（gradient-boosted trees），其性能通常优于随机森林。与其他提升方法类似，梯度提升树模型也是分阶段构建的，但其独特之处在于，它通过允许优化任意可微的损失函数，从而推广了其他提升方法。
其核心思想是顺序地组合多个弱学习器，其中每个新学习器都致力于纠正现有集成模型的预测错误。具体而言，每个新模型都会被拟合到损失函数相对于当前模型预测的负梯度方向上，这一概念被称为函数梯度下降（functional gradient descent）。这种方法统一并推广了早期的提升算法，使得梯度提升成为一种既适用于回归任务也适用于分类任务的通用且强大的工具。
历史渊源
梯度提升的起源可以追溯到Leo Breiman的一项观察，他指出提升算法可以被视为在代价函数上进行的优化过程。随后，Jerome H. Friedman在1999年明确提出了用于回归问题的梯度提升算法，并在2001年对其进行了完善。与此同时，Llew Mason、Jonathan Baxter、Peter Bartlett和Marcus Frean也独立地从更一般的函数梯度下降视角阐述了提升算法。他们的工作将提升算法形式化为：在函数空间中，通过迭代地选择一个指向损失函数负梯度方向的函数（弱假设）来进行优化。这一函数视角的提出，极大地推动了梯度提升在回归和分类之外的众多机器学习和统计领域的应用与发展。
算法概述
在最小二乘回归的设置下，目标是训练一个模型 \( F \) 来预测值 \( \hat{y} = F(x) \)，通过最小化均方误差 \( \frac{1}{n} \sum_{i} (\hat{y}_i - y_i)^2 \) 来实现，其中 \( i \) 遍历大小为 \( n \) 的训练集中的样本，\( \hat{y}_i = F(x_i) \) 是模型对第 \( i \) 个样本的预测值，而 \( y_i \) 是其对应的真实观测值。
该算法共进行 \( M \) 次迭代（\( m = 1, \dots, M \)）。在每次迭代 \( m \) 中，假设我们已有一个尚不完美的模型 \( F_m \)（在最初迭代时，该模型可能只是简单地预测所有样本目标值的均值）。为了改进 \( F_m \)，算法会引入一个新的估计器 \( h_m(x) \)，并更新模型为 \( F_{m+1}(x) = F_m(x) + h_m(x) \)。理想情况下，我们希望新模型能完美预测，即 \( F_{m+1}(x_i) = y_i \)，这等价于要求新估计器能拟合残差：\( h_m(x_i) = y_i - F_m(x_i) \)。因此，梯度提升的核心步骤就是让弱学习器 \( h_m \) 去拟合这些残差。
对于更一般的损失函数，这种“残差”的概念被推广为“伪残差”，即损失函数关于当前模型预测 \( F_m(x) \) 的负梯度。在每一轮迭代中，都会训练一个弱学习器（通常是决策树）来预测这些伪残差。然后，模型通过加上这个新学习器（通常会乘以一个学习率作为缩放因子）来进行更新。这个过程会持续进行，直到达到预设的迭代次数 \( M \) 或模型收敛。
梯度提升树
当弱学习器选择为决策树时，该算法被称为梯度提升树。决策树特别适合作为梯度提升的基学习器，因为它能够自然地处理特征间的非线性关系，并且无需对输入特征进行复杂的预处理（如归一化）。在实践中，梯度提升树的性能通常优于随机森林。原因在于两者的优化目标不同：提升方法通过顺序地减少模型的偏差（bias）来提升性能，而随机森林通过对多棵树的结果进行平均来主要降低模型的方差（variance）。梯度提升树模型有几个关键的超参数，包括树的数量（即迭代次数 \( M \)）、每棵树的深度（控制模型的复杂度）、学习率（控制每棵树对最终模型的贡献程度），以及用于随机梯度提升的样本子采样比例。
损失函数的灵活性与应用
梯度提升方法的一个主要优势在于其能够优化任意可微的损失函数，这使其具有极大的灵活性。对于回归问题，常用的损失函数包括平方误差（squared error）、绝对误差（absolute error）和Huber损失（Huber loss，一种对异常值鲁棒的损失函数）。对于分类问题，通常使用逻辑损失（logistic loss，也称为二项式偏差 binomial deviance），但也可以根据具体任务定制其他损失函数，例如指数损失（exponential loss）或用于排序问题的自定义排序损失。这种灵活性使得梯度提升可以应用于多种不同的任务，包括生存分析、分位数回归和排序问题等。从函数梯度的视角来看，实践者可以为特定问题定义合适的损失函数，而提升算法则会相应地优化模型。
影响与变体
梯度提升已成为应用机器学习中处理表格数据的主导技术，在众多数据科学竞赛（如Kaggle）中表现优异，并催生了多个高性能的实现库，例如XGBoost、LightGBM和CatBoost。它的成功源于其高预测精度、在适当正则化下对过拟合的鲁棒性，以及能够处理混合类型数据的能力。近年来，梯度提升也常被集成到更广泛的机器学习流水线中，并常与深度学习（deep-learning）方法进行性能对比，但在处理结构化表格数据时，它通常仍然是首选方法。
为了进一步提升效率和性能，研究者们开发了多种变体。例如，随机梯度提升（Stochastic gradient boosting）通过在每轮迭代中随机子采样训练数据来引入随机性，这有助于减少过拟合并加速计算。基于直方图的方法（如LightGBM采用的方法）通过对连续特征进行分箱（binning）来显著加速训练过程。正则化梯度提升（如XGBoost）则在目标函数中加入了L1和L2惩罚项。此外，还有一些扩展方法用于支持单调约束（monotonic constraints）、自动检测特征交互，以及原生处理缺失值。这些创新使得梯度提升能够高效地扩展到大规模数据集，并适用于生产环境。
与其他方法的关系
梯度提升是更广泛的提升方法家族中的一员，该家族还包括AdaBoost等其他集成学习方法。与AdaBoost通过调整样本权重来关注被错误分类的样本不同，梯度提升通过拟合残差（或伪残差）来直接优化损失函数。这种与函数梯度下降的联系，将提升算法与优化理论紧密地联系起来，并启发了统计和人工智能领域的后续研究。虽然神经网络（neural-network）和Transformer（transformer）模型在图像、文本等非结构化数据上占据主导地位，但在处理结构化数据时，梯度提升仍然是一个极具竞争力的选择，其性能往往优于深度模型。此外，通过特征重要性度量（feature importance measures）和部分依赖图（partial dependence plots）等工具，梯度提升模型可以提供一定程度的可解释性，这对于许多实际应用场景而言是很有价值的。
局限性与考量
尽管梯度提升非常强大，但它也存在一些局限性。首先，其训练过程可能计算量较大，尤其是在树的数量很多或数据集很大的情况下，不过现代实现已经在很大程度上缓解了这个问题。其次，模型对噪声数据和异常值较为敏感，如果树的数量过多或树的深度过大，容易导致过拟合。因此，超参数（如树的数量、深度、学习率）的调整和正则化技术的使用至关重要。此外，与单棵决策树相比，梯度提升模型的集成特性使其可解释性较差，尽管上述的一些可视化工具可以提供一定帮助。截至2020年代初，相关研究仍在继续，重点在于提升其可扩展性、鲁棒性，并探索与其他学习范式的融合。
结论
梯度提升代表了集成学习领域的一项重大进步，它通过函数梯度下降提供了一个优化任意损失函数的通用框架。其理论根源可追溯至Breiman和Friedman等人的开创性工作，并已发展出众多高性能的算法变体。通过将多个弱学习器组合成一个强模型，梯度提升在预测准确性和灵活性方面都表现出色，已成为机器学习和工业应用中的基石技术之一。