勾配ブースティング（Gradient Boosting）は、関数空間におけるブースティングに基づく機械学習手法であり、従来のブースティングが残差を対象とするのに対し、擬似残差（pseudo-residuals）を対象とします。この手法は、データに対する仮定が非常に少ない弱学習モデル（典型的には単純な決定木）のアンサンブルとして予測モデルを生成します。弱学習器として決定木を用いる場合、その結果得られるアルゴリズムは勾配ブースティング決定木（gradient-boosted trees）と呼ばれ、通常はランダムフォレストよりも優れた性能を発揮します。他のブースティング手法と同様に、勾配ブースティング決定木モデルは段階的に構築されますが、任意の微分可能な損失関数の最適化を可能にする点で、他の手法を一般化したものとなっています。
中核となるアイデアは、複数の弱学習器を順次組み合わせることであり、各新しい学習器は既存のアンサンブルの誤差を補正します。これは、現在の予測値に対する損失関数の負の勾配に各新しいモデルを適合させることで実現され、この概念は関数空間における勾配降下法（functional gradient descent）として知られています。このアプローチは、初期のブースティングアルゴリズムを統合し拡張するものであり、勾配ブースティングを回帰タスクと分類タスクの両方において汎用性が高く強力なツールにしています。
歴史的発展
勾配ブースティングの起源は、レオ・ブレイマン（Leo Breiman）による観察に遡ります。彼は、ブースティングが適切なコスト関数に対する最適化アルゴリズムとして解釈できることを指摘しました。明示的な回帰勾配ブースティングアルゴリズムは、その後ジェローム・H・フリードマン（Jerome H. Friedman）によって1999年に開発され、2001年にさらに洗練されました。同時期に、ルー・メイソン（Llew Mason）、ジョナサン・バクスター（Jonathan Baxter）、ピーター・バートレット（Peter Bartlett）、マーカス・フリーン（Marcus Frean）によって、より一般的な関数空間における勾配ブースティングの視点が導入されました。後者の論文群は、ブースティングアルゴリズムを、関数空間上で反復的に負の勾配方向を指す関数（弱仮説）を選択することによってコスト関数を最適化する、反復的な関数勾配降下法として位置づけました。この関数勾配の視点は、回帰や分類を超えた機械学習と統計の多くの分野におけるブースティングアルゴリズムの開発につながりました。
アルゴリズムの概要
最小二乗回帰の設定では、目標はモデル \( F \) に、平均二乗誤差 \( \frac{1}{n} \sum_{i} (\hat{y}_i - y_i)^2 \) を最小化することで値 \( \hat{y} = F(x) \) を予測させることです。ここで、\( i \) はサイズ \( n \) のトレーニングセット内のインデックス、\( \hat{y}_i \) は予測値 \( F(x_i) \)、\( y_i \) は観測値です。アルゴリズムが \( M \) 段階を持つ場合、各段階 \( m \)（\( 1 \leq m \leq M \)）において、不完全なモデル \( F_m \) が存在すると仮定します（低い \( m \) では、このモデルは単に \( y \) の平均を予測する場合があります）。\( F_m \) を改善するために、アルゴリズムは新しい推定器 \( h_m(x) \) を追加し、\( F_{m+1}(x_i) = F_m(x_i) + h_m(x_i) = y_i \)、すなわち \( h_m(x_i) = y_i - F_m(x_i) \) となるようにします。勾配ブースティングは、\( h_m \) を残差 \( y_i - F_m(x_i) \) に適合させます。
一般的な損失関数の場合、残差は予測値に対する損失関数の負の勾配に置き換えられ、これは擬似残差として知られています。各段階で、弱学習器（多くの場合決定木）がこれらの擬似残差を予測するように訓練され、モデルは学習率でスケーリングされた学習器を追加することによって更新されます。この反復プロセスは、指定された段階数に達するか、収束するまで続けられます。
勾配ブースティング決定木
弱学習器が決定木である場合、そのアルゴリズムは勾配ブースティング決定木と呼ばれます。決定木は、広範な前処理を必要とせずに非線形関係や特徴間の交互作用を処理できるため、特に適しています。実際には、勾配ブースティング決定木は、多数の独立した木を平均化するランダムフォレストよりも優れた性能を発揮することがよくあります。これは、勾配ブースティングが逐次的にバイアスを低減するのに対し、ランダムフォレストは主に分散を低減するためです。主要なハイパーパラメータには、木の数（段階数）、各木の最大深さ、学習率（縮小率）、および確率的勾配ブースティングのためのサブサンプリング比率が含まれます。
損失関数と柔軟性
勾配ブースティングの大きな利点は、任意の微分可能な損失関数を最適化できることです。回帰の場合、一般的な損失には二乗誤差、絶対誤差、フーバー損失があります。分類の場合、ロジスティック損失（二項逸脱度）が典型的ですが、指数損失やカスタムランキング損失などの他の損失も使用できます。この柔軟性により、勾配ブースティングは生存分析、分位点回帰、ランキング問題など、多様なタスクに適用できます。関数勾配の視点により、実務者は特定の問題に合わせた損失を定義でき、ブースティングアルゴリズムはそれに応じてモデルを適合させます。
応用と影響
勾配ブースティングは、応用機械学習、特に表形式データにおいて支配的な手法となっています。Kaggleなどのプラットフォームでのコンペティションで広く使用されており、XGBoost、LightGBM、CatBoostなどの実装は最先端の結果を達成しています。応用範囲は、信用スコアリング、顧客離反予測、医療診断など多岐にわたります。その成功は、高い予測精度、適切に正則化された場合の過学習に対する頑健性、および混合データ型を処理する能力に起因しています。近年、勾配ブースティングはより広範な機械学習パイプラインにも統合され、深層学習手法と比較されていますが、構造化データに対しては依然として好ましい選択肢であり続けています。
変種と拡張
効率と性能を改善するために、いくつかの変種が開発されています。確率的勾配ブースティングは、各反復でトレーニングデータをサブサンプリングすることによってランダム性を導入し、過学習を低減し計算を高速化します。LightGBMで使用されるヒストグラムベースの手法は、連続特徴をビン化することによってトレーニングを加速します。XGBoostのような正則化勾配ブースティングは、損失関数にL1およびL2ペナルティを追加します。その他の拡張には、単調性制約、交互作用検出、欠損値のネイティブな処理が含まれます。これらの革新により、勾配ブースティングは大規模データセットに対応可能で、本番環境での実用性が高まっています。
他の手法との関係
勾配ブースティングは、AdaBoostや他のアンサンブル手法を含む、より広範なブースティングファミリーの一部です。サンプル重みを調整するAdaBoostとは異なり、勾配ブースティングは現在のアンサンブルの残差に新しいモデルを適合させます。この関数勾配降下法との関連は、最適化理論との結びつきを示し、人工知能と統計学における研究に影響を与えてきました。ニューラルネットワークやトランスフォーマーモデルが画像やテキストなどの非構造化データを支配する一方で、勾配ブースティングは構造化データにおいて競争力を維持しており、多くの場合、深層モデルよりも優れた性能を発揮します。その解釈可能性は、特徴重要度の測定や部分依存プロットによって強化でき、予測と理解の両方において貴重なツールとなっています。
限界と考慮事項
強みにもかかわらず、勾配ブースティングには限界があります。トレーニングは計算集約的であり、特に多くの木と大規模なデータセットを扱う場合に顕著ですが、現代の実装はこれを緩和しています。また、ノイズの多いデータに敏感であり、段階数が多すぎる場合や木が深すぎる場合には過学習する可能性があります。ハイパーパラメータの調整と正則化が不可欠です。さらに、勾配ブースティングモデルは単一の決定木ほど解釈可能ではありませんが、SHAP値などの手法によって洞察を得ることができます。2020年代初頭の時点で、スケーラビリティ、頑健性、および他の学習パラダイムとの統合を改善するための研究が続けられています。
結論
勾配ブースティングは、アンサンブル学習における重要な進歩を表しており、関数勾配降下法を通じて任意の損失関数を最適化するための原則的なフレームワークを提供します。ブレイマン、フリードマン、メイソンらの研究に根ざしたその発展は、産業界と研究界の両方で広く展開されている強力なアルゴリズムを生み出しました。弱学習器を強力なモデルに組み合わせることにより、勾配ブースティングは高い精度と柔軟性を達成し、現代の機械学習の基礎としての地位を確立しています。