ブースティングは、機械学習におけるアンサンブル学習法の一つであり、弱学習器と呼ばれる精度の低いモデルの集合を組み合わせて、強学習器として知られる単一の高精度モデルを生成する。バギングのような並列的なアンサンブル手法とは異なり、ブースティングアルゴリズムはモデルを逐次的に構築する。系列内の各新しいモデルは、先行モデルが犯した誤りを修正するように訓練される。この反復プロセスは、特にバイアスを低減することで全体的な精度を向上させる。ブースティングは、分類タスクと回帰タスクの両方における教師あり学習で広く使われる効果的な手法である。
ブースティングの理論的基盤は、1988年と1989年にKearnsとValiantが提起した疑問、すなわち弱学習器の集合が単一の強学習器を生み出せるかどうかという問いに由来する。弱学習器は、ランダムな推測よりもわずかに優れた性能しか発揮しない分類器と定義され、一方で強学習器は真の分類と高い相関を持つものである。1990年の論文でRobert Schapireが肯定的な回答を示し、実用的なブースティングアルゴリズムの開発につながった。最初のそのようなアルゴリズムはSchapireによって開発され、その後FreundとSchapireがAdaBoostを開発した。これは今もブースティングの基礎的な例として残っている。
中核的メカニズム
ブースティングはアルゴリズム的に制約されていないが、ほとんどのブースティングアルゴリズムは、分布に関して弱分類器を反復的に学習し、それらを最終的な強分類器に追加することで構成される。追加される際、それらは弱学習器の精度に関連する方法で重み付けされる。弱学習器が追加された後、データの重みが再調整される。このプロセスは再重み付けとして知られる。誤分類された入力データはより高い重みを得る一方、正しく分類された例は重みを失う。これにより、将来の弱学習器は、以前の弱学習器が誤分類した例に重点を置くことになる。
この難しい例への逐次的な焦点は、ブースティングを他のアンサンブル手法と区別する。再重み付けメカニズムは、系列内の各後続モデルが、結合されたアンサンブルの残差誤差に対処することを保証する。多くのラウンドを経て、アンサンブルは訓練バイアスを徐々に低減し、個々の弱学習器がランダムな推測よりもわずかに優れているだけでも、高い精度を達成することが多い。
歴史的発展
多くのブースティングアルゴリズムが存在する。元々のものは、Robert Schapire（再帰的多数決ゲートの定式化）とYoav Freund（多数決によるブースティング）によって提案されたが、これらは適応的ではなく、弱学習器を十分に活用できなかった。その後、SchapireとFreundは、適応的ブースティングアルゴリズムであるAdaBoostを開発し、これは権威あるゲーデル賞を受賞した。AdaBoostは弱学習器に適応できる最初のアルゴリズムであり、歴史的に重要で、大学の機械学習コースでのブースティング入門の基礎としてしばしば扱われる。
おそらく正しく学習（probably approximately correct）の定式化において証明可能なブースティングアルゴリズムのみが、正確にブースティングアルゴリズムと呼べる。精神が類似した他のアルゴリズムは、レバレッジングアルゴリズムと呼ばれることがあるが、誤ってブースティングアルゴリズムと呼ばれることもある。多くのブースティングアルゴリズム間の主な違いは、訓練データ点と仮説の重み付け方法にある。
主要なアルゴリズム
AdaBoostは歴史的に最も重要であり続けているが、より最近の多くのアルゴリズムが開発されている。これには、LPBoost、TotalBoost、BrownBoost、xgboost、MadaBoost、LogitBoost、CatBoostなどが含まれる。多くのブースティングアルゴリズムはAnyBoostフレームワークに適合し、これはブースティングが凸コスト関数を用いて関数空間で勾配降下を実行することを示している。
xgboostやCatBoostなどの現代的な実装は、そのスケーラビリティと性能により、産業界や競争的な機械学習で広く使用されている。これらのアルゴリズムは、正則化、効率的なツリーベースの弱学習器、スパースデータとカテゴリ特徴に対する最適化を組み込んでいる。これらは金融から医療までの領域で一般的に適用され、表形式データでは他の手法をしばしば上回る性能を発揮する。
コンピュータビジョンにおける物体分類
世界の既知の様々な物体を含む画像が与えられたとき、それらから分類器を学習して、将来の画像内の物体を自動的に分類できる。物体の何らかの画像特徴に基づいて構築された単純な分類器は、分類性能が弱い傾向がある。物体分類にブースティング手法を用いることは、弱分類器を特別な方法で統合して、分類能力全体を高める一つの方法である。
物体分類の問題
物体分類は、人工知能とコンピュータビジョンの典型的なタスクであり、画像が特定のカテゴリの物体を含むかどうかを判断することを含む。この考えは、認識、識別、検出と密接に関連している。外観ベースの物体分類は、典型的には特徴抽出、分類器の学習、新しい例への分類器の適用を含む。物体のカテゴリを表現する方法は多く、形状解析、bag of wordsモデル、SIFTなどの局所記述子がある。教師あり分類器の例としては、ナイーブベイズ分類器、サポートベクターマシン、混合ガウス分布、ニューラルネットワークがある。しかし、研究により、物体カテゴリとその画像内の位置は、教師なしの方法でも発見できることが示されている。
物体分類の現状
画像内の物体カテゴリの認識は、特にカテゴリ数が多い場合、コンピュータビジョンにおける困難な問題である。これは、クラス内変動が大きいことと、同じカテゴリ内の物体の変動にわたる一般化の必要性による。一つのカテゴリ内の物体はかなり異なって見えることがある。同じ物体でも、視点、スケール、照明が異なると異なって見えることがある。背景の雑音や部分的な遮蔽も認識に困難を加える。人間は何千もの物体タイプを認識できる一方、既存の物体認識システムのほとんどは、人間の顔、車、単純な物体など、少数のみを認識するように訓練されている。より多くのカテゴリを扱い、新しいカテゴリの追加を可能にすることに関する研究は非常に活発である。一般的な問題は未解決のままであるが、数百から数千のカテゴリに対応する複数カテゴリの物体検出器が、部分的には特徴共有とブースティングを通じて開発されている。
二値分類のためのブースティング
AdaBoostは、二値分類の例として顔検出に使用できる。二つのカテゴリは顔と背景である。一般的なアルゴリズムは以下の通りである。大きな単純特徴の集合を形成する。訓練画像の重みを初期化する。Tラウンドについて、重みを正規化し、利用可能な集合から単一の特徴を使用して分類器を訓練し、訓練誤差を評価し、最小誤差の分類器を選択し、訓練画像の重みを更新する（誤分類なら増加、正しく分類なら減少）。最後に、T個の分類器の線形結合として強分類器を形成し、訓練誤差が小さい分類器ほど係数が大きくなる。ブースティング後、200個の特徴から構築された分類器は、10のマイナス5乗の偽陽性率で95パーセントの検出率を達成できる。
二値分類のためのブースティングの別の応用は、動きと外観のパターンを使用して歩行者を検出するシステムである。この研究は、歩行者を検出するための特徴として動き情報と外観情報の両方を組み合わせた最初のものである。これはViola-Jones物体検出フレームワークと類似したアプローチを取る。
多クラス分類のためのブースティング
二値分類と比較して、多クラス分類は画像を複数の可能な物体カテゴリの一つに割り当てることを含む。多クラス問題のためのブースティング手法は、典型的には一対全や一対一の分解などの戦略を通じて二値アプローチを拡張するか、またはブースティングアルゴリズムを直接修正して複数クラスを扱う。これらの手法により、物体検出システムは数百または数千のカテゴリを認識できるようになったが、計算コストと複雑さは増加している。
応用と影響
ブースティングはコンピュータビジョン以外の多くの領域に適用されている。深層学習の文脈では、ブースティングの考えはアンサンブル手法と勾配ベースの最適化に影響を与えてきた。自然言語処理では、ブースティングはテキスト分類や感情分析に使用されている。金融では、信用スコアリングや不正検出に使用される。バイオインフォマティクスでは、ブースティングは遺伝子発現分類やタンパク質機能予測に役立つ。単純なモデルを高精度の予測器に組み合わせるこの手法の能力は、学術研究と産業実践の両方で定番となっている。
理論的意義
ブースティングの理論的意義は、弱学習可能性が強学習可能性を意味することを示した点にある。1990年にSchapireによって証明されたこの結果は、KearnsとValiantが提起した疑問に答え、アンサンブル手法の力を理解するための基盤を確立した。おそらく正しく学習のフレームワークは、ブースティングアルゴリズムに形式的な保証を提供し、十分な数の弱学習器があれば、アンサンブルが訓練分布上で任意に低い誤差を達成できることを保証する。この理論的基盤は、ブースティングを多くのヒューリスティックなアンサンブル手法から区別し、ブースティングが成功する条件に関する広範な研究を促してきた。
限界と考慮事項
ブースティングには限界がないわけではない。再重み付けメカニズムが誤ラベル付きの例にアンサンブルを過適合させる可能性があるため、ノイズの多いデータや外れ値に敏感であり得る。ブースティングの逐次的な性質は、バギングよりも並列化に適さないが、現代の実装では訓練を高速化する近似が導入されている。さらに、弱学習器の選択とラウンド数は性能に大きく影響する可能性があり、慎重な調整が必要である。これらの課題にもかかわらず、ブースティングは教師あり学習で最も効果的で広く使用される手法の一つであり続けている。