統計学および機械学習において、アンサンブル法は複数の学習アルゴリズムを組み合わせることで、単一の構成アルゴリズム単独よりも優れた予測性能を達成する手法である。統計力学における統計的アンサンブル（しばしば無限である）とは異なり、機械学習のアンサンブルは有限個の代替モデルの集合から構成されるが、それらの代替モデル間の柔軟な構造を許容する。その核心的な考え方は、多様な弱学習器を集約することで、より正確でロバストな予測を生成できるというものである。
アンサンブル学習はMachine learningおよびArtificial intelligenceにおける基本概念であり、Deep learningからLarge language modelシステムに至るまで幅広い分野で応用されている。複数のモデルを活用することで、アンサンブルは分散を低減し、バイアスを緩和し、汎化性能を向上させるため、現代の予測モデリングの基盤となっている。
概要
教師あり学習アルゴリズムは、仮説空間を探索して特定の問題に適した仮説を見つけ出す。この空間に適切な仮説が存在する場合でも、それを見つけることは困難な場合がある。アンサンブルは複数の仮説を組み合わせて、理論的により優れた仮説を形成する。アンサンブル学習は、特定の分類または回帰タスクに対して2つ以上のアルゴリズムを訓練する。アンサンブル内のアルゴリズムは「ベースモデル」、「ベース学習器」、または「弱学習器」と呼ばれる。これらのベースモデルは、単一のモデリングアルゴリズムまたは複数の異なるアルゴリズムを用いて構築できる。目標は、同じタスクに対して多様な弱学習器のセットを訓練し、各弱学習器が高いバイアス（予測能力の低さ）と高い分散（結果と誤差のばらつき）を持つようにすることである。基本的に、アンサンブルは、より良い性能のモデルに組み合わせるために、少なくとも2つの高バイアスかつ高分散のモデルを訓練する。個々では満足な結果を生み出せない弱モデルの集合は、組み合わせるか平均化することで、単一の高性能で正確かつ低分散のモデルを生成する。
アンサンブル学習は通常、バギング（ブートストラップ集約）、ブースティング、またはスタッキング/ブレンディングの手法を指す。バギングは、訓練観測値からランダムサンプルを生成し、各サンプルに同じモデルを適合させることで多様性を生み出す。これは同種の並列アンサンブルとして知られる。ブースティングは反復プロセスに従い、前のモデルの重み付けされた誤差に基づいて各ベースモデルを順次訓練し、最終的な誤差を低減する加法モデルを生成する。これは逐次アンサンブル学習として知られる。スタッキングまたはブレンディングは、それぞれ独立に訓練された異なるベースモデルを組み合わせてアンサンブルを構成する。これは異種の並列アンサンブルを生成する。一般的な応用には、ランダムフォレスト（バギングの拡張）、ブースト木モデル、勾配ブースト木モデルが含まれる。スタッキングの応用はタスク固有であることが多く、クラスタリング手法とパラメトリックおよび/またはノンパラメトリック手法を組み合わせることがある。
アンサンブルの評価は通常、単一モデルの評価よりも多くの計算を必要とする。ある意味で、アンサンブル学習は追加の計算を実行することで、性能の低い学習アルゴリズムを補う。あるいは、単一の非アンサンブルモデルでより多くの学習を行うこともできる。アンサンブルは、計算、ストレージ、または通信リソースの増加を2つ以上の手法に使用することで、単一の手法へのリソース増加よりも、全体の精度向上において効率的である可能性がある。決定木のような高速アルゴリズムはアンサンブル手法（例：ランダムフォレスト）で一般的に使用されるが、低速なアルゴリズムも恩恵を受けることができる。
類推により、アンサンブル手法は教師なし学習のシナリオ、例えばコンセンサスクラスタリングや異常検知でも使用されてきた。
アンサンブルの理論
経験的に、アンサンブルはモデル間に有意な多様性がある場合に、より良い結果をもたらす傾向がある。多くの手法が多様性を促進しようとしている。直感に反するが、よりランダムなアルゴリズム（ランダム決定木など）は、非常に意図的なアルゴリズム（エントロピー低減決定木など）よりも強力なアンサンブルを生成できる。多様性を促進するためにモデルを劣化させる手法よりも、多様な強力な学習アルゴリズムを使用する方が効果的であることが示されている。多様性は、回帰タスクでは相関、分類では交差エントロピーのような情報量を使用して、訓練段階で高めることができる。
理論的には、多様性の概念は、アンサンブルの誤差率の下限が精度、多様性、および別の項に分解できるという事実によって正当化される。
幾何学的枠組み
アンサンブル学習は、回帰と分類の両方を含めて、幾何学的枠組みを用いて説明できる。データセット全体に対する各分類器または回帰器の出力は、多次元空間内の点と見なすことができる。目標結果も点であり、「理想点」と呼ばれる。ユークリッド距離は、性能（理想点までの距離）と分類器間の非類似度（点間の距離）の両方を測定する。これにより、アンサンブル学習は決定論的な問題に変換される。例えば、全てのベース分類器の出力を平均化すると、個々のモデルの平均と同等かそれ以上の結果が得られることが証明できる。最適な重み付けを用いると、重み付き平均はアンサンブル内の任意の個別分類器または回帰器よりも優れた性能を発揮できる。
アンサンブルのサイズ
アンサンブル内の構成分類器の数は予測精度に大きく影響するが、この問題に取り組んだ研究は限られている。アンサンブルサイズの事前決定と、ビッグデータストリームの量と速度は、オンラインアンサンブル分類器にとって重要である。適切な構成数を決定するには、主に統計的検定が使用されてきた。最近では、理論的枠組みにより、構成分類器の理想的な数が存在し、それより多くても少なくても精度が低下することが示唆されている。これは「アンサンブル構築における収穫逓減の法則」と呼ばれる。この枠組みは、クラスラベルと同じ数の独立した構成分類器を使用すると、最高の精度が得られることを示している。
アンサンブルの一般的なタイプ
ベイズ最適分類器
ベイズ最適分類器は、仮説空間内の全ての仮説をその事後確率で重み付けして平均化する理論上のアンサンブルである。これは与えられた問題に対する最良の分類器を表すが、多くの場合、計算が実行不可能である。これは他のアンサンブル手法を評価するためのベンチマークを提供する。
バギング
バギング、またはブートストラップ集約は、1994年にLeo Breimanによって導入された。これは、訓練データから複数のブートストラップサンプル（置換を伴うランダムサンプル）を生成し、各サンプルにモデルを適合させ、回帰では予測を平均化し、分類では投票を行う手法である。ランダムフォレストは、各分割でのランダムな特徴選択とバギングを組み合わせた代表的な例である。バギングは分散を低減し、過学習を防ぐのに役立つ。
ブースティング
ブースティングは、分類が困難なインスタンスに焦点を当てた逐次アンサンブル手法である。1996年にFreundとSchapireによって導入されたAdaBoostのようなアルゴリズムは、訓練例に重みを割り当て、誤分類されたインスタンスの重みを増加させる。各新しいモデルは重み付けされたデータで訓練され、予測は重み付き投票で組み合わされる。XGBoostやLightGBMを含む勾配ブースティングは、損失関数を最適化しながら段階的にモデルを構築する。ブースティングはバイアスを低減し、非常に正確なモデルを生成できる。
スタッキング
スタッキング、またはスタック型汎化は、複数の多様なベースモデルを訓練し、その後メタモデルを使用してそれらの予測を組み合わせる手法である。ベースモデルは元のデータで訓練され、その出力はメタモデルの特徴として使用される。スタッキングは、Neural networkモデルと決定木を組み合わせるなど、異なるアルゴリズムを使用できる。これは、多くの場合、単一のベースモデルよりも優れた性能を発揮する。
投票と平均化
単純な投票（分類用）と平均化（回帰用）は、一般的なアンサンブル手法である。これらは複数のモデルからの予測を、多くの場合、等しい重みまたは学習された重みで組み合わせる。これらの手法は単純だが、モデルが多様である場合に効果的である。
現代のAIへの応用
アンサンブル手法は現代のAIシステムで広く使用されている。Deep learningでは、ニューラルネットワークのアンサンブルがロバスト性と精度を向上させるために使用される。例えば、Large language modelシステムは、より信頼性の高い出力を生成するためにモデルのアンサンブルを使用することが多い。OpenAI、Anthropic、Google DeepMindなどの企業は、研究と製品においてアンサンブル手法を採用している。コンピュータビジョンでは、畳み込みネットワークのアンサンブルがImageNetのようなコンペティションで優勝している。自然言語処理では、トランスフォーマーのアンサンブルが翻訳や感情分析などのタスクの性能を向上させている。
アンサンブル手法は異常検知にも使用されており、複数の検出器を組み合わせることで誤検知を低減する。医療診断では、分類器のアンサンブルが精度向上に役立っている。自動運転では、知覚モデルのアンサンブルが安全性を高めている。
課題と今後の方向性
その利点にもかかわらず、アンサンブルは課題に直面している。より多くの計算リソースとストレージを必要とする。アンサンブルの解釈可能性は、単一モデルよりも低いことが多い。最適なアンサンブルサイズと多様性の決定は、未解決の問題のままである。今後の研究は、単一モデルがアンサンブルを模倣するように訓練される知識蒸留や、アンサンブル構成のためのニューラルアーキテクチャ探索などの効率的なアンサンブル手法に焦点を当てている。AIが進化し続けるにつれて、アンサンブルは性能と信頼性を向上させるための重要な手法であり続けるだろう。
結論
モデルアンサンブルは機械学習における強力な手法であり、複数のモデルを組み合わせることで、単一のモデルよりも優れた性能を達成する。多様性を活用することで、アンサンブルは誤差を低減し、汎化を向上させる。一般的な手法には、バギング、ブースティング、スタッキングがあり、それぞれ独自の強みを持つ。アンサンブルは、Generative AIから自動運転まで、現代のAIアプリケーションに不可欠である。計算リソースが増加するにつれて、アンサンブルは人工知能の進歩において引き続き重要な役割を果たすだろう。