バイアス・バリアンスのトレードオフは、機械学習における基本的な概念であり、モデルの複雑さと予測精度、そして未知のデータへの一般化能力との関係を説明するものです。教師あり学習において、新しいデータに対するモデルの期待誤差は、バイアス、バリアンス、および削減不可能な誤差の3つの要素に分解できます。バイアスは学習アルゴリズムの誤った仮定から生じ、モデルが特徴量と出力の間の関連を見逃すことで過小適合を引き起こします。バリアンスは訓練データの小さな変動に対する感度から生じ、モデルがランダムなノイズを捉えることで過剰適合を引き起こします。このトレードオフは、バイアスを減らすことがしばしばバリアンスを増加させ、その逆もまた真であるために発生し、両方を同時に最小化することは不可能です。
バイアス・バリアンス分解は、この関係を定式化し、期待一般化誤差を二乗バイアス、バリアンス、および問題自体に内在するノイズによる削減不可能な誤差の和として表現します。この枠組みは、モデル選択、正則化、そして線形回帰からディープラーニングやニューラルネットワークモデルに至るまでのアルゴリズムの挙動を理解する上で中心的な役割を果たします。
動機
バイアス・バリアンスのトレードオフは、教師あり学習における中心的な問題です。理想的には、訓練データの規則性を正確に捉えつつ、未知のデータにもうまく一般化できるモデルが望まれます。バリアンスの高い手法は訓練データをうまく表現できるかもしれませんが、ノイズや非代表的なサンプルに過剰適合するリスクがあります。バイアスの高いアルゴリズムはより単純なモデルを生成しますが、重要なパターンを見逃して過小適合する可能性があります。
複雑なモデルは高いバリアンスを持つに違いないというのはよくある誤解です。実際には、高バリアンスのモデルはある意味で複雑ですが、その逆は必ずしも真ではありません。複雑さはパラメータ数だけでは測れません。例えば、関数 \(f_{a,b}(x) = a \sin(bx)\) は2つのパラメータしか持ちませんが、高い周波数で振動させることで任意の数の点を補間でき、結果として高いバイアスと高いバリアンスの両方を示すことがあります。
精度と精度の概念は、このトレードオフを理解するのに役立ちます。精度はバイアスに関連し、局所的な情報のみを使用するとサンプルが正確に見えるかもしれませんが、過小適合につながる可能性があります。精度はバリアンスに関連し、より広い範囲のデータを選択すると精度は向上しますが、データポイントが少なすぎると過剰適合を引き起こす可能性があります。正則化（縮小など）はモデルを平滑化し、これらの誤差のバランスを取るのに役立ちます。
バイアス・バリアンス分解
訓練セットが点 \(x_1, \dots, x_n\) とラベル \(y_i = f(x_i) + \varepsilon_i\) で構成されているとします。ここで、\(f(x)\) は真の関数であり、\(\varepsilon_i\) は分散 \(\sigma^2\) のゼロ平均ノイズです。学習アルゴリズムは訓練データ \(D\) に基づいて推定 \(\hat{f}(x; D)\) を生成します。点 \(x\) における期待二乗誤差は次のように分解できます：
\[\mathbb{E}[(y - \hat{f}(x; D))^2] = \text{Bias}^2(\hat{f}(x)) + \text{Var}(\hat{f}(x)) + \sigma^2\]
ここで、バイアスは \(\mathbb{E}[\hat{f}(x)] - f(x)\)、バリアンスは \(\mathbb{E}[(\hat{f}(x) - \mathbb{E}[\hat{f}(x)])^2]\)、そして \(\sigma^2\) は削減不可能なノイズです。この分解は、データにノイズが含まれる場合、たとえ完璧なモデルでも誤差をゼロにできないことを示しています。
誤差の原因
バイアス誤差は、学習アルゴリズムの誤った仮定から生じます。バイアスが高いと過小適合が発生し、モデルがデータ内の関連する関係を捉えられなくなります。バリアンス誤差は、訓練データの小さな変動に対する感度から生じます。バリアンスが高いと過剰適合が発生し、モデルが真のパターンではなくノイズに適合してしまいます。
このトレードオフは、モデルの複雑さを横軸、誤差を縦軸にしたグラフで視覚化されることがよくあります。複雑さが増すにつれて、バイアスは減少しますが、バリアンスは増加します。総誤差はU字型の曲線を描き、総誤差を最小化する最適な複雑さが存在します。この概念は、単純な線形モデルから複雑なトランスフォーマーアーキテクチャを備えた大規模言語モデルまで、幅広く適用されます。
トレードオフの管理
実務者は、交差検証、正則化、アンサンブル法などの手法を通じてバイアス・バリアンスのトレードオフを管理します。交差検証は一般化誤差を推定し、モデルの複雑さを選択するのに役立ちます。正則化は複雑さにペナルティを課し、係数を縮小することで、バイアスをわずかに増加させる代わりにバリアンスを減少させます。バギングやブースティングなどのアンサンブル法は、複数のモデルを組み合わせることで、バイアスを大幅に増加させることなくバリアンスを減少させます。
現代の人工知能においても、このトレードオフは依然として重要です。例えば、数百万のパラメータを持つディープラーニングモデルは、バイアスが低い一方でバリアンスが高くなる傾向があり、大規模なデータセットと正則化が必要です。逆に、より単純なモデルは複雑なタスクでは過小適合する可能性があります。このトレードオフは、モデルの容量と一般化のバランスを取ることが重要となる生成AIシステムの設計にも影響を与えています。
歴史的背景
バイアス・バリアンスのトレードオフは古典的な統計学にルーツを持ち、トーマス・ディータリッヒやマイケル・ジョーダンなどの研究者が機械学習のための分解の定式化に貢献しました。この概念は、MITコンピュータ科学・人工知能研究所やスタンフォード人工知能研究所などの機関のコースで教えられており、統計的学習理論の基礎となっています。モデルの複雑さが増すにつれてトレードオフは進化してきましたが、バイアスとバリアンスの間の根本的な緊張関係は今もなお続いています。