機械学習における不確実性推定とは、モデルの予測に対する信頼度を定量化するプロセスを指す。これは、データに内在するランダム性に起因するaleatoric不確実性と、モデルの知識不足から生じるepistemic不確実性を区別する。この区別は、医療診断、自動運転、金融予測など、モデルの出力に依存して意思決定が行われるアプリケーションにおいて重要である。不確実性を推定することで、システムは低信頼度の予測をフラグ付けし、人間によるレビューをトリガーしたり、それに応じて動作を調整したりできる。
この概念は、計算科学や工学で長年使用されてきた不確実性定量化（UQ）というより広い分野から派生している。UQは、計算モデルと実世界の実験の両方における不確実性を特徴づけることを目的としており、統計的・確率論的手法を用いることが多い。機械学習では、モデルが過信で較正が不十分なことが多い深層学習の台頭とともに、不確実性推定が重要性を増している。手法は、ベイズニューラルネットワークからアンサンブル法、較正手順まで多岐にわたる。
不確実性の発生源
機械学習モデルの不確実性は、伝統的なUQと同様に、複数の発生源から生じる可能性がある。パラメータ不確実性は、ニューラルネットワークの重みなど、モデルのパラメータが限られたデータから推定され、正確には分からない場合に生じる。パラメトリック不確実性は、知覚タスクにおけるセンサーノイズなど、入力変数の変動に起因する。構造的不確実性（モデル不適合とも呼ばれる）は、モデルのアーキテクチャや仮定が真の基礎となる関数を完全には捉えていない場合に発生する。アルゴリズム的不確実性は、確率的勾配降下法や有限精度演算など、トレーニングや推論における数値近似から生じる。実験的不確実性は、トレーニングデータのラベルにおけるノイズを反映し、補間的不確実性は、トレーニング分布から遠い入力に対して予測が行われる場合に生じる。
Aleatoric不確実性とEpistemic不確実性
機械学習における最も一般的な分類法は、不確実性を2つのカテゴリに分ける。ラテン語の「alea」（サイコロ）に由来するaleatoric不確実性は、データに内在する不可避のランダム性である。例えば、画像分類において、2つの同一の画像が、ラベリングエラーや曖昧な内容のために異なるラベルを持つ場合がある。この不確実性は、より多くのデータを収集しても減らすことはできない。ギリシャ語の「episteme」（知識）に由来するepistemic不確実性は、モデルやデータに関する知識不足による、削減可能な不確実性である。これは、トレーニングデータを増やしたり、モデルアーキテクチャを改善したり、より良い推論方法を使用したりすることで減少させることができる。実際には、両方のタイプが共存することが多く、それらを分離することが不確実性推定の重要な目標である。
ベイズ法
ベイズ推論は、epistemic不確実性を推定するための原理的な枠組みを提供する。ベイズニューラルネットワークでは、単一の重みセットを学習する代わりに、トレーニングデータが与えられた場合の重みの事後分布が計算される。この事後分布はパラメータ不確実性を捉え、予測はこの分布を積分することによって行われる。しかし、現代の深層ネットワークでは正確なベイズ推論は実行不可能なため、近似が使用される。変分推論は、より単純な分布で事後分布を近似し、マルコフ連鎖モンテカルロ（MCMC）法は事後分布からサンプリングする。一般的な正則化手法であるドロップアウトは、2016年にYarin Galによって示されたように、ベイズ近似として解釈でき、アーキテクチャを変更せずに既存のモデルから不確実性推定を可能にする。
アンサンブル法
アンサンブル法は、明示的なベイズ推論に代わる実用的な方法を提供する。異なる初期化やデータサブセットで複数のモデルをトレーニングすることにより、それらの予測間の分散がepistemic不確実性の推定値を提供する。2017年にBalaji Lakshminarayananらによって導入されたディープアンサンブルは、良好に較正された不確実性推定値を生成し、単一モデルよりも優れていることが示されている。アンサンブルメンバーからの予測の広がりは不確実性を示し、平均予測が最終出力として機能する。アンサンブルは、その単純さと有効性から実際に広く使用されているが、追加の計算コストが必要である。
較正と評価
不確実性推定は、予測確率0.8が80%の確率で正しいことを意味するように、良好に較正されている場合にのみ有用である。較正は通常、信頼度ダイアグラムや期待較正誤差（ECE）などのメトリクスを使用して測定される。現代のニューラルネットワークは、特にクロスエントロピー損失やバッチ正規化などの手法でトレーニングされた場合、しばしば較正が不十分である。温度スケーリングは、事後較正法であり、精度を変更せずにソフトマックスの温度を調整して較正を改善する。他の方法には、プラットスケーリングや等張回帰がある。不確実性推定の評価には、ブライアスコア、負の対数尤度、信頼区間のカバレッジなどのメトリクスも含まれる。
深層学習における応用
不確実性推定は、安全性が重要なアプリケーションにおいて重要である。自動運転では、WaymoやTesla Autopilotなどのシステムが、センサーデータに依存するか、人間の介入を要求するかを決定するために不確実性を使用する。医療画像診断では、不確実性は放射線科医がレビューのために症例を優先順位付けするのに役立つ。自然言語処理では、OpenAIやAnthropicなどの大規模言語モデルが応答で不確実性を表現できるが、較正は依然として課題である。不確実性は、モデルがラベリングのために最も不確実なサンプルを選択する能動学習や、探索を導く強化学習においても役割を果たす。
課題と今後の方向性
進歩にもかかわらず、深層学習における不確実性推定はいくつかの課題に直面している。スケーラビリティは主要な問題であり、ベイズ法やアンサンブルは計算コストが高い。敵対的サンプルは不確実性推定を欺き、過信にさせる可能性がある。トレーニングデータとテストデータが異なる分布シフトは、特に検出が困難である。研究では、アンサンブルとベイズ近似を組み合わせたハイブリッドアプローチや、モデル選択や意思決定における不確実性の使用が探求されている。モデルがより重要な領域に展開されるにつれて、堅牢な不確実性推定はますます重要になるだろう。