信頼性ダイアグラムは、確率的分類器のキャリブレーションを評価するために用いられるグラフィカルなツールである。これは、x軸に予測確率、y軸に正クラスの観測頻度をプロットする。完全にキャリブレーションされたモデルでは、点は対角線y = x上に位置し、モデルが事象の70%の確率を予測した場合、その事象は約70%の頻度で発生することを意味する。この対角線からの乖離は、モデルの予測における体系的な過信または過小信頼を明らかにする。
このダイアグラムは、予測を区間（例えば十分位数）にビニングし、各ビン内の正の結果の経験的頻度を計算することで構築される。各ビンは単一の点を生成し、結果として得られる曲線は、確率範囲全体にわたるキャリブレーションの視覚的な要約を提供する。信頼性ダイアグラムは、気象学、医学診断、機械学習などの分野で、モデルの信頼性を診断し改善するために広く使用されている。
歴史的起源
信頼性ダイアグラムの概念は、20世紀半ばの天気予報の分野から生まれた。気象学者は、降水などの事象の確率的予報を検証する必要があり、予報確率と観測結果を比較するグラフィカルな手法を開発した。1950年のグレン・W・ブライアーによる初期の研究では、予報精度のスカラー尺度であるブライアースコアが導入されたが、キャリブレーションの視覚的表現はその後になって登場した。1970年代までに、信頼性ダイアグラムは気象検証における標準的なツールとなり、予報確率の分布を示すヒストグラムと組み合わせて使用されることが多かった。
この文脈における「信頼性」という用語は、予測確率と観測された相対頻度との間の統計的一致を指す。気象学では、このダイアグラムは「キャリブレーションプロット」または「信頼性曲線」と呼ばれることもあった。このアプローチは、1990年代から2000年代にかけて、特に確率的分類器が一般的になるにつれて、機械学習コミュニティによって採用された。
構築と解釈
信頼性ダイアグラムを作成するには、まず検証データセットまたはテストデータセットでモデルから予測確率を取得する。これらの予測はソートされ、通常10または20の固定数のビンにグループ化される。各ビンについて、平均予測確率が正のインスタンスの割合に対してプロットされる。例えば、ビンに0.8から0.9の範囲の予測が含まれ、対応するインスタンスの85%が正である場合、点（0.85、0.85）は対角線上に位置する。
解釈には、対角線からの点の距離の調査が含まれる。対角線より上の点は過小信頼（モデルが観測頻度よりも低い確率を予測）を示し、下の点は過信を示す。一般的な要約統計量として、期待キャリブレーション誤差（ECE）があり、これはビン全体での予測確率と観測確率の絶対差の加重平均を計算する。ECE値が低いほど、キャリブレーションが良好であることを示す。
信頼性ダイアグラムには、モデルが予測を集中させる場所を示す予測頻度のヒストグラムが伴うことが多い。常に0.5付近の確率を予測するモデルは、中央に集中したヒストグラムを持ち、一方、適切にキャリブレーションされたモデルは、多くのインスタンスに自信がある場合、U字型の分布を持つことがある。
機械学習での使用
Machine learningでは、信頼性ダイアグラムは、生の精度を超えたモデル評価に不可欠なものとなっている。現代の分類器、特にDeep learningモデルは、しばしばキャリブレーションが不十分な確率を生成する。例えば、クロスエントロピー損失で訓練されたNeural networkは、誤った予測に高い確率を割り当てる過信を示すことがある。この問題は、2017年のChuan Guoらによる論文で強調され、ディープネットワークは、特に多くのクラスを持つデータセットでキャリブレーションが不十分になる傾向があることが示された。
信頼性ダイアグラムは、このキャリブレーションのずれを可視化し、再キャリブレーション手法を導くために使用される。一般的な後処理方法には、ロジットを単一のスカラーパラメータで調整するTemperature Scalingや、予測確率にロジスティック回帰を当てはめるプラットスケーリングがある。これらの方法は、モデルの予測ランキングを変更せずに、信頼性曲線を対角線に近づけることを目的としている。
このダイアグラムは、異なるモデルの比較にも役立つ。精度が類似した2つのモデルでも、キャリブレーション特性は大きく異なる場合があり、信頼性ダイアグラムはどちらがより信頼性の高い確率を提供するかを明らかにする。これは、医学診断、自動運転、金融リスク評価などの高リスクなアプリケーションで特に重要である。
天気予報での応用
気象学は、信頼性ダイアグラムの主要な領域であり続けている。予報官は、雨、極端な気温、激しい嵐などの事象について確率的予報を発行する。ダイアグラムは、これらの確率が長期間にわたって信頼できるかどうかを検証するのに役立つ。例えば、予報システムが多くの日に30%の降雨確率を予測する場合、雨はその約30%の日に発生するはずである。信頼性ダイアグラムにより、予報センターはこの一貫性を監視し、モデルを改善できる。
欧州中期予報センターなどの機関は、検証スイートで定期的に信頼性ダイアグラムを使用している。多くの場合、異なるリードタイムとしきい値に対して別々の曲線がプロットされる。適切にキャリブレーションされた予報システムは、対角線に近い点を示し、体系的なバイアスは一貫した乖離として現れる。
他の指標との関係
信頼性ダイアグラムは、信頼性、解像度、不確実性の成分に分解されるブライアースコアと密接に関連している。信頼性成分は、ダイアグラムの対角線からの平均二乗偏差に対応する。したがって、ダイアグラムはブライアースコアの一部の視覚的表現を提供する。ROC曲線下面積（AUC）などの他の指標は、キャリブレーションとは異なる識別力を測定する。モデルは完全な識別力（すべての正を負より上にランク付け）を持ちながらキャリブレーションが不十分な場合や、その逆の場合がある。
実際には、識別力とキャリブレーションの両方が重要である。信頼性ダイアグラムはキャリブレーションのみに焦点を当てており、ROC曲線や精度再現率曲線を補完するものとなっている。一部の研究者は、適切にキャリブレーションされているが識別力が低いモデルは限られた用途しかなく、その逆も同様であるため、両方を報告することを提唱している。
限界と拡張
信頼性ダイアグラムには既知の限界がある。ビニングの選択は視覚的な外観に影響を与える可能性があり、ビンが少なすぎると局所的なキャリブレーションのずれが隠され、多すぎるとノイズの多い推定値になる。ダイアグラムは、データセットが代表的であり、正クラスが明確に定義されていることを前提としている。多クラス問題では、ダイアグラムは通常、各クラスごとに、または1対残りのアプローチを使用して描画される。
拡張には、順序予測や生存分析のための信頼性ダイアグラムが含まれる。近年、研究者はビニングのアーティファクトを回避するためにカーネル平滑化を使用した信頼性曲線などの代替案を提案している。また、極端な確率をよりよく可視化するために、ロジットスケールでダイアグラムをプロットする研究もある。これらのバリエーションにもかかわらず、基本的な概念は変わらない。
ソフトウェアと実装
多くのプログラミングライブラリが信頼性ダイアグラムを生成する関数を提供している。Pythonでは、sklearn.calibrationモジュールに、プロット用の点を返すcalibration_curveが含まれている。matplotlibライブラリは、対角参照線付きのダイアグラムを描画するために一般的に使用される。Rでは、verificationパッケージが同様の機能を提供する。これらのツールにより、実務者はモデル評価パイプラインの一部としてキャリブレーションを簡単に評価できる。
Artificial intelligence研究では、信頼性ダイアグラムは、新しいキャリブレーション方法を提案する論文やモデルの不確実性を分析する論文に頻繁に含まれる。例えば、Large language modelのキャリブレーションに関する研究では、信頼性ダイアグラムを使用して、これらのモデルが出力が正しい確率をどの程度うまく推定しているかを示すことが多い。ダイアグラムは、モデルの信頼スコアが実際の精度と一致しているかどうかを示すのに役立つ。
将来の方向性
機械学習モデルがより複雑になり、重要な領域で展開されるにつれて、キャリブレーションは重要な関心事であり続けるだろう。信頼性ダイアグラムは、標準的な診断ツールとして引き続き機能する可能性が高い。研究者は、確率の定義がより複雑なGenerative AIやTransformer (architecture)ベースのモデルの文脈でのキャリブレーションを探求している。Reinforcement Learning from AI Feedback (RLAIF)や他のアライメント手法を使用するなどの新しい再キャリブレーション方法は、信頼性ダイアグラムで評価される可能性がある。
信頼性ダイアグラムの自動監視システムへの統合ももう一つのトレンドである。本番環境では、モデルを継続的に評価でき、ダイアグラムを経時的に追跡することでキャリブレーションの変化を検出できる。これは、モデルが正確であるだけでなく、適切にキャリブレーションされ、その不確実性について正直であることが求められる、信頼できるAIのより広い目標と一致している。