Expected Calibration Error（ECE）は、モデルの信頼度予測の誤較正を定量化するために使用される指標です。分類タスクにおいて、適切に較正されたモデルは、予測確率（信頼度）が実際の正解頻度と一致する必要があります。例えば、モデルが80%の信頼度を割り当てた予測のうち、約80%が正解であるべきです。ECEは、予測をビンに分割し、各ビンにおける信頼度と精度の絶対差の加重平均を測定し、低いほど良い単一のスカラー値を提供します。
ECEは、過信または過小信頼の予測が意思決定の質を低下させる可能性があるMachine learningやArtificial intelligenceの高リスク用途で特に重要です。これは、Neural network分類器の評価に広く使用されており、過学習や複雑なアーキテクチャの使用により較正が不十分になることが多いDeep learningモデルやLarge language modelを含みます。
Formal Definition
ECEは、信頼度スコアに基づいて予測をM個の等間隔のビンに分割することで計算されます。各ビンB_mについて、平均信頼度（conf）と平均精度（acc）が計算されます。ECEは、これらの平均間の絶対差の加重和であり、重みは各ビンのサンプル数に比例します。式は、ECE = sum_{m=1}^{M} (|B_m| / N) * |acc(B_m) - conf(B_m)| で、Nは総サンプル数です。この定式化により、サンプル数が多いビンが全体の誤差に大きく寄与します。
ビン数Mの選択はハイパーパラメータであり、実際には一般的に10または15に設定されます。適応的ビニングやカーネル密度推定などの代替ビニング戦略が、ビン幅への感度を低減するために提案されていますが、固定幅ビニングはその単純さと解釈可能性から標準的なままです。
Calibration in Machine Learning
較正は精度とは異なります。モデルは、信頼度スコアが真の確率を反映していない場合、高精度でありながら較正が不十分なことがあります。例えば、画像分類で訓練されたResidual Network (ResNet)は95%の精度を達成するかもしれませんが、多くの正しい予測に99%の信頼度を、誤った予測に70%の信頼度を割り当て、高いECEにつながる可能性があります。逆に、精度が低いモデルでも、各ビンで信頼度が精度と一致していれば完全に較正されている可能性があります。
現代のDeep learningモデル、特にクロスエントロピーなどのLoss Functionsで訓練されたものは、過信傾向があります。この現象は、2017年にChuan Guoらによる研究で体系的に文書化され、より深いアーキテクチャとより高い精度が、より悪い較正と相関することが示されました。この研究では、ポストホックな較正方法としてTemperature Scalingも導入され、現在も一般的なベースラインとして残っています。
Relationship to Other Metrics
ECEは、いくつかの較正指標の1つです。Brierスコアは、予測確率と二値結果の間の平均二乗誤差を測定し、較正と精緻化を組み合わせます。信頼性図は、精度を信頼度に対してプロットする視覚的ツールであり、誤較正の定性的なビューを提供します。ECEは信頼性図を単一の数値に要約し、モデルの比較を容易にしますが、誤較正の方向（過信対過小信頼）に関する情報を失います。
もう1つの関連指標は、最大較正誤差（MCE）であり、加重平均ではなくビン間の最大絶対差を取ります。MCEは、安全性重視のアプリケーションなど、最悪ケースの較正が重要な場合に有用です。ただし、ECEは外れ値に対する堅牢性から、研究論文でより一般的に報告されます。
Applications in Large Language Models
Generative AIとLarge language modelの台頭に伴い、ECEは自然言語処理タスクの較正評価に適応されています。OpenAI、Anthropic、Google DeepMindによって開発されたモデルは、多くの場合トークンレベルの確率を生成し、回答の信頼度スコアに集約できます。しかし、これらのモデルの較正は、明示的に較正された確率を促進しない目的で訓練され、出力空間が広大であるため、困難です。
最近の研究では、大規模言語モデルは、特に事実に基づく質問応答タスクにおいて、回答に過信することが多いことが示されています。研究者は、較正を意識した目的での微調整や、Reinforcement Learning from AI Feedback (RLAIF)（AIフィードバックからの強化学習）を使用して信頼度を正解率に合わせるなど、較正を改善する方法を提案しています。ECEは、これらの研究で人間による評価や他の確率指標とともに、評価指標として頻繁に使用されます。
Calibration Methods
ECEを低減するためのいくつかの手法が存在します。Temperature Scalingは、ソフトマックス関数を適用する前に、学習された温度パラメータでロジットを除算する後処理方法です。これはモデルの予測を変更せず、信頼度分布を調整します。他の後処理方法には、Top-P (Nucleus) SamplingとTop-K Samplingがあり、主に生成に使用されますが、確率分布を変更することで較正にも影響を与える可能性があります。
訓練中の方法には、誤較正をペナルティする損失関数への正則化項の追加や、暗黙的に較正を改善する方法でのBatch NormalizationとDropoutの使用が含まれます。ラベル平滑化も、ターゲット分布を柔らかくする一般的な手法であり、精度がわずかに低下する代わりに、より良い較正につながることがよくあります。ニューラルネットワークの場合、Weight InitializationとLearning Rate Schedulingの選択も較正に影響を与える可能性がありますが、その効果は直接的ではありません。
Limitations and Criticisms
ECEには既知の制限があります。ビニングの選択は報告された値に大きく影響し、異なるビン数は異なる結論につながる可能性があります。さらに、ECEは信頼度の分布に敏感であり、ほとんどの予測が単一のビンに該当する場合、指標の情報量が減少します。一部の研究者は、クラス別ECEや静的較正誤差などの代替指標を提案していますが、広く採用されていません。
もう1つの批判は、ECEが誤分類のコストに関係なくすべての誤差を等しく扱うことです。医療診断や自動運転などのアプリケーションでは、まれだが重要なクラスでの誤較正された信頼度は、一般的な誤差よりも有害である可能性があります。ECEはこの非対称性を捉えないため、実務者はドメイン固有の指標で補完することがよくあります。
Practical Considerations
ECEを報告する際には、ビン数と精度の計算方法を指定することが重要です。多クラス問題では、ECEは通常、各クラスを二値問題として扱い平均するか、クラス間の最大信頼度を使用して計算されます。実際には、scikit-learnやPyTorchなどの多くのライブラリがECE計算用の組み込み関数を提供していますが、実装はわずかに異なる場合があるため、結果は注意して比較する必要があります。
ECEはモデル選択と監視にも使用されます。例えば、Amazon Web ServicesやGoogle Cloudの機械学習パイプラインでは、モデル較正のドリフトを検出するためにECEを経時的に追跡できます。同様に、Microsoft AzureやOracle Cloud Infrastructureのデプロイメントでは、データ分布が変化してもモデルが信頼性を維持することを保証するために較正指標が使用されます。
Future Directions
較正に関する研究は進行中であり、特にTransformer (architecture)ベースのモデルやMulti-Head Attentionアーキテクチャの文脈で行われています。新しい方法は、指定されたカバレッジ確率を持つ予測セットを生成するコンフォーマル予測などの較正保証を提供することを目指しています。これらのアプローチはECEを補完し、より堅牢な不確実性定量化を提供する可能性があります。
Artificial intelligenceシステムがより重要な領域に展開されるにつれて、ECEのような較正指標の重要性は高まる可能性があります。標準化されたベンチマークと報告慣行の開発は、モデルが正確であるだけでなく、信頼度推定において信頼できることを保証するのに役立ちます。