キャリブレーション誤差は、機械学習モデルの予測信頼度スコアが実際の精度とどの程度一致しているかを定量化する指標である。完全にキャリブレーションされたモデルでは、80%の信頼度で結果を予測した場合、その結果は約80%の頻度で発生するはずである。キャリブレーション誤差は、医療診断、自動運転、金融予測などのリスクの高い用途において、確率的予測の信頼性を評価するために不可欠である。キャリブレーションが不十分だと、過信または過小信頼の予測につながり、Artificial intelligenceシステムへの信頼を損なう可能性がある。
キャリブレーションの概念は統計学と気象学に由来し、そこでは予報士が長い間、確率推定と観測頻度を一致させることを目指してきた。現代の機械学習では、Deep learningモデル、特にNeural networkが系統的なキャリブレーション不良を示すことが判明し、キャリブレーションが注目されるようになった。研究者らは、分類タスクで訓練された深層ネットワークがしばしば過信な予測を生成することを発見した。つまり、その信頼度スコアは実際の精度よりも高いのである。この現象は、Large language modelのような大規模で複雑なモデルで特に顕著であり、流暢だが不正確な応答を高い信頼度で生成することがある。
キャリブレーション誤差の測定
キャリブレーション誤差の最も一般的な指標は、期待キャリブレーション誤差（ECE）である。ECEは、信頼度スコアに基づいて予測をビンに分割し、各ビン内の精度と信頼度の絶対差の加重平均を計算する。N個の予測からなるデータセットで、各予測が信頼度p_iと正解性c_i（正解なら1、それ以外なら0）を持つ場合、ECEは次のように計算される：
ECE = Σ_{m=1}^{M} (|B_m| / N) * |acc(B_m) - conf(B_m)|
ここで、Mはビンの数、B_mはビンm内の予測の集合、acc(B_m)は平均正解性、conf(B_m)は平均信頼度である。ECEが低いほどキャリブレーションが良好であることを示す。もう一つの指標である最大キャリブレーション誤差（MCE）は、ビン間の最悪ケースの偏差を捉え、単一の過信予測が危険な場合に有用である。
キャリブレーションは、精度を信頼度に対してプロットする信頼性ダイアグラムを使用して視覚化することもできる。完全にキャリブレーションされたモデルは対角線を生成する。対角線より上の偏差は過信を示し、下の偏差は過小信頼を示す。
キャリブレーション不良の原因
現代のモデルにおけるキャリブレーション誤差には、いくつかの要因が寄与している。深層ネットワークに一般的な過剰パラメータ化は、モデルが訓練データを記憶することを可能にし、未見の例に対する過信予測につながる。Loss Functionsとしてのクロスエントロピーの使用は、モデルが正解クラスの確率を高めることを促し、しばしば信頼度スコアを1に向かって押し上げる。さらに、不均衡なデータセットでの訓練はキャリブレーションを歪める可能性があり、モデルが多数派クラスに対して過信になることがある。
Large language modelでは、タスクの生成的性質によりキャリブレーションはさらに複雑になる。これらのモデルはトークン確率を生成するが、完全な応答に対する信頼度は直接利用できない。研究者はしばしば、生成されたシーケンスの確率やモデルの自己報告による確実性を使用するが、これらの尺度はキャリブレーションが不十分な場合がある。訓練データの規模の大きさとタスクの多様性も、ドメイン全体で一貫したキャリブレーションを維持することを困難にしている。
キャリブレーション技術
キャリブレーションを改善するために、いくつかの方法が開発されている。事後キャリブレーション法は、モデルの重みを変更せずに訓練後にモデルの出力を調整する。最も広く使用されているのは温度スケーリングであり、これはTemperature Scalingの変種で、ソフトマックス関数を適用する前にロジットを学習されたスカラー温度で除算する。温度スケーリングはシンプルで効果的であり、モデルの予測クラスを変更せず、信頼度のみを変更する。多くのNeural networkアーキテクチャでECEを大幅に削減することが示されている。
他の事後法には、モデルの出力にロジスティック回帰を適用するプラットスケーリングや、非パラメトリックな単調関数を適合させる等張回帰がある。これらの方法は二値分類に特に有用であるが、多クラス設定にも拡張できる。
訓練中には、ラベルスムージングなどの正則化技術を使用してキャリブレーションを改善できる。これはターゲット分布を軟化させ、モデルが過度に自信過剰になるのを防ぐ。Data AugmentationとBatch Normalizationも、一部の設定でキャリブレーションにプラスの影響を与えることが観察されている。Large language modelでは、人間のフィードバックからの強化学習（RLHF）などの技術が、モデルの信頼度を人間の判断と整合させることで間接的にキャリブレーションを改善できるが、これは保証されていない。
大規模言語モデルにおけるキャリブレーション
OpenAI、Anthropic、Google DeepMindによって開発されたようなLarge language modelは、しばしばキャリブレーション不良を示す。例えば、モデルが事実に関する質問に高い信頼度で回答するが、誤っている場合がある。これは、ユーザーが意思決定のためにモデルの確実性に依存する可能性があるため、特に懸念される。研究によると、より大きなモデルが必ずしもキャリブレーションが良好であるとは限らず、場合によってはスケーリングが過信の増加によりキャリブレーションを悪化させることがある。
LLMのキャリブレーションを改善するために、いくつかのアプローチが提案されている。一つの方法は、モデルに「確信がない」や「70%の自信がある」などの自然言語で不確実性を表現させることである。しかし、モデルはこれらの指示に確実に従うとは限らない。別のアプローチは、平均トークン確率などのモデルの内部確率を信頼度スコアとして使用することであるが、これは長い応答では誤解を招く可能性がある。いくつかの研究では、キャリブレーションに焦点を当てたデータセットでの微調整や、モデルのアンサンブル使用がキャリブレーションを改善できることがわかっている。
応用と影響
キャリブレーション誤差は、さまざまなドメインで重要な影響を持つ。医療では、疾患リスクを予測するAIシステムは、臨床医が情報に基づいた意思決定を行えるように、適切にキャリブレーションされた確率を持たなければならない。自動運転では、障害物を検出する際の認識システムの信頼度が安全性に影響する。金融では、信用リスクモデルが金利を設定するために正確な確率推定を必要とする。キャリブレーション不良は、モデルが誤った予測に過信しているために自動運転車が歩行者を検出できないなど、壊滅的な結果につながる可能性がある。
Generative AIの文脈では、キャリブレーションは信頼構築にとって重要である。チャットボットや仮想アシスタントのユーザーは、モデルがいつ不確実であるかを知る必要がある。キャリブレーション不良のモデルは、高い信頼度で誤情報を広め、害を増幅させる可能性がある。したがって、キャリブレーションはAIの安全性と信頼性における活発な研究分野である。
課題と今後の方向性
進歩にもかかわらず、キャリブレーションは依然として困難な問題である。温度スケーリングなどの事後法は、ロジットと確率の間に固定された関係を仮定するが、これは異なるデータ分布では成立しない場合がある。分布外データでのキャリブレーションは特に困難であり、モデルは訓練中に見たことのない入力に対して過信になる傾向がある。研究者は、不確実性定量化技術を使用して、分布シフト下でのモデルのキャリブレーション方法を模索している。
Large language modelでは、キャリブレーションは、オープンエンド生成に使用されるため、「正しさ」の概念が曖昧であるという事実によって複雑になる。「正しい」応答を構成するものを定義することは常に明確ではなく、キャリブレーションの測定を困難にしている。将来の研究は、タスク固有のキャリブレーションメトリクスと、モデルのコンテキストに適応できる方法の開発に焦点を当てるかもしれない。
もう一つの方向性は、キャリブレーションを訓練プロセス自体に統合することである。キャリブレーションを事後修正として扱う代わりに、モデルはキャリブレーション不良を明示的に罰する目的で訓練できる。これにより、本質的にキャリブレーションされたモデルが生まれ、追加のステップの必要性が減る可能性がある。
結論
キャリブレーション誤差は、AIシステムの信頼性を評価するための基本的な指標である。これは、モデルの信頼度と実際の精度の間の整合性を測定し、信頼できる意思決定に不可欠である。現代のモデル、特に深層ネットワークと大規模言語モデルは、しばしばキャリブレーション不良に悩まされるが、この問題を軽減するためのさまざまな技術が存在する。AIが重要なドメインで展開され続けるにつれて、良好なキャリブレーションを確保することは、研究者と実務者にとって主要な優先事項であり続けるだろう。