AIモデルの評価指標は、人工知能システムの性能、品質、信頼性を評価するために使用される標準化された定量的な尺度です。これらの指標は、異なるモデルを比較し、トレーニング中の進捗を追跡し、モデルが実世界のアプリケーションでの展開に適しているかどうかを判断するための共通言語を提供します。これらは、分類や回帰から自然言語生成や確率的予測まで、幅広いタスクに及び、それぞれに適した一連の尺度があります。
評価指標の選択は、AIモデルがどのように開発され、洗練されるかを根本的に形作ります。指標は、モデルアーキテクチャ、トレーニング目的、ハイパーパラメータ調整に関する決定に影響を与えます。不適切に選択された指標は、誤った結果を最適化するモデルにつながる可能性があり、一方で適切に設計された指標セットは、微妙な強みと弱みを明らかにすることができます。Artificial intelligenceがルールベースのシステムからMachine learningやDeep learningのアプローチへと進化するにつれて、評価指標のツールキットは、生成的出力の品質やモデルのキャリブレーションなどの新しい課題に対処するために拡張されてきました。
分類指標
モデルが入力を離散カテゴリに割り当てる分類タスクは、混同行列から導出されるいくつかの基礎的な指標に依存しています。この行列は、真陽性、真陰性、偽陽性、偽陰性を記録し、そこから他のすべての分類指標が計算されます。
精度は最も単純な指標であり、すべての予測のうち正しい予測の割合として定義されます。直感的ですが、精度は、あるクラスが支配的な不均衡なデータセットでは誤解を招く可能性があります。例えば、毎回多数派クラスを予測するモデルは、実質的に役に立たない一方で高い精度を達成できます。
適合率は、実際に正しかった陽性識別の割合を測定し、真陽性を真陽性と偽陽性の合計で割って計算されます。高い適合率は、モデルが陽性クラスを予測するとき、それが通常正しいことを示し、偽陽性がコストのかかるスパム検出などのアプリケーションで重要です。
再現率は、感度または真陽性率とも呼ばれ、実際の陽性のうち正しく識別された割合を測定し、真陽性を真陽性と偽陰性の合計で割って計算されます。高い再現率は、陽性ケースを見逃すことが深刻な結果をもたらす医療スクリーニングや不正検出で不可欠です。
F1スコアは、適合率と再現率の調和平均であり、両方の懸念をバランスさせる単一のスコアを提供します。0から1の範囲で、1は完璧な適合率と再現率を示します。F1スコアは、クラスが不均衡で、偽陽性と偽陰性の両方に意味のあるコストがかかる場合に特に有用です。
回帰指標
モデルが連続値を予測する回帰タスクでは、指標は予測誤差の大きさと方向に焦点を当てます。
平均二乗誤差（MSE）は、予測値と実際の値の差の二乗を平均します。誤差が二乗されるため、大きな誤差は不釣り合いにペナルティが課され、MSEは外れ値に敏感になります。ルート平均二乗誤差（RMSE）はMSEの平方根であり、指標をターゲット変数の元の単位に戻して解釈を容易にします。
平均絶対誤差（MAE）は、予測値と実際の値の間の絶対差を平均します。MSEとは異なり、MAEはすべての誤差を等しく扱い、外れ値に対してより堅牢です。MSEとMAEの選択は、アプリケーションの文脈で大きな誤差が特に望ましくないかどうかに依存します。
決定係数（R²）は、従属変数の分散のうち独立変数から予測可能な割合を測定します。負の無限大から1の範囲で、1は完全な適合を示します。R²はモデル品質の直感的な感覚を提供しますが、非線形モデルに適用したり、トレーニングデータの範囲を超えて外挿する場合には誤解を招く可能性があります。
生成モデル指標
Large language modelやGenerative AIの台頭により、生成されたテキスト、画像、その他のコンテンツの品質を評価するための新しい指標が登場しました。
BLEU（Bilingual Evaluation Understudy）は、もともと機械翻訳のために開発され、生成されたテキストと参照翻訳の間のn-gramの重なりを測定します。これは、過度に短い出力を防ぐための簡潔さペナルティによって修正された適合率スコアを計算します。BLEUは翻訳タスクの人間の判断とかなりよく相関しますが、意味的意味への鈍感さや創造的なテキスト生成でのパフォーマンスの低さなど、既知の制限があります。
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）は、主に要約に使用される指標のファミリーです。ROUGE-Nは生成された要約と参照要約の間のn-gramの重なりを測定し、ROUGE-Lは最長共通部分列を使用して文レベルの構造を捉えます。BLEUとは異なり、ROUGEは再現率を強調し、生成された出力に参照コンテンツがどれだけ含まれているかを測定します。
パープレキシティは、言語モデルに一般的に使用される指標であり、確率分布がサンプルをどれだけうまく予測するかを測定します。パープレキシティが低いほど、モデルがその予測に自信を持っていることを示し、シーケンス内の実際の次のトークンに高い確率を割り当てることを意味します。パープレキシティは、トークンあたりの平均負の対数尤度の指数と数学的に同等です。同じコーパスで言語モデルを比較するのに有用ですが、パープレキシティは生成されたテキストの品質や一貫性を直接測定するものではありません。
キャリブレーション指標
キャリブレーションは、モデルの予測確率が実際の結果とどれだけ一致するかを測定します。イベントに対して70%の確率を予測する適切にキャリブレーションされたモデルは、約70%の確率で正しいはずです。
期待キャリブレーション誤差（ECE）は、予測を信頼度レベルに基づいてビンに分割し、各ビン内の精度と信頼度の絶対差の加重平均を計算します。ECEが低いほど、キャリブレーションが良好であることを示します。ブライアスコアは、キャリブレーションとシャープネスを組み合わせたもう1つのキャリブレーション指標であり、予測確率と実際の結果の間の平均二乗差を測定します。
キャリブレーションは、過信な予測が危険な決定につながる可能性がある医療診断や自動運転などの高リスクアプリケーションで特に重要です。現代のNeural networkはしばしばキャリブレーションが不十分であり、温度スケーリングなどの技術がトレーニング後にそれを改善するために使用されます。
タスク固有の指標
さまざまなAIアプリケーションドメインは、独自の要件に合わせた専門的な指標を開発してきました。
情報検索と検索では、平均平均適合率（MAP）と正規化割引累積利得（NDCG）が、システムが関連結果をどれだけうまくランク付けするかを評価します。NDCGは関連アイテムの位置を考慮し、関連結果がランキングの早い段階に現れるほど高いスコアを与えます。
コンピュータビジョンのオブジェクト検出では、交差結合比（IoU）が予測されたバウンディングボックスとグラウンドトゥルースボックスの間の重なりを測定します。平均平均適合率（mAP）は、さまざまなIoUしきい値とオブジェクトクラスにわたって適合率-再現率曲線を集約し、COCOなどのデータセットの標準ベンチマーク指標として機能します。
強化学習では、指標は累積報酬、サンプル効率、安全性に焦点を当てます。リターンは、エピソード中に蓄積された総割引報酬を測定し、成功率は、エージェントが目標を達成するエピソードの割合を追跡します。
実用的な考慮事項
適切な評価指標を選択するには、タスク、データ分布、展開コンテキストを慎重に検討する必要があります。いくつかの実用的な問題が指標の使用を複雑にします。
データリークは、テストセットからの情報がモデルのトレーニングに影響を与えるときに発生し、指標値の膨張につながります。信頼できる推定値を得るには、適切なデータセット分割と交差検証手順が不可欠です。多重比較は、多くのモデルまたはハイパーパラメータ構成を評価するときに発生し、偶然だけで見かけ上良い結果を見つける可能性が高まります。
指標はまた、ゲームされる可能性があります。モデルは、真の改善なしに高いスコアを達成するために指標の定義を悪用するかもしれません。例えば、BLEUは、参照n-gramに密接に一致するが流暢さや意味を欠くテキストを生成することによって膨張させることができます。これは、AI研究における指標駆動型開発への批判につながり、より包括的な評価アプローチを主張する声もあります。
人間による評価は、特に創造性、有用性、安全性などの主観的な品質を含む多くのタスクで依然としてゴールドスタンダードです。しかし、人間による評価は費用がかかり、遅く、一貫性がない場合があります。自動化された指標と対象を絞った人間のレビューを組み合わせたハイブリッドアプローチは、業界の設定でますます一般的になっています。
将来の方向性
AI評価の分野は、現在の指標の限界に対処するために積極的に進化しています。Stanford AI Lab、BAIR (Berkeley AI Research)、MIT CSAILなどの機関の研究者は、モデルの能力とリスクをよりよく捉える新しい評価フレームワークを開発しています。
ベンチマークスイート（MMLU、HELM、BIG-benchなど）は、多様なドメインにわたってLarge language modelを評価するための標準化されたタスクコレクションを提供します。これらのベンチマークは、一般的な知識、推論、指示追従を測定することを目的としていますが、ベンチマークデータがトレーニングコーパスに現れる可能性のある汚染など、独自の制限があります。
敵対的評価は、モデルの弱点を探るために意図的に挑戦的な例を構築することを含みます。このアプローチは、わずかに摂動されたまたは分布外の入力でモデルが失敗する堅牢性の重大なギャップを明らかにしました。
プロセスベースの評価は、出力だけでなく、AIシステムの推論と意思決定プロセスを調べます。これは、モデルが特定の決定を下した理由を理解することが決定自体と同じくらい重要である安全クリティカルなアプリケーションに特に関連しています。
AIシステムがより能力を高め、ますます重要な領域に展開されるにつれて、厳密で包括的な評価指標の開発は重要な研究優先事項であり続けています。この分野は、良いパフォーマンスを構成するもの、それを確実に測定する方法、そして指標が真に有益なAIシステムへの進歩を確実に推進する方法についての根本的な問いに引き続き取り組んでいます。