バイナリ分類器の評価とは、各入力を正例と負例という2つの相互排他的なカテゴリのいずれかに割り当てる機械学習モデルの性能を測定するプロセスである。この評価はMachine learningの基礎であり、スパム検出、医療診断、不正検出など、多くの実世界のアプリケーションを支えている。核心的な課題は、モデルの実用的な有用性を反映する指標を選択することにあり、特にクラス分布が不均衡な場合、単一の指標では性能のすべての側面を捉えることはできない。
バイナリ分類器評価の基礎は混同行列であり、これは真陽性（TP）、真陰性（TN）、偽陽性（FP）、偽陰性（FN）の数を記録する2x2の表である。これらの4つの値から、多種多様な指標を導出できる。正解率は(TP+TN)/(TP+TN+FP+FN)と定義され、全予測のうち正しい割合を測定する。しかし、一方のクラスが支配的である場合、正解率は誤解を招く可能性があり、多数派クラスを予測するモデルは意味のある判別なしに高い正解率を達成できる。そのため、実務者はより詳細な指標に依存することが多い。
主要な指標：適合率、再現率、F1スコア
適合率は、陽性予測値とも呼ばれ、正例と予測されたもののうち実際に正例である割合、すなわちTP/(TP+FP)である。これは「モデルが正例としてフラグを付けたすべてのインスタンスのうち、実際に正例であるものはいくつか」という問いに答える。適合率が高いことは、誤警報が少ないことを示す。再現率、または感度は、実際の正例のうち正しく識別された割合、すなわちTP/(TP+FN)である。これは「すべての真の正例インスタンスのうち、モデルはいくつを捕捉したか」という問いに答える。再現率が高いことは、見逃された正例が少ないことを示す。これら2つの指標はしばしばトレードオフの関係にあり、適合率を向上させると再現率が低下し、その逆もまた同様である。
F1スコアは適合率と再現率の調和平均であり、2 (適合率 再現率) / (適合率 + 再現率)として計算される。これは両方の懸念のバランスを取る単一の数値を提供し、偽陽性と偽陰性に等しい重みを与える。F1スコアは、真陰性を組み込まないため、クラス分布が偏っている場合に特に有用である。例えば、稀な疾患の医療スクリーニングでは、適合率が低くても症例を見逃さないように高い再現率を持つモデルが好まれ、F1スコアはそのようなトレードオフの比較に役立つ。
ROC曲線とAUC
受信者動作特性（ROC）曲線は、様々な分類閾値における真陽性率（再現率）を偽陽性率（FP/(FP+TN)）に対してプロットするグラフツールである。曲線上の各点は、最も寛容な閾値（すべてを正例として分類）から最も厳格な閾値（すべてを負例として分類）までの異なる決定閾値に対応する。ROC曲線の下の面積（AUC）は、正例を負例よりも高くランク付けするモデルの全体的な能力を要約する。AUCが0.5の場合はランダムな推測を示し、1.0の場合は完全な判別を示す。AUCは閾値に依存せず、クラス不均衡に対して頑健であるため、分類器の比較に人気のある選択肢である。しかし、これは展開時に選択された実際の動作点を反映しないため、関心のある特定の閾値での指標で補完する必要がある。
追加の指標と考慮事項
主要な指標に加えて、特定の文脈では他のいくつかの指標が使用される。特異度、または真陰性率はTN/(TN+FP)であり、再現率を補完する。マシューズ相関係数（MCC）は混同行列を要約する単一の指標であり、-1（完全な不一致）から+1（完全な予測）までの範囲を取り、0はランダムを示す。MCCは、混同行列の4つのセルすべてを考慮するため、不均衡なデータセットではF1スコアよりも情報量が多いと考えられている。適合率-再現率（PR）曲線は、異なる閾値での適合率を再現率に対してプロットするものであり、正例クラスが稀である場合、ROC曲線がそのような場合に過度に楽観的になる可能性があるため、ROCよりも好まれることが多い。
評価には、適切な閾値の選択も含まれる。デフォルトでは、多くの分類器は0.5を決定境界として使用するが、これは常に最適であるとは限らない。閾値チューニング（特定の指標（例：F1スコアやビジネス固有のコスト）を最大化するために閾値を調整する手法）は一般的である。さらに、信頼性の高い性能推定を得るには交差検証が不可欠である。例えば、k分割交差検証はデータをk個のサブセットに分割し、k-1個で訓練し、保持された分割で評価することをk回繰り返す。これにより分散が減少し、過学習の検出に役立つ。
評価における実際的な課題
実世界の評価はいくつかの課題に直面する。一方のクラスが他方よりもはるかに稀であるクラス不均衡は、正解率などの標準的な指標を誤解を招くものにする可能性がある。そのような場合、リサンプリング手法（例：少数派クラスのオーバーサンプリングや多数派クラスのアンダーサンプリング）やコスト考慮型学習が適用されることがあるが、評価指標は誤分類の根本的なコストを反映しなければならない。もう一つの課題は評価データの選択であり、テストセットは展開母集団を代表するものでなければならず、時間的ドリフトは時間の経過とともに性能を低下させる可能性がある。例えば、過去のメールで訓練されたスパム分類器は、スパムパターンが進化するにつれて正確さが低下する可能性があり、定期的な再評価が必要となる。
さらに、評価指標はドメイン間で交換可能ではない。Deep learningアプリケーション（画像分類やNatural language processingなど）では、同じバイナリ分類の原則が適用されるが、偽陽性と偽陰性の解釈は異なる場合がある。例えば、自動運転（例：Waymo）では、歩行者検出システムの偽陰性は偽陽性よりもはるかに危険であるため、再現率が優先される。対照的に、レコメンデーションシステムでは、偽陽性（無関係な提案）の方が許容される可能性がある。
結論
バイナリ分類器の評価は多面的なタスクであり、問題の目標と制約に基づいて適切な指標を選択する必要がある。単一の指標が普遍的に最良であることはなく、その選択は偽陽性と偽陰性の相対的なコスト、クラス分布、および意図された使用事例に依存する。徹底的な評価は、複数の指標を組み合わせ、頑健な検証手法を使用し、運用上の閾値を考慮する。機械学習が進歩し続け、Large language modelのようなモデルが分類タスクに適応されるにつれて、バイナリ分類器評価の原則は、AIシステムの信頼性と信頼性を確保するために不可欠であり続ける。