精度と再現率は、分類システムや情報検索システムの品質を評価するために用いられる、2つの基本的な性能指標です。これらは、モデルがデータセットから関連項目をどれだけ適切に識別するかを定量化し、偽陽性と偽陰性のコストのバランスを取ります。精度は、陽性適中率とも呼ばれ、取得された項目のうち実際に関連するものの割合を測定します。再現率は、感度とも呼ばれ、関連する全項目のうち正常に取得されたものの割合を測定します。これらを組み合わせることで、クラスの不均衡がある場合や、異なるエラーのコストが異なる場合に、正確度だけでは得られない、モデルの挙動に関するより詳細な視点が得られます。
形式的には、精度は真陽性の数を、システムが陽性とラベル付けした項目の総数（真陽性と偽陽性の合計）で割ったものとして計算されます。再現率は、真陽性の数を、実際に陽性クラスに属する項目の総数（真陽性と偽陰性の合計）で割ったものとして計算されます。例えば、デジタル写真内の犬を認識するように設計されたコンピュータプログラムを考えます。写真に猫が10匹と犬が12匹含まれており、プログラムが8つの要素を犬として識別し、そのうち5つが実際に犬（真陽性）で、3つが猫（偽陽性）である場合、7匹の犬が見逃され（偽陰性）、7匹の猫が正しく除外されます（真陰性）。このプログラムの精度は5/8であり、選択された8つの要素のうち5つだけが関連するためです。再現率は5/12であり、関連する12匹の犬のうち5匹だけが見つかったためです。
統計的誤差との関係
精度と再現率は、統計的仮説検定の概念に直接対応します。帰無仮説が「特定の項目は関連しない」というものである場合、偽陽性（第1種の誤り）は関連しない項目が誤って選択されたときに発生し、偽陰性（第2種の誤り）は関連する項目が見逃されたときに発生します。完全な精度は偽陽性がゼロであることに対応し、取得されたすべての項目が関連することを意味します。完全な再現率は偽陰性がゼロであることに対応し、関連するすべての項目が取得されることを意味します。再現率は単に第2種の誤り率の補数であり、1からその率を引いたものとして計算されます。精度は第1種の誤り率に関連しますが、より複雑な方法で関連します。なぜなら、精度は母集団における関連項目と非関連項目の事前分布にも依存するためです。犬認識の例では、猫10匹のうち3つの第1種の誤りがあり、第1種の誤り率は3/10となり、犬12匹のうち7つの第2種の誤りがあり、第2種の誤り率は7/12となります。
解釈と有用性
精度は、品質の尺度として説明されることが多く、陽性予測がどれだけ信頼できるかを示します。再現率は、量の尺度であり、システムの陽性クラスに対する網羅性を示します。高精度は、アルゴリズムが主に関連する結果を返すことを意味し、高再現率は、関連する結果のほとんどを返すことを意味しますが、関連しない結果もいくつか含まれる場合があります。これらの指標は、単独ではあまり有用ではありません。システムは、コレクション内のすべての項目を単に取得することで完全な再現率を達成できますが、そのようなシステムは非常に低い精度になります。逆に、システムは、ほぼ確実に関連する単一の項目のみを選択することで完全な精度を達成できますが、これは再現率を犠牲にします。実際には、精度と再現率は通常、一緒に報告され、多くの場合、再現率の関数として精度をプロットする精度-再現率曲線を通じて報告されます。典型的には、精度は再現率が増加するにつれて減少し、両者の間の固有のトレードオフを反映します。
精度と再現率のトレードオフ
精度と再現率の間にはしばしば逆相関があり、一方を増やすと他方を減らすコストがかかります。最適なバランスは、特定のアプリケーションと、異なるタイプのエラーの相対的なコストに依存します。煙探知器は、再現率を重視して設計されたシステムの典型的な例です。実際の火災時に警報を発しないコストが法外に高いため、意図的に誤警報（第1種の誤り）を起こしやすくしています。検出器は、すべての真の危険を確実に捉えるために精度を犠牲にします。対照的に、ブラックストンの比率「十人の有罪者を逃がす方が、一人の無実の者が苦しむよりも良い」に導かれた刑事司法制度は、精度を重視します。この制度は、無実の人を有罪にしないように設計されており、より多くの有罪者を自由にさせることを意味しても、再現率を犠牲にします。
脳外科医が癌性腫瘍を除去する場合、個人レベルでのトレードオフを示しています。外科医は、再発を防ぐためにすべての腫瘍細胞を除去しなければなりませんが、機能を維持するために健康な脳細胞の除去も避けなければなりません。より自由なアプローチ、つまり腫瘍の周囲のより広い領域を除去することは、すべての癌細胞が確実に抽出されることで再現率を高めますが、健康な組織を除去する可能性も高めます。より保守的なアプローチは、確認された癌細胞のみを対象とすることで精度を高めますが、いくつかの腫瘍細胞を残すリスクがあります。どちらの結果も重大な結果をもたらし、外科医の選択は、その文脈における精度と再現率に置かれる相対的な重みを反映します。
機械学習での使用
機械学習において、精度と再現率は、特に不均衡なデータセットを持つ領域での分類モデルの標準的な評価指標です。例えば、医療診断では、まれな疾患を検出するモデルが、単に多数派クラスを予測することで高い正確度を持つ場合がありますが、精度と再現率はその実際の有用性を明らかにします。人工知能研究では、これらの指標は、物体検出、スパムフィルタリング、文書検索などのタスクにわたってモデルを比較するために使用されます。また、F1スコアなどの派生指標の基礎でもあり、F1スコアは精度と再現率の調和平均であり、両方の関心事のバランスを取る単一の数値を提供します。これらの概念は、二値分類を超えて多クラス設定にも拡張され、精度と再現率はクラスごとに計算され、その後集約されます。
情報検索での応用
精度と再現率は、情報検索の分野で生まれ、検索エンジンやデータベースクエリシステムを評価します。この文脈では、精度は、ユーザーのクエリに関連する取得文書の割合を測定し、再現率は、コレクション内のすべての関連文書のうち取得されたものの割合を測定します。検索エンジンはしばしばトレードオフに直面します。より多くの結果を返すと再現率が向上する可能性がありますが、関連しないページで精度が薄まる可能性があります。ランキングシステムは、精度@10などの固定数の結果での精度を使用して、上位結果の品質を評価します。これらの指標は、大規模言語モデルや生成AI技術を搭載したものを含む、現代の検索システムの評価において中心的な役割を果たし続けています。
限界と拡張
精度と再現率には限界があります。これらは、一部のアプリケーションで重要となる可能性のある真陰性を考慮していません。また、陽性クラスの選択に敏感であり、その解釈は陽性クラスの事前確率に依存します。陽性クラスがまれな場合、多くの偽陽性を導入せずに再現率を改善することは困難な場合があります。これらの問題に対処するために、研究者はF1スコア、精度-再現率曲線下面積、マシューズ相関係数などの関連指標を開発しました。実際には、指標の選択はアプリケーションの目標に依存し、精度と再現率は、モデル性能の完全な全体像を提供するために、他の統計と一緒に報告されることがよくあります。