受信者動作特性曲線（ROC曲線）は、バイナリ分類器モデルの性能を様々なしきい値で示すグラフである。複数のクラスに一般化することも可能だが、最も一般的には二値分類問題に適用される。ROC分析は、臨床疫学における診断検査性能の評価や、機械学習、放射線医学、生体認証、予測の分野で頻繁に使用される。この曲線は、すべての可能な分類しきい値にわたる感度と特異度の間のトレードオフを包括的に示し、特定の動作点を指定せずにモデル比較を可能にする。
ROC曲線は、各しきい値設定における真陽性率（TPR）を偽陽性率（FPR）に対してプロットしたものである。真陽性率は、感度または検出確率とも呼ばれ、実際の陽性のうち正しく識別された割合を測定する。偽陽性率は、誤警報確率とも呼ばれ、1から特異度を引いた値に等しく、実際の陰性のうち誤って陽性と分類された割合を測定する。この曲線は、決定規則のタイプIエラーの関数としての統計的検出力のプロットとしても解釈できる。真陽性と偽陽性の両方の結果の確率分布が既知である場合、ROC曲線は、y軸上の検出確率の累積分布関数とx軸上の偽陽性確率の累積分布関数として得られる。
ROC分析は、コストコンテキストやクラス分布を指定する前、かつそれとは独立に、最適なモデルを選択し、準最適なモデルを除外するためのツールを提供する。これは、診断意思決定のコスト・ベネフィット分析と直接的かつ自然に関連している。ROC曲線下面積（AUC）は、分類器の全体的な性能を要約する単一のスカラー値であり、1に近い値ほど識別能力が優れていることを示し、0.5はランダムな推測と同等の性能を示す。
用語
真陽性率は、感度、再現率、または検出確率としても知られている。偽陽性率は、誤警報確率としても知られ、1から特異度を引いた値に等しい。ROC曲線は、基準が変化するにつれて2つの動作特性（TPRとFPR）を比較するため、相対動作特性曲線とも呼ばれる。一部の分野では、この曲線は感度対（1から特異度を引いた値）のプロットと呼ばれる。「陽性」と「陰性」という用語は予測されたクラスラベルを指し、「真」と「偽」は予測が実際のグラウンドトゥルースと一致するかどうかを示す。
歴史
ROC曲線は、第二次世界大戦中の1941年から、戦場で敵の物体を検出するために電気工学者とレーダー工学者によって最初に開発された。この起源が「受信者動作特性」という名前の由来であり、レーダー受信機の動作特性を説明していた。この技術はすぐに心理学に導入され、特に信号検出理論における刺激の知覚的検出を説明するために使用された。その後の数十年で、ROC分析は医学、放射線医学、生体認証、自然災害の予測、気象学、モデル性能評価に採用された。近年では、Machine learningやデータマイニング研究において、分類モデルを評価するための標準的なツールとしてますます使用されている。
基本概念
分類モデルは、インスタンスを特定のクラスまたはグループにマッピングするものである。分類器の出力は任意の実数値であり、クラス境界を決定するためのしきい値が必要な場合もあれば、離散的なクラスラベルである場合もある。結果が陽性（p）または陰性（n）とラベル付けされる二クラス予測問題を考えよう。バイナリ分類器からは4つの可能な結果が生じる：予測がpで実際の値がpの場合に真陽性（TP）、予測がpだが実際の値がnの場合に偽陽性（FP）、予測と実際の値の両方がnの場合に真陰性（TN）、予測がnだが実際の値がpの場合に偽陰性（FN）である。
例えば、疾患の診断検査では、偽陽性は人が陽性と判定されたが実際には疾患を持っていない場合に発生する。偽陰性は、人が陰性と判定されたが実際には疾患を持っている場合に発生する。これら4つの結果は、混同行列としても知られる2x2の分割表に整理でき、これが様々な評価指標を計算する基礎となる。
ROC空間
ROC空間は、x軸に偽陽性率、y軸に真陽性率で定義される。このグラフ表現は、真陽性（利益）と偽陽性（コスト）の間の相対的なトレードオフを示す。各予測結果または混同行列のインスタンスは、ROC空間内の1点を表す。最良の予測方法は、座標（0,1）の左上隅に点を与え、100%の感度（偽陰性なし）と100%の特異度（偽陽性なし）を表す。この点は完全分類と呼ばれる。
ランダムな推測は、無識別線と呼ばれる対角線に沿った点を与え、これは左下隅から右上隅まで伸びる。ランダムな推測の直感的な例は、コインを投げて決定することである。サンプルサイズが増加するにつれて、ランダム分類器のROC点は対角線に向かう傾向があり、バランスの取れたコインの場合、点（0.5, 0.5）に向かう。対角線はROC空間を分割する：対角線上の点は良好な分類結果（ランダムより優れている）を表し、下の点は不良な結果（ランダムより劣っている）を表す。注目すべきは、一貫して不良な予測器の出力は反転させて良好な予測器を得ることができ、中心（0.5, 0.5）を横切って点を鏡映すると相補的な分類器が得られる。
しきい値の変動
ROC曲線は、分類しきい値を変化させ、各しきい値設定で得られるTPRとFPRをプロットすることによって生成される。連続スコアを出力する分類器では、しきい値を下げるとTPRとFPRの両方が増加し、しきい値を上げると両方が減少する。曲線は、最高のしきい値（どのインスタンスも陽性と分類されない）での点（0,0）から、最低のしきい値（すべてのインスタンスが陽性と分類される）での点（1,1）までの経路をたどる。曲線上の各点は特定のしきい値に対応し、実務者はアプリケーションの要件に応じて感度と特異度のバランスを取る動作点を選択できる。
曲線下面積
ROC曲線下面積（一般的にAUCと略される）は、広く使用される要約指標である。AUCは、ランダムに選択された陽性インスタンスが、ランダムに選択された陰性インスタンスよりも分類器によって高くランク付けされる確率を表す。AUCが1.0の場合は完全な識別を示し、0.5の場合はランダムな推測と同等の性能を示す。0.5未満のAUC値は、分類器がランダムより悪い性能であることを示し、ラベリングエラーまたは予測を反転させると性能が向上する可能性を示唆する。AUCは、しきい値の選択やクラス分布に依存しない単一の数値を提供するため、複数の分類器を比較する際に特に有用である。
応用
ROC分析は多くの分野で適用されている。臨床疫学では、高血圧の血圧測定や疾患検出のバイオマーカーなどの診断検査の精度を評価するために使用される。放射線医学では、ROC曲線は画像技術や放射線科医の解釈の性能を評価するのに役立つ。生体認証では、指紋認識システムや顔認識システムの評価に使用される。気象学では、自然災害の予測などの予報検証にROC分析が適用される。Machine learningでは、ROC曲線はバイナリ分類器を評価するための標準的なツールであり、Deep learningやNeural networkモデルで使用されるものも含まれる。この技術は、コンテンツモデレーションや感情分析などのタスクにおけるLarge language model出力の評価にも関連しており、連続的な信頼スコアに基づいて二値決定が行われる。
限界と考慮事項
ROC曲線には特定の限界がある。主にバイナリ分類用に設計されており、複数クラスへの一般化は可能だが、one-vs-restやone-vs-one戦略などのより複雑なアプローチが必要である。この曲線は、偽陽性と偽陰性のコストを直接組み込んでおらず、これらはアプリケーションによって異なる場合がある。さらに、クラス分布が非常に不均衡な場合、ROC曲線は陽性クラスに焦点を当てた精度再現率曲線と比較して、過度に楽観的な性能の見解を示すことがある。これらの限界にもかかわらず、ROC分析は、しきい値独立性と直感的なグラフ表現により、モデル評価における基本的なツールであり続けている。