混同行列（confusion matrix）は、別名エラーマトリックス（error matrix）とも呼ばれ、特定のタスクにおける個人またはアルゴリズムの性能を視覚化するための特定の表レイアウトです。機械学習において、これらの行列は、教師あり学習および教師なし学習の両方における学習システムの成功を示し、マッチング行列（matching matrix）と呼ばれることもあります。この名称は、行列がシステムが2つのクラスを混同しているかどうか、すなわち一方のクラスを他方のクラスとして誤ってラベル付けしているかどうかを容易に識別できることに由来します。
混同行列の起源は、聴覚刺激に関する人間の知覚研究にあります。その後、機械学習研究に適応され、フランク・ローゼンブラット（Frank Rosenblatt）などの初期の研究者が、視覚および聴覚刺激の人間と機械の分類を比較するために使用しました。これは、2つの次元（「実際」と「予測」）を持ち、両方の次元で同じクラスの集合を持つ、特殊な種類の分割表（contingency table）です。行列の各行は実際のクラスのインスタンスを表し、各列は予測されたクラスのインスタンスを表します（または、使用される慣例によってその逆もあり得ます）。したがって、行列の対角線は正しく予測されたすべてのインスタンスを表します。
二値分類の例
12人の個人からなるサンプルを考えます。そのうち8人ががん（クラス1、陽性）と診断され、4人ががんなし（クラス0、陰性）です。分類器がこれら12人をがんの有無で判別したところ、9件を正確に予測し、3件を誤って予測しました。具体的には、がんの個人2人ががんなしと誤って予測され、がんなしの個人1人ががんと誤って予測されました。
実際の分類と予測された分類を比較すると、4つの可能な結果が得られます：
- 真陽性（True Positive, TP）：実際が陽性で、予測も陽性。
- 偽陰性（False Negative, FN）：実際が陽性で、予測が陰性。
- 偽陽性（False Positive, FP）：実際が陰性で、予測が陽性。
- 真陰性（True Negative, TN）：実際が陰性で、予測も陰性。
これらの結果は、2×2の混同行列に整理できます。この例では、行列は次のようになります：
| 予測陽性 | 予測陰性 | |
|---|---|---|
| 実際陽性 | 6 (TP) | 2 (FN) |
| 実際陰性 | 1 (FP) | 3 (TN) |
すべての正しい予測は対角線上にあり、誤りは対角線外に現れるため、視覚的に誤りを簡単に見つけられます。行を合計すると、データセット内の陽性サンプル数（P = TP + FN）と陰性サンプル数（N = FP + TN）が得られます。
混同行列の表
予測分析において、混同行列（confusion matrix）は、真陽性、偽陰性、偽陽性、真陰性の数を報告する2×2の表です。これは、単に正確度（accuracy）を観察するよりも詳細な分析を可能にします。なぜなら、正確度はデータセットが不均衡な場合に誤解を招く可能性があるからです。例えば、95個のがんサンプルと5個のがんなしサンプルがあるデータセットで、すべてをがんとラベル付けする分類器は、95%の正確度を持ちますが、がんなしクラスに対する感度（sensitivity）は0%です。F1スコアなどの指標も偏る可能性がありますが、情報量のある指標（informedness）はそのような偏りを除去し、任意の推測に対して0を与えます。ダヴィデ・キッコ（Davide Chicco）とジュゼッペ・ユルマン（Giuseppe Jurman）によれば、混同行列を評価するための最も情報量の多い指標はマシューズ相関係数（Matthews correlation coefficient, MCC）です。
多クラス混同行列
混同行列は二値分類に限定されず、多クラス分類器にも使用できます。k個のクラスを持つ分類器の場合、行列はk行k列を持ち、各セル (i, j) は、実際のクラスiがクラスjとして予測された回数を数えます。対角線は正しい予測を表し、非対角セルは誤分類を示します。このレイアウトは、どのクラスが互いに混同されやすいかを特定するのに役立ちます。
派生指標
混同行列から、いくつかの性能指標を計算できます：
- 正確度（Accuracy）：(TP + TN) / (TP + TN + FP + FN)
- 精度（Precision）：TP / (TP + FP)
- 再現率（Recall、感度とも呼ぶ）：TP / (TP + FN)
- 特異度（Specificity）：TN / (TN + FP)
- F1スコア：精度と再現率の調和平均
- マシューズ相関係数（MCC）：4つのセルすべてを考慮したバランスの取れた指標
これらの指標は、特に不均衡なデータセットにおいて、分類器の性能のさまざまな側面を提供します。
機械学習における応用
混同行列は、機械学習において分類器を評価するために広く使用されており、ニューラルネットワークモデルや深層学習システムを含みます。これらは、医療診断、スパム検出、画像認識などの分野で不可欠です。たとえば、人工知能研究では、混同行列はモデルの性能をクラス間で比較し、モデルのアーキテクチャやトレーニングプロセスの改善を導くのに役立ちます。
限界と批判
混同行列は有用である一方、限界もあります。予測の背後にある推論プロセスを捉えることはできず、また、予測に使用される事実が後で変化する状況（可謬性、defeasibility）も考慮しません。したがって、混同行列はモデルの真の信頼性の不完全な全体像を与える可能性があります。さらに、高度に不均衡なデータセットでは、正確度やF1スコアなどの指標が誤解を招く可能性があり、MCCや情報量のある指標などの代替指標への注目が促されます。
歴史的文脈
混同行列の概念は、聴覚刺激に関する人間の知覚研究に起源を持ちます。その後、機械学習研究に適応され、フランク・ローゼンブラットなどの初期の研究者が、視覚および聴覚刺激の人間と機械の分類を比較するために使用しました。この歴史的なつながりは、人間と機械の性能評価における行列の役割を強調しています。
関連項目
- 機械学習
- ニューラルネットワーク
- 深層学習
- 人工知能
- 教師あり学習
- 教師なし学習
- 分類
- 精度と再現率
- マシューズ相関係数