カテゴリ効用（カテゴリこうよう）は、概念的クラスタリングや機械学習において、オブジェクトのグループへの分類またはカテゴリ化の質を評価するために使用される数値的尺度である。これは、カテゴリが既知である場合にオブジェクトの属性を予測する能力の向上を、カテゴリ情報がない場合と比較して定量化する。この指標は、1985年にマーク・A・グラックとジェームズ・E・コーターによって、情報利得または予測力を最大化するカテゴリの形成を導く手段として導入された。それ以来、教師なし学習タスク、特に分類体系を構築したり階層的分類を生成したりするシステムにおいて、標準的な目的関数となっている。
基礎となる考え方は、優れたカテゴリとは、オブジェクトがそれに属することを知ることで、その特徴がより予測可能になるものであるということである。カテゴリ効用は、カテゴリ内類似性（同じカテゴリ内のオブジェクトは多くの共通属性を持つべき）とカテゴリ間非類似性（異なるカテゴリのオブジェクトは異なるべき）という2つの直感的な基準を組み合わせる。この指標はこれらの基準を確率的枠組みで形式化し、ノイズや不完全なデータにも適用可能にする。単純な精度や純度の尺度とは異なり、カテゴリ効用は属性予測の不確実性を考慮し、エントロピーを低減するカテゴリに報酬を与える。
形式的定義と計算
カテゴリ効用は、各カテゴリの確率と、カテゴリが与えられたときの属性値の条件付き確率に基づいて計算される。二値または名義属性で記述されたオブジェクトの集合に対して、この指標は、カテゴリが既知の場合に属性値を正しく予測する確率の期待増加から、カテゴリ情報なしのベースライン予測確率を差し引いたものとして定義される。これはすべての属性にわたって合計され、カテゴリの事前確率で重み付けされる。
実際には、2カテゴリの場合、カテゴリ効用は、各カテゴリ内の共有特徴の数とカテゴリ間の共有特徴の数の間のトレードオフに簡略化される。この式はしばしば次のように表される：CU = (1/n) カテゴリの合計 P(C) [属性の合計 値の合計 (P(A=a|C)^2 - P(A=a)^2)]、ここでnは属性数である。確率の二乗は、カテゴリからランダムに抽出された2つのオブジェクトがその属性値を共有する確率を反映しており、これは認知心理学における基本レベルカテゴリに関するグラックとコーターの研究からの重要な洞察である。
概念的クラスタリングでの使用
カテゴリ効用は、いくつかの概念的クラスタリングアルゴリズム、特に1987年にUniversity of Torontoのダグラス・フィッシャーによって開発されたCOBWEBシステムにおいて、中核的な評価関数として機能する。COBWEBは、カテゴリ効用を使用して各新しいオブジェクトをどこに配置するか、既存のカテゴリを統合または分割するか、新しいカテゴリを作成するかを決定しながら、決定木またはカテゴリの階層を段階的に構築する。カテゴリ効用を最大化する分割を貪欲に探索するこのアルゴリズムは、カテゴリ数の事前知識なしに、解釈可能な確率的な概念階層を生成することを可能にする。
この効用関数は他のクラスタリング手法にも影響を与え、データマイニングやパターン認識などの分野で採用されている。例えば、従来の距離指標が失敗する可能性がある高次元データのクラスタリングで使用される。この指標の確率的基盤は、観測された属性のみにわたって期待値を計算するため、欠損値の処理に特に適している。
情報理論と心理学との関係
カテゴリ効用の概念は、情報理論と深いつながりがある。これは、カテゴリ変数と属性変数の間の相互情報量として、定数でスケーリングされた形で解釈できる。実際、グラックとコーターは、これをG指数に密接に関連するカテゴリの「凝集性」の尺度から導出した。この理論的関連性は、カテゴリ化がオブジェクトの特性に関する不確実性をどれだけ低減するかを直接定量化するため、特徴選択やクラスタリング解の評価の基準としての使用を正当化するのに役立つ。
カテゴリ効用はもともと、人間が最も自然だと感じる抽象化レベルである基本レベルカテゴリ（例：「犬」対「動物」または「ビーグル」）に関する認知科学研究によって動機付けられた。グラックとコーターの実験は、基本レベルが最も高いカテゴリ効用を持つカテゴリに対応することを示し、この尺度が心理学的に関連する原理を捉えていることを示唆した。この関連性は、Artificial intelligenceやMachine learningで人間のような概念学習を研究する研究者、特にMIT CSAILやStanford AI Labなどの機関の研究者にとって関心の的となっている。
拡張と改良
導入以来、カテゴリ効用の限界に対処したり、特定の領域に適応させたりするために、いくつかの拡張が提案されている。1つの拡張は、確率密度推定を使用して連続属性を処理し、多くの場合、受信データで更新される正規分布を仮定する。別の修正は属性重み付けを組み込み、一部の特徴が他の特徴よりも効用計算に多く寄与することを可能にする。これは、ドメイン知識が特定の属性がより重要であることを示す場合に有用である。
Deep learningや現代のArtificial intelligenceの文脈では、カテゴリ効用は、潜在特徴を解釈可能なクラスタに整理する教師なし表現学習の代替目的関数として検討されてきた。しかし、その使用は、離散カテゴリではなく分散表現を学習するGenerative AIやTransformer (architecture)ベースのモデルなどの大規模アプローチに大部分が取って代わられている。それでも、Figure AIのロボティクスやCommureの医療データ分析など、説明可能なグループ化を必要とするタスクでは、カテゴリ効用はブラックボックスクラスタリングに対する原理的で透明な代替手段を依然として提供する。
限界と批判
カテゴリ効用には欠点がないわけではない。これは、属性がカテゴリが与えられたときに独立であると仮定しており、これは実世界のデータで特徴が相関している場合にしばしば違反される強い仮定である。この指標はまた、カテゴリの事前確率で重み付けされているため、ほぼ等しいサイズのカテゴリを好み、不均衡なデータセットでは望ましくない場合がある。さらに、確率の二乗は属性値の頻度に敏感であり、一部の条件では稀な値へのバイアスにつながる可能性がある。
これらの問題にもかかわらず、カテゴリ効用は、クラスタリングと概念学習におけるその後の多くの発展の基礎を築いた歴史的に重要な指標であり続けている。単なる類似性ではなく予測効用を重視する点は、Machine learningやArtificial intelligenceのより広い目標、すなわち意味のある抽象化を通じて未見のデータに一般化するモデルを構築することと一致している。今日でも、これは認知モデリングと教師なし学習に関する多くの大学院コースで教えられており、その継続的な影響を確実にしている。将来の研究は、基礎的なアルゴリズムがしばしば再評価されるBAIR (Berkeley AI Research)やXerox PARCなどの研究ラボで、分類に対するより解釈可能で確率的なアプローチを求める分野として、この指標を再検討するかもしれない。