ベースレートとは、特定の事例や証拠とは無関係に、関連する参照母集団内における事象、属性、またはカテゴリーの基礎的な頻度または確率のことである。確率論と統計学において、これはベイズ推論における事前確率として機能し、新しいデータを考慮する前の結果の可能性に関する初期の信念を表す。例えば、ある疾患が人口の1%に影響を与える場合、その1%がその疾患のベースレートとなる。ベースレートは、医学、金融、機械学習、認知心理学などの分野の基礎であり、正確な判断には事前確率と事例固有の情報を組み合わせることが必要である。
ベースレート無視は、個人が特定の、鮮明な、または最近の情報を過大評価し、より広範な統計的文脈を過小評価する、十分に文書化された認知バイアスである。この現象は、1970年代に心理学者のダニエル・カーネマンとエイモス・トベルスキーによって体系的に研究され、有名なタクシー事故のシナリオのような問題を含む実験を通じて、参加者はしばしばタクシーの色のベースレートを無視して目撃者の信頼性を優先した。このバイアスは多くの領域にわたって持続し、医学的診断、法的判断、採用決定における誤りにつながる。ベースレートを理解することは、予測を調整し、推論における系統的誤りを回避するために不可欠である。
ベイズ推論とベースレート
ベイズ統計において、ベースレートは、証拠Bを観察する前の仮説Aの事前確率P(A)である。ベイズの定理は、この事前確率を尤度P(B|A)と周辺確率P(B)を用いて更新し、事後確率P(A|B)を得る。式は次の通りである: P(A|B) = [P(B|A) * P(A)] / P(B)。ベースレートが極端な場合、尤度が強くても事後確率を支配することがある。例えば、ベースレートが1%の疾患に対して感度99%、特異度99%の検査は、陽性的中率が約50%にしかならず、陽性結果が正しいのは半分の時間だけであることを意味する。この直感に反する結果は、診断推論にベースレートを組み込む必要がある理由を強調している。
機械学習におけるベースレート
Machine learningにおいて、ベースレートは分類問題におけるクラス事前確率として現れる。インスタンスの99%が1つのクラスに属するデータセットは、そのクラスに対して高いベースレートを持ち、常に多数派クラスを予測するモデルは、意味のあるパターンを学習せずに高い精度を達成できる。この問題はクラス不均衡問題として知られている。リサンプリング、コスト考慮学習、決定しきい値の調整などの手法が、ベースレートの影響を軽減するために使用される。Deep learningおよびNeural networkのトレーニングでは、cross-entropyのような損失関数が暗黙的にクラス事前確率を組み込み、実務者はモデル出力を真のベースレートに一致するように較正することが多い。例えば、不正検出では、不正取引が稀（低ベースレート）であるため、モデルは精度と再現率のバランスを取るように調整され、多くの場合、精度のみではなく精度-再現率曲線が使用される。
認知バイアスとベースレート無視
ベースレート無視は代表性ヒューリスティックの一形態であり、人々は統計的頻度ではなく類似性によって確率を判断する。古典的な研究では、参加者は内気で几帳面な人物について説明を受け、その人物が図書館司書であるか農家であるかを尋ねられた。大多数は図書館司書を選び、人口における農家のベースレートがはるかに高いことを無視した。このバイアスは文化を超えて頑健であり、ベースレートが明示的に提供されても持続する。研究者は、ベースレートをパーセンテージ形式ではなく頻度形式（例：「1000人中10人」）で提示すると無視が減少し、参照クラスをより具体的にすることでも減少することを発見した。法的設定では、検察官と陪審員はDNA証拠や目撃証言を評価する際にベースレート無視に陥ることが多く、誤判につながる。
医学と金融における応用
医学では、ベースレートはスクリーニング検査の解釈に不可欠である。ベースレートが低い状態では、非常に正確な検査でも多くの偽陽性を生み出し、不必要な不安や処置につながる。例えば、50歳未満の女性に対する乳がんの定期的マンモグラフィーは、疾患のベースレートが低く、偽陽性率が高くなる。金融では、ベースレートはリスク評価とポートフォリオ配分に情報を提供する。信用スコアリングモデルは、異なる借り手セグメントの過去のデフォルト率（ベースレート）を使用して金利と信用限度額を設定する。保険会社は保険料の価格設定と準備金の積み立てに保険数理上のベースレートに依存している。両分野において、ベースレートを考慮しないことは、金融危機時のシステムリスクの過小評価など、壊滅的な誤判断につながる可能性がある。
AIシステムにおけるベースレート
Artificial intelligenceおよびGenerative AIにおいて、ベースレートはモデルの動作と評価に影響を与える。インターネットテキストでトレーニングされた大規模言語モデルは、言語パターンのベースレートを継承し、トレーニングデータが偏っている場合、偏った出力につながる可能性がある。例えば、モデルは特定の職業を特定の性別と関連付けることがある。これは、その関連がコーパスでより頻繁であるためである。研究者は、デバイアス手法や、Top-P (Nucleus) SamplingやTemperature Scalingなどのサンプリング方法を調整して出力の多様性を制御することで、この問題に対処している。Transformer (architecture)アーキテクチャでは、注意機構が証拠の重み付けを学習するが、基礎となるベースレートは依然として予測を形成する。較正誤差などの評価指標は、モデルの信頼度が実際のベースレートとどの程度一致しているかを測定する。AIシステムが医療や刑事司法などの高リスク領域に展開されるにつれて、ベースレートを尊重することが公平性と信頼性にとって重要である。
歴史的背景と研究
ベースレートへの関心は現代の確率論より前から存在する。18世紀にトーマス・ベイズは彼の名を冠した定理を開発し、ピエール＝シモン・ラプラスが後にそれを一般化した。ベースレート無視の正式な研究は、1970年代にカーネマンとトベルスキーのヒューリスティックとバイアスに関する研究で登場し、カーネマンは2002年にノーベル経済学賞を受賞した。ゲルト・ギーゲレンツァーらによるその後の研究は、情報が自然頻度で提示されると人間はベースレートで推論できることを主張し、バイアスが部分的に形式の結果であることを示唆した。認知科学では、Joshua TenenbaumやBrendan Lakeのような研究者が、人間がベースレートと因果モデルをどのように統合するかを探求し、Machine learningの計算的アプローチに情報を提供している。この概念は、ベイズ統計、意思決定理論、および堅牢なAIシステムの開発の中心であり続けている。