アルゴリズムバイアスとは、アルゴリズムシステムによって生み出される体系的かつ不公平な差別を指し、最も一般的には機械学習モデルが、人種、性別、年齢、その他の保護特性によって定義される特定の集団に対して不利な予測や出力を行うことをいう。このようなシステムはトレーニングデータから統計的パターンを学習するため、データ自体に存在するバイアスや、問題の枠組み設定、ラベル付け、評価方法によって導入されるバイアスを再現し、増幅する傾向がある。アルゴリズムバイアスはAI倫理における中心的な関心事であり、技術的な緩和策の研究と、導入システムに対する法的な監視の両方を動機付けてきた。
バイアスの源泉
研究者は一般に、いくつかの源泉を区別している。歴史的バイアスはデータ自体に存在し、例えば過去の採用決定が差別を反映していた場合、モデルはそれを学習して再現する。表現バイアスは、特定の集団がデータセット内で過少サンプリングされることで生じ、その集団に対するモデルの精度を低下させる。これは、ジョイ・ブオラムウィニとティムニット・ゲブルによる2018年の「Gender Shades」監査で中心的な問題となり、商用の顔認識システムが、肌の色が濃い女性に対して、肌の色が薄い男性よりも著しく劣る性能を示すことが判明した。測定バイアスは、モデルが予測するように訓練される代理指標、例えば犯罪の代用としての逮捕率が、基礎となる概念自体の偏った測定である場合に発生する。集約バイアスは、基礎となる関係が異なる集団に対して、単一のモデルを一律に適用することから生じる。
注目された事例
いくつかの文書化された事例が、公的および学術的な議論を形成した。米国裁判所で使用されたCOMPAS再犯予測ツールは、2016年のProPublicaの調査の対象となり、この調査では、実際の再犯率と比較して、黒人の被告が白人の被告のほぼ2倍の割合で将来のリスクとしてフラグ付けされることが判明した。ただし、研究者らはその後、この調査結果がどの統計的な公平性の定義に依存しているかをめぐって議論した。アマゾンは2018年、内部のAI採用ツールを廃止した。このツールは「女性の」という単語を含む履歴書を不利に扱うことが判明したが、これは10年間の男性優位の採用データから学習されたパターンによるものだった。米国国立標準技術研究所の2019年の100以上のシステムを対象とした研究を含む顔認識監査では、女性や肌の色が濃い人々に対して誤差率が高いことが繰り返し判明し、米国の複数の都市が警察によるこの技術の使用を禁止し、一部のベンダーが法執行機関への販売を一時停止する一因となった。
緩和策と測定
技術的な対応には、デモグラフィックパリティや等化オッズなどの公平性指標に対するモデルの監査、トレーニングデータの再バランスや拡張、モデル出力への後処理調整の適用が含まれる。また、大規模な研究文献は、異なる公平性の定義が数学的に互いに両立しない場合があることを示しており、ある指標を満たすことが別の指標の違反を必要とすることを意味する。説明可能なAIのツールは、公平性監査と併用して、どの入力特徴が不均等な結果を引き起こすかを特定するのに役立つことが多い。バイアスへの懸念は大規模言語モデルシステムの時代にも拡大しており、研究者は生成されたテキストや画像、特にテキストから画像システムにおいて、ステレオタイプ化された関連付けを記録している。
ガバナンスへの対応
アルゴリズムバイアスは規制の根拠として繰り返し挙げられており、EU AI法のリスク階層化や、米国のアルゴリズム説明責任法などの初期の提案に明示的に登場している。これは、より広いAIガバナンスの分野において、最も訴訟の対象となり、最も実証的に文書化された害の一つであり続けている。