公平性指標は、機械学習モデルの予測や決定が個人や集団を公平に扱っているかを評価するために用いられる定量的な尺度である。これらの指標は、自動化された意思決定プロセスにおけるアルゴリズムバイアスを是正することを目的とする機械学習における公平性の分野の中核をなす。こうしたモデルによる決定は、性別、民族、性的指向、障害などの機微な変数に基づく場合、不公平とみなされることがある。多くの倫理的概念と同様に、公平性やバイアスの定義は論争を呼ぶことがあり、公平性指標は、雇用、融資、刑事司法、コンテンツ配信など人々の生活に影響を与えるシステムにおける競合する公平性の概念を評価するための形式的かつ実用的な方法を提供する。
公平性指標の開発は機械学習において比較的新しい焦点であり、2016年以降、研究が急増している。この急増は、2016年にProPublicaが発表した影響力のある報告書が一因であり、米国の裁判所で再犯予測に広く使用されているソフトウェアCOMPASが人種的に偏っていると主張した。この報告書は、黒人の被告は白人の被告に比べて高リスクと誤って判定される可能性がほぼ2倍である一方、白人の被告では逆の誤りが発生することを強調した。COMPASの開発元であるNorthepointe Inc.はこの調査結果に異議を唱えたが、この論争は公平性の明示的かつ測定可能な定義の必要性を浮き彫りにした。意思決定における公平性の定量的な議論は機械学習時代より前に遡り、1964年の米国公民権法に続く1960年代半ばから1970年代にかけて盛んになったが、公平性の概念が競合したため、1970年代後半までにこの議論はほぼ消滅した。
統計的公平性基準
公平性指標は、その指標が符号化する統計的公平性の概念によって分類されることが多い。一般的なグループの一つは集団公平性であり、保護された集団間で結果が類似していることを要求する。デモグラフィックパリティ（統計的パリティとも呼ばれる）は、肯定的な予測の確率が集団間で等しいことを要求する。等化オッズは、真陽性率と偽陽性率が集団間で等しいことを要求し、モデルがすべての集団に対して同等に機能することを意味する。機会均等は、真陽性率のみの等しさに焦点を当てた緩和版である。較正ベースの指標（グループ別較正など）は、ある結果の確率が予測された個人について、実際の結果の頻度が集団間で同じであることを要求する。これらの基準はしばしば相互に両立不可能であり、一つを満たすと別のものを侵害することがあり、ほとんどの現実世界の設定ではすべてを同時に達成することは不可能である。
個人および反事実的公平性
グループレベルの指標を超えて、公平性は個人レベルで評価することができる。カーネギーメロン大学の研究者を含む研究者らによって提案された個人公平性は、類似した個人が類似した予測を受けることを要求する。これは通常、関連する特徴を捉える距離メトリックを用いて形式化され、非機微な側面すべてにおいて似ている二人が同じように扱われることを保証する。反事実的公平性は、人種や性別などの機微な属性が異なっていた場合、他のすべてを一定に保ったときに予測が変化するかどうかを問うことで、この考えを拡張する。結果が異なる場合、モデルは不公平とみなされる。これらのアプローチはより詳細であるが、類似性と因果関係の慎重な指定を必要とし、実際には困難な場合がある。
モデルにおけるバイアスの源泉
公平性指標は、さまざまな源泉から生じるバイアスを検出するために使用される。言語バイアスは、クエリの言語に関連する統計的サンプリングバイアスの一種であり、リポジトリ内のトピックや見解の正確な表現を妨げる情報のサンプリングにおける系統的な逸脱を引き起こす。Luoらによる研究は、現在の大規模言語モデルが主に英語データで訓練されており、非英語圏の視点を軽視しながら英米の見解を真実として提示することが多いことを示している。例えば、自由主義のような政治的イデオロギーについて尋ねられた場合、モデルは英米の視点から人権と平等を強調する一方で、ベトナムの視点からの「個人および経済生活への国家介入に反対する」や中国の視点からの「政府権力の制限」といった側面を省略することがある。ジェンダーバイアスも一般的な問題であり、モデルは看護師や秘書を女性と、エンジニアやCEOを男性と関連付けるなど、伝統的な性別規範に基づいて役割や特性を割り当てる。政治的バイアスも、訓練データに幅広い意見が含まれている場合に生じ、モデルが特定のイデオロギーに prevalence に基づいて傾く原因となる。
実際のバイアス測定
公平性指標を適用するために、実務者は通常、保護属性（例：人種、性別、年齢）を定義し、適切な指標（例：等化オッズ）を選択し、検証データセットで指標を計算する。二値分類では、混同行列を使用して各グループの偽陽性率や偽陰性率などの率を導出する。一般的な指標である異なる影響は、不利なグループと有利なグループの間の肯定的予測率の比率として計算され、米国雇用機会均等委員会のガイドラインに従い、0.8未満の比率はしばしば危険信号とみなされる。このプロセスを容易にするためのツールが開発されている。IBMは、バイアスを低減し公平性を高めるアルゴリズムを備えたPythonおよびR用のオープンソースツールキットをリリースしている。Googleは、機械学習におけるバイアスを研究し対抗するためのガイドラインとツールを公開している。Facebookは、AIのバイアスを検出するためにFairness Flowと呼ばれるツールを使用していると報告しているが、批評家は、すべてのプログラムに適用できず使用が任意であるため、従業員による使用がほとんどなく、同社の取り組みは不十分であると主張している。
ケーススタディと論争
法制度におけるアルゴリズムによる意思決定の使用は、注目すべき監視の領域となっている。2014年、米国司法長官エリック・ホルダーは、リスク評価方法が教育レベルや社会経済的背景など、被告の制御外の要因に過度に焦点を当てる可能性があるとの懸念を表明した。COMPASに関する2016年のProPublica報告書は、どの公平性指標が適切かについての広範な議論を引き起こした。ProPublicaは偽陽性率に関連する指標を使用したのに対し、Northepointeは較正ベースの公平性を主張した。この事例は、異なる公平性定義間の根本的な緊張を示している。刑事司法を超えて、画像認識におけるバイアスが記録されている。2015年、GoogleはGoogle Photosが黒人のカップルを誤ってゴリラとラベル付けした後、謝罪した。Flickrの自動タグ機能は、一部の黒人を「類人猿」や「動物」とラベル付けした。2016年の国際美容コンテストでは、AIアルゴリズムが審査し、訓練データのバイアスが原因と考えられるが、肌の色が明るい個人を優先した。2018年の3つの商用性別分類アルゴリズムの研究では、明るい肌の男性に最も正確で、暗い肌の女性に最も不正確であることが判明した。2020年には、Twitterの画像クロッピングツールが明るい肌の顔を好むことが示された。2022年には、テキストから画像を生成するモデルDALL-E 2の作成者らが、生成された画像が著しくステレオタイプ化されていることを認めた。
限界と進行中の研究
公平性指標は万能薬ではない。公平性の普遍的な定義は存在せず、異なる指標が互いに矛盾することがあり、モデルを判断することが困難になる。指標を選択することは、特定の文脈で何が公平性を構成するかについての価値判断を本質的に伴う。さらに、指標は統計的パターンのみを測定し、偏ったデータ収集や社会的不平等などのバイアスの根本原因には対処しない。バイアスの起源、バイアスの種類、およびそれを低減する方法に関する研究は続いている。データ拡張、再重み付け、敵対的デバイアシングなどの技術が公平性スコアを改善するために使用されるが、モデルの精度とトレードオフになる可能性がある。2020年代半ばの時点で、この分野は依然として活発であり、複数の保護属性を同時に考慮する因果的公平性や交差的公平性などの分野での進行中の作業がある。スタンフォードAIラボやバークレーAIリサーチを含むテック企業や学術機関は、この進化する分野に貢献し続けている。
展開に関する実践的考慮事項
高リスク領域で機械学習システムを展開する場合、組織は法的および倫理的要件に合致する公平性指標を慎重に選択する必要がある。例えば、採用では、すべてのグループの有能な候補者が見落とされないように、機会均等が優先されることがある。信用貸付では、リスクスコアがすべての人口統計に対して正確であることを保証するために、較正が強調されることがある。モデルがドリフトし、新しいバイアスが出現する可能性があるため、時間の経過に伴う公平性を監視することも重要である。文書化と透明性は重要であり、多くの組織は現在、グループ間の公平性指標を報告するモデルカードを公開している。しかし、COMPASの事例が示すように、十分に文書化されたモデルでも、どの指標が正しいかについて論争が生じる可能性がある。最終的に、公平性指標は説明責任のためのツールであるが、解釈して行動するには人間の判断が必要である。より広い目標は、集計指標で良好に機能するだけでなく、個人の尊厳を尊重し社会的公平性を促進するシステムを構築することである。
将来の方向性
公平性指標の将来の研究は、いくつかの課題に対処する可能性が高い。一つは、統計的推定がノイズの多い少数派グループの小サンプルサイズに対してロバストな指標を開発することである。もう一つは、テキストや画像を生成する生成モデルなどの複雑な出力のための指標を作成することであり、従来の分類指標は適用されない。例えば、生成AIにおける公平性を評価するには、ステレオタイプ化されたまたは偏ったコンテンツを検出するための新しいアプローチが必要である。また、影響を受けるコミュニティが自分たちの文脈で公平性が何を意味するかを定義するのに役立つ参加型アプローチへの関心も高まっている。機械学習が医療におけるAIシステムから自動運転車まで、ますます普及するにつれて、厳密で文脈に敏感な公平性指標への需要は高まるばかりである。この分野は学際的であり、コンピュータサイエンス、統計学、法律、哲学を活用しており、学術研究と産業実践の両方の活発な領域であり続けている。