Equalized odds ist ein Kriterium zur Bewertung und Durchsetzung von Fairness in maschinellen Lernklassifikationssystemen. Formal erfüllt ein Prädiktor \(\hat{Y}\) die Equalized-odds-Bedingung in Bezug auf ein geschütztes Attribut \(A\) (wie Rasse, Geschlecht oder Alter) und ein Ground-Truth-Label \(Y\), wenn \(P(\hat{Y} = 1 | A = a, Y = y) = P(\hat{Y} = 1 | A = b, Y = y)\) für alle Gruppen \(a, b\) und alle Ergebnisse \(y \in \{0,1\}\) gilt. Einfach ausgedrückt muss der Klassifikator über alle geschützten Gruppen hinweg die gleiche True-Positive-Rate (Recall) und die gleiche False-Positive-Rate aufweisen, bedingt auf das tatsächliche Ergebnis. Dieses Konzept wurde in einem Papier von 2016 von Moritz Hardt, Eric Price und Nathan Srebro eingeführt, die es als Alternative zu einfacheren Konzepten der demografischen Parität vorschlugen, die die Labelverteilung ignorieren.
Equalized odds wird oft mit demografischer Parität kontrastiert, die nur gleiche Vorhersageraten über Gruppen hinweg fordert, ohne auf das wahre Label zu konditionieren. Durch die Konditionierung auf \(Y\) zielt Equalized odds darauf ab, die Idee zu erfassen, dass Fehler gleich verteilt sein sollten: Eine qualifizierte Person aus jeder Gruppe sollte die gleiche Chance auf eine positive Klassifikation haben, und eine unqualifizierte Person sollte die gleiche Chance haben, fälschlicherweise akzeptiert zu werden. Dies macht Equalized odds besonders relevant in Bereichen mit hohen Einsätzen wie Einstellung, Kreditvergabe, Strafjustiz und Gesundheitswesen, wo unterschiedliche Fehlerraten systemische Verzerrungen aufrechterhalten können.
Formale Definition und Komponenten
Die Equalized-odds-Bedingung kann in zwei getrennte Gleichheitsbedingungen zerlegt werden: Equal Opportunity und equalisierte False-Positive-Raten. Das Equal-Opportunity-Kriterium, das ebenfalls in derselben Arbeit eingeführt wurde, erfordert gleiche True-Positive-Raten über Gruppen hinweg, d. h. \(P(\hat{Y} = 1 | A = a, Y = 1) = P(\hat{Y} = 1 | A = b, Y = 1)\). Dies stellt sicher, dass unter den Personen, die positiv klassifiziert werden sollten, alle Gruppen die gleiche Rate korrekter Vorhersagen erhalten. Die zweite Komponente, die gleiche False-Positive-Rate, erfordert \(P(\hat{Y} = 1 | A = a, Y = 0) = P(\hat{Y} = 1 | A = b, Y = 0)\), was sicherstellt, dass negative Ergebnisse für keine Gruppe übermäßig vorhergesagt werden.
Wenn beide Bedingungen gleichzeitig erfüllt sind, sagt man, dass der Klassifikator Equalized odds erfüllt. In der Praxis kann die Erfüllung beider Gleichheitsbedingungen unmöglich sein, wenn sich die Basisraten zwischen den Gruppen unterscheiden, was zu Abwägungen zwischen den beiden Komponenten führt. Einige Anwendungen lockern die Anforderung auf nur Equal Opportunity, insbesondere wenn False Positives weniger folgenreich sind als False Negatives.
Implementierung in maschinellen Lernsystemen
Die Durchsetzung von Equalized odds erfordert oft Nachbearbeitungs- oder In-Processing-Techniken. Ein gängiger Nachbearbeitungsansatz besteht darin, einen Klassifikator ohne Fairnessbeschränkungen zu trainieren und dann den Entscheidungsschwellenwert separat für jede Gruppe basierend auf den vorgeschlagenen Scores anzupassen. Hardt, Price und Srebro zeigten, dass man bei Zugriff auf die wahren Labels und die Gruppenzugehörigkeit die Schwellenwerte optimal kalibrieren kann, um Equalized odds zu erfüllen und gleichzeitig den Gesamtverlust zu minimieren. Diese Methode erfordert jedoch gelabelte Daten und lässt sich möglicherweise nicht auf vollständig uneingeschränkte Umgebungen übertragen.
In-Processing-Methoden integrieren Fairnessbeschränkungen direkt in die Verlustfunktion während des Trainings. Beispielsweise durch Hinzufügen eines Strafterms, der die Differenz der Fehlerraten zwischen Gruppen misst, oder durch adversariales Training, bei dem ein Diskriminator versucht, die Gruppenzugehörigkeit aus der Ausgabe des Klassifikators vorherzusagen. Diese Ansätze werden häufig in modernen Deep learning-Pipelines verwendet, wo gradientenbasierte Optimierung mit Adam (Optimizer) oder Stochastic Gradient Descent Variants differenzierbare Fairness-Strafen unterstützen kann.
Neuere Arbeiten haben Equalized odds auf komplexere Modelle ausgeweitet, einschließlich Neural network-Architekturen und Generative AI-Systemen. Die Messung von Equalized odds in Mehrklassen- oder Regressionsumgebungen bleibt jedoch herausfordernd, da sich die binäre Definition nicht direkt verallgemeinern lässt. Forscher haben multivariate Erweiterungen und gruppenbedingte Kalibrierungsmaße vorgeschlagen, aber kein einzelner Standard dominiert.
Beziehung zu anderen Fairness-Konzepten
Equalized odds liegt innerhalb einer breiteren Familie statistischer Fairness-Kriterien. Demografische Parität, auch statistische Parität genannt, erfordert \(P(\hat{Y} = 1 | A = a) = P(\hat{Y} = 1 | A = b)\), was in dem Sinne stärker ist, dass es die Gesamtvorhersageraten einschränkt, aber auch dann erfüllt sein kann, wenn sich die Fehlerraten unterscheiden. Kalibrierung hingegen erfordert, dass für jede vorhergesagte Wahrscheinlichkeit \(p\) die wahre Ergebniswahrscheinlichkeit für alle Gruppen \(p\) ist, was mit Equalized odds zusammenhängt, es aber nicht impliziert.
Das bahnbrechende Unmöglichkeitsergebnis von Jon Kleinberg, Sendhil Mullainathan und Manish Raghavan (2016) zeigte, dass kein Klassifikator gleichzeitig Kalibrierung, Equalized odds und demografische Parität erfüllen kann, wenn sich die Basisraten unterscheiden, es sei denn, er ist perfekt. Dieser Kompromiss hat eine Debatte darüber ausgelöst, welche Fairness-Metrik für spezifische Anwendungen am geeignetsten ist. Equalized odds wird oft in Umgebungen bevorzugt, in denen Fehler asymmetrische Kosten verursachen, wie z. B. in der medizinischen Diagnose, wo das Übersehen einer Erkrankung (False Negative) schädlicher ist als ein False Positive.
Kritik und Einschränkungen
Eine Kritik an Equalized odds ist, dass es annimmt, das Ground-Truth-Label \(Y\) sei unvoreingenommen. Wenn historische Labels selbst durch Diskriminierung beeinträchtigt sind, kann Equalized odds bestehende Ungleichheiten aufrechterhalten, anstatt sie zu korrigieren. Wenn beispielsweise Verhaftungsaufzeichnungen bestimmte Gemeinschaften unterrepräsentieren, kann ein auf diesen Labels mit Equalized odds trainierter Klassifikator diese Gruppen immer noch benachteiligen. Dieses Problem unterstreicht die Bedeutung sorgfältiger Datenerfassung und Label-Audits.
Eine weitere Einschränkung besteht darin, dass Equalized odds die Konsequenzen von Fehlern auf individueller Ebene nicht berücksichtigt; es betrachtet nur Gruppenraten. Zwei Gruppen können identische True- und False-Positive-Raten aufweisen, dennoch könnte die nachgelagerte Wirkung dieser Fehler aufgrund unterschiedlicher Ressourcenzuweisung oder sozialem Kontext erheblich variieren. Darüber hinaus erfasst die binäre Ergebniseinstellung keine Ranking- oder Scoring-Kontexte, in denen Schwellenwerte nicht festgelegt sind.
Anwendungen und aktuelle Forschung
Equalized odds wurde in Bereichen wie Kreditwürdigkeitsbewertung, Rückfallprognose (z. B. mit Tools wie COMPAS) und algorithmischer Einstellung angewendet. Unternehmen und Forschungslabore, einschließlich Google DeepMind und University of Oxford-Gruppen, haben die Integration von Fairnessbeschränkungen in reale Systeme untersucht. Beispielsweise wurden faire Klassifikationsmodelle im Gesundheitswesen zur Vorhersage von Wiederaufnahmen von Patienten getestet, wo unterschiedliche False-Negative-Raten zwischen rassischen Gruppen beobachtet wurden.
Die zeitgenössische Forschung konzentriert sich darauf, die strenge Equalized-odds-Anforderung zu lockern, um verrauschte Labels, fehlende Gruppeninformationen und kontinuierliche geschützte Attribute zu berücksichtigen. Auch Fairness in Large language model-Ausgaben ist in den Vordergrund gerückt, obwohl die Messung von Equalized odds für Textgenerierung nicht trivial ist. Mitte der 2020er Jahre gibt es keinen Konsens über eine universelle Fairness-Metrik, aber Equalized odds bleibt ein grundlegendes Konzept in der Literatur zur algorithmischen Fairness, das in Kursen an Institutionen wie Stanford AI Lab und MIT CSAIL gelehrt wird.
Siehe auch
- demografische Parität (nicht in den bereitgestellten Slugs enthalten, weglassen)
- algorithmische Fairness (nicht in den bereitgestellten Slugs enthalten, weglassen)
(Hinweis: Der Abschnitt „Siehe auch“ wird aufgrund fehlender relevanter Slugs weggelassen.)
Referenzen
- Hardt, M., Price, E., Srebro, N. (2016). Equality of Opportunity in Supervised Learning.
- Kleinberg, J., Mullainathan, S., Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores.