Algorithmische Verzerrung bezeichnet eine systematische und unfaire Diskriminierung, die durch ein algorithmisches System erzeugt wird, meist durch ein [[maschinelles Lernen|Machine-Learning]]-Modell, dessen Vorhersagen oder Ergebnisse bestimmte Gruppen benachteiligen, die durch Merkmale wie Geschlecht, ethnische Herkunft, Alter oder andere geschützte Eigenschaften definiert sind. Da solche Systeme statistische Muster aus [[Trainingsdaten]] lernen, reproduzieren und verstärken sie häufig Vorurteile, die bereits in diesen Daten vorhanden sind oder durch die Art und Weise entstehen, wie ein Problem formuliert, beschriftet oder bewertet wird. Algorithmische Verzerrung ist ein zentrales Anliegen der [[KI-Ethik]] und hat sowohl technische Forschungsbemühungen zur Minderung als auch rechtliche Prüfungen eingesetzter Systeme angestoßen.
Ursachen von Verzerrung
In der Forschung werden verschiedene Ursachen für algorithmische Verzerrung unterschieden. Historische Verzerrung liegt in den Daten selbst begründet, etwa wenn vergangene Einstellungspraktiken Diskriminierung widerspiegelten, die das Modell dann nachahmt. Repräsentationsverzerrung entsteht, wenn bestimmte Gruppen in einem Datensatz unterrepräsentiert sind, was die Genauigkeit des Modells für diese Gruppen verschlechtert; dies war zentral für den „Gender Shades“-Audit von Joy Buolamwini und Timnit Gebru aus dem Jahr 2018, der zeigte, dass kommerzielle Gesichtserkennungssysteme bei dunkelhäutigen Frauen deutlich schlechter abschnitten als bei hellhäutigen Männern. Messverzerrung tritt auf, wenn die Variable, die ein Modell vorhersagen soll – etwa Verhaftungsraten als Stellvertreter für Kriminalität – selbst eine verzerrte Messung des eigentlich interessierenden Konzepts darstellt. Aggregationsverzerrung entsteht, wenn ein einziges Modell auf verschiedene Gruppen angewendet wird, obwohl die zugrunde liegenden Zusammenhänge zwischen den Gruppen unterschiedlich sind.
Bekannte Fälle
Mehrere dokumentierte Fälle haben die öffentliche und wissenschaftliche Debatte geprägt. Das COMPAS-System zur Rückfallprognose, das in US-amerikanischen Gerichten eingesetzt wurde, war Gegenstand einer Untersuchung von ProPublica aus dem Jahr 2016, die zeigte, dass das System schwarze Angeklagte fast doppelt so häufig fälschlich als zukünftige Straftäter einstufte wie weiße Angeklagte, obwohl die tatsächlichen Rückfallquoten vergleichbar waren; die anschließende Debatte drehte sich darum, welche statistische Definition von Fairness dem Befund zugrunde gelegt werden sollte. Amazon stellte 2018 ein internes KI-Einstellungstool ein, nachdem festgestellt wurde, dass es Lebensläufe benachteiligte, die das Wort „Frau“ enthielten, da das Modell anhand von überwiegend männlichen Bewerbungsdaten trainiert worden war. Wiederholte Audits von Gesichtserkennungssystemen, darunter eine Studie des National Institute of Standards and Technology aus dem Jahr 2019 mit über 100 Systemen, zeigten durchweg höhere Fehlerraten bei Frauen und Menschen mit dunklerer Hautfarbe, was in mehreren US-Städten zu Verboten des Polizeieinsatzes dieser Technologie und bei einigen Anbietern zu Verkaufsstopps führte.
Gegenmaßnahmen und Messung
Technische Ansätze umfassen die Prüfung von Modellen anhand von Fairness-Metriken wie dem demografischen Paritätskriterium oder den Chancengleichheitsbedingungen, das Neuausbalancieren oder Anreichern von Trainingsdaten sowie nachgelagerte Anpassungen der Modellausgaben. Ein umfangreicher Forschungszweig hat jedoch gezeigt, dass verschiedene Fairness-Definitionen mathematisch nicht gleichzeitig erfüllbar sind, sodass die Wahl einer Metrik stets eine normative Entscheidung darstellt. Werkzeuge für [[erklärbare KI]] werden häufig zusammen mit Fairness-Audits eingesetzt, um zu identifizieren, welche Eingabemerkmale zu unterschiedlichen Ergebnissen führen. Mit der Verbreitung großer [[Sprachmodelle]] haben sich die Bedenken auf stereotypisierte Assoziationen in generierten Texten und Bildern ausgeweitet, einschließlich Systemen zur [[Text-zu-Bild-Generierung]].
Regulierung
Algorithmische Verzerrung ist zunehmend Gegenstand von Regulierung und wird ausdrücklich in der Risikoeinstufung des [[EU-KI-Gesetzes]] sowie in früheren US-amerikanischen Gesetzesvorschlägen wie dem Algorithmic Accountability Act genannt. Sie gilt weiterhin als einer der am häufigsten beklagten und am besten empirisch belegten Schäden im weiteren Feld der [[KI-Governance]].