Algorithmische Verzerrung bezeichnet die systematische und unfaire Diskriminierung, die von einem algorithmischen System erzeugt wird, meistens einem Modell für maschinelles Lernen, dessen Vorhersagen oder Ausgaben bestimmte Gruppen benachteiligen, die durch Rasse, Geschlecht, Alter oder andere geschützte Merkmale definiert sind. Da solche Systeme statistische Muster aus Trainingsdaten lernen, neigen sie dazu, Verzerrungen, die bereits in diesen Daten vorhanden sind oder durch die Art und Weise, wie ein Problem formuliert, gekennzeichnet oder bewertet wird, eingeführt wurden, zu reproduzieren und zu verstärken. Algorithmische Verzerrung ist ein zentrales Anliegen innerhalb der KI-Ethik und hat sowohl technische Forschung zur Abschwächung als auch rechtliche Prüfung eingesetzter Systeme motiviert.
Quellen der Verzerrung
Forscher unterscheiden üblicherweise mehrere Quellen. Historische Verzerrung existiert in den Daten selbst, zum Beispiel wenn frühere Einstellungsentscheidungen Diskriminierung widerspiegelten, die ein Modell dann lernt zu replizieren. Repräsentationsverzerrung entsteht, wenn bestimmte Gruppen in einem Datensatz unterrepräsentiert sind, was die Modellgenauigkeit für sie verschlechtert; dies war zentral für den „Gender Shades“-Audit von 2018 durch Joy Buolamwini und Timnit Gebru, der feststellte, dass kommerzielle Gesichtserkennungssysteme bei dunkelhäutigeren Frauen deutlich schlechter abschnitten als bei hellhäutigeren Männern. Messverzerrung tritt auf, wenn der Proxy, den ein Modell zu Vorhersagen trainiert wird, wie etwa Verhaftungsraten als Stellvertreter für Kriminalität, selbst eine verzerrte Messung des zugrunde liegenden Konzepts ist. Aggregationsverzerrung entsteht, wenn ein einziges Modell einheitlich auf Gruppen angewendet wird, für die die zugrunde liegenden Beziehungen unterschiedlich sind.
Bekannte Fälle
Mehrere dokumentierte Fälle haben die öffentliche und akademische Diskussion geprägt. Das COMPAS-Rückfallprognose-Tool, das in US-Gerichten verwendet wird, war Gegenstand einer ProPublica-Untersuchung von 2016, die feststellte, dass das System schwarze Angeklagte im Verhältnis zu tatsächlichen Rückfallquoten fast doppelt so häufig als zukünftige Risiken einstufte wie weiße Angeklagte, obwohl Forscher anschließend darüber debattierten, auf welcher statistischen Definition von Fairness der Befund beruhte. Amazon stellte 2018 ein internes KI-Rekrutierungstool ein, nachdem es entdeckte, dass es Lebensläufe mit dem Wort „Frauen“ benachteiligte, ein Muster, das aus einem Jahrzehnt von von Männern dominierten Einstellungsdaten gelernt wurde. Gesichtserkennungs-Audits, einschließlich der Studie des US-amerikanischen National Institute of Standards and Technology von 2019 über über 100 Systeme, fanden wiederholt höhere Fehlerraten für Frauen und Menschen mit dunklerer Haut, was dazu beitrug, dass mehrere US-Städte die Nutzung der Technologie durch die Polizei verboten und einige Anbieter den Verkauf an Strafverfolgungsbehörden pausierten.
Abschwächung und Messung
Technische Antworten umfassen die Prüfung von Modellen anhand von Fairness-Metriken wie demografischer Parität oder ausgeglichener Quoten, das Neuausbalancieren oder Erweitern von Trainingsdaten sowie die Anwendung von Nachbearbeitungsanpassungen an Modellausgaben; eine umfangreiche Forschungsliteratur hat auch gezeigt, dass verschiedene Fairness-Definitionen mathematisch miteinander unvereinbar sein können, was bedeutet, dass die Erfüllung einer Metrik die Verletzung einer anderen erfordern kann. Werkzeuge für erklärbare KI werden häufig zusammen mit Fairness-Audits verwendet, um zu identifizieren, welche Eingabemerkmale unterschiedliche Ergebnisse antreiben. Bedenken hinsichtlich Verzerrung haben sich auch auf die Ära der großen Sprachmodelle ausgeweitet, wo Forscher stereotype Assoziationen in generiertem Text und Bildern dokumentiert haben, einschließlich in Text-zu-Bild-Systemen.
Governance-Reaktion
Algorithmische Verzerrung ist zu einer wiederkehrenden Rechtfertigung für Regulierung geworden, die explizit in der Risikoeinstufung des EU-KI-Gesetzes und in früheren US-Vorschlägen wie dem Algorithmic Accountability Act erscheint. Sie bleibt eine der am stärksten beklagten und am besten empirisch dokumentierten Schäden im breiteren Feld der KI-Governance.