ImageNet Roulette ist ein webbasiertes Kunstprojekt, das 2019 von dem Künstler Trevor Paglen und der KI-Forscherin Kate Crawford geschaffen wurde. Es ermöglichte Nutzern, ein Foto von sich selbst hochzuladen und ein Etikett zu erhalten, das von einem maschinellen Lernmodell generiert wurde, das auf dem ImageNet-Datensatz trainiert wurde. Das Projekt sollte die Vorurteile, Stereotype und schädlichen Klassifikationen aufzeigen, die in groß angelegten visuellen Datensätzen eingebettet sind, die zum Trainieren von Systemen der künstlichen Intelligenz verwendet werden. Es erlangte große Aufmerksamkeit, weil es bei gewöhnlichen Menschen Etiketten wie „Schlampe“, „Alkoholiker“ und „Versager“ erzeugte, was eine öffentliche Debatte über die Ethik von KI-Trainingsdaten auslöste.
Das Projekt verwendete ein neuronales Netz, das auf einer Teilmenge von ImageNet trainiert wurde, die 2.833 Kategorien zu Menschen umfasste, von denen viele aus veralteten, beleidigenden oder abwertenden Begriffen stammten. Paglen und Crawford bezogen diese Kategorien aus WordNet, einer lexikalischen Datenbank, die Wörter nach semantischen Beziehungen gruppiert und selbst historische Vorurteile enthielt. Das Werk wurde 2019 auf dem Berliner Transmediale-Festival ausgestellt und wurde später zu einer Online-Sensation, wobei Millionen von Nutzern es mit ihren eigenen Fotos testeten. Das Projekt wurde Ende 2019 offline genommen, nachdem die Künstler Kritik für den emotionalen Schaden erhielten, den es verursachte, insbesondere für marginalisierte Gruppen, die mit rassistischen oder geschlechtsspezifischen Schimpfwörtern etikettiert wurden.
Hintergrund und Motivation
Paglen und Crawford schufen ImageNet Roulette als Teil eines breiteren Forschungsvorhabens zur Politik visueller Datensätze. Sie argumentierten, dass Datensätze wie ImageNet, das über 14 Millionen Bilder in 20.000 Kategorien enthält, keine neutralen Archive sind, sondern die kulturellen und historischen Annahmen ihrer Ersteller widerspiegeln. Das Projekt zielte darauf ab, die „unsichtbare“ Arbeit und Urteilsbildung bei der Konstruktion von Datensätzen sichtbar zu machen, bei der Annotatoren und Kuratoren subjektive Entscheidungen darüber treffen, wie Menschen und Objekte kategorisiert werden.
Die Künstler stützten sich auf Crawfords frühere Arbeiten zu den sozialen Implikationen von KI, einschließlich ihres Papiers „The Trouble with Bias“ von 2017, das untersuchte, wie Voreingenommenheit in KI-Systemen oft als technisches Problem und nicht als strukturelles behandelt wird. Paglens Hintergrund in Fotografie und Überwachungsstudien prägte den Fokus des Projekts darauf, wie Klassifikationssysteme Wahrnehmung und Macht formen. Gemeinsam veröffentlichten sie einen begleitenden Aufsatz mit dem Titel „Excavating AI: The Politics of Images in Machine Learning Training Sets“, der die historischen Ursprünge vieler ImageNet-Kategorien detailliert darlegte.
Technische Umsetzung
Das Projekt verwendete ein faltendes neuronales Netz (CNN), das auf dem ImageNet-Datensatz trainiert wurde, insbesondere mit der Architektur ResNet-50. Das Modell wurde auf einer Teilmenge von 2.833 personenbezogenen Kategorien feinabgestimmt, die sowohl harmlose Etiketten wie „Braut“ und „Soldat“ als auch problematische wie „Psychopath“ und „Krimineller“ umfasste. Der Trainingsprozess verwendete standardmäßige Techniken des maschinellen Lernens, einschließlich Datenaugmentierung und Batch-Normalisierung, um die Genauigkeit bei der Klassifikationsaufgabe zu verbessern.
Wenn ein Nutzer ein Foto hochlud, führte das System eine Inferenz durch und gab das wahrscheinlichste Etikett mit einem Konfidenzwert zurück. Die Benutzeroberfläche zeigte das Etikett zusammen mit dem Bild des Nutzers, oft mit einer Bildunterschrift, die den Ursprung der Kategorie erklärte. Zum Beispiel wurde die Kategorie „Schlampe“ auf eine englische Wörterbuchdefinition aus dem 19. Jahrhundert für eine schmutzige oder unordentliche Frau zurückgeführt. Der Code des Projekts wurde öffentlich auf GitHub verfügbar gemacht, sodass andere das System replizieren oder modifizieren konnten.
Öffentliche Rezeption und Auswirkungen
ImageNet Roulette erhielt umfangreiche Medienberichterstattung von Nachrichtenagenturen wie The New York Times, The Guardian und Wired. Viele Nutzer teilten ihre Ergebnisse in sozialen Medien, wobei einige Belustigung und andere Bedrängnis ausdrückten. Das Projekt wurde zu einer Fallstudie in KI-Ethikkursen und wurde in akademischen Papieren zu algorithmischer Fairness und Datensatzdokumentation zitiert. Es beeinflusste auch spätere Bemühungen, große Datensätze zu prüfen und zu überarbeiten, wie die spätere Entfernung von 600.000 Bildern durch das ImageNet-Team und die Neuklassifizierung bestimmter Kategorien.
Die Auswirkungen des Projekts reichten über die Wissenschaft hinaus. Es trug zu einem wachsenden Bewusstsein für die Notwendigkeit besserer Datenverwaltungspraktiken in der KI-Entwicklung bei. Als Reaktion auf die Kontroverse kündigten einige Technologieunternehmen, darunter Google Cloud und Amazon Web Services, strengere Richtlinien für die Kennzeichnung und Moderation von Trainingsdaten an. Das Projekt inspirierte auch andere Künstler und Forscher, ähnliche „Bias-Sonden“ zu erstellen, wie das Projekt „Pulse“ der University of Washington aus dem Jahr 2020, das rassistische Vorurteile in Gesichtsgenerierungsmodellen aufzeigte.
Ethische und künstlerische Bedeutung
ImageNet Roulette wird oft als wegweisendes Beispiel für „kritische KI“-Kunst diskutiert, bei der das Ziel nicht darin besteht, funktionale Systeme zu bauen, sondern ihre zugrunde liegenden Annahmen offenzulegen. Das Projekt zeigte, dass maschinelle Lernmodelle keine objektiven Werkzeuge sind, sondern die Werte und Vorurteile ihrer Ersteller kodieren. Indem es den Klassifikationsprozess auf den Nutzer zurückwendete, zwang es Einzelpersonen, sich damit auseinanderzusetzen, wie KI sie wahrnehmen könnte, und schuf eine viszerale Erfahrung algorithmischer Andersmachung.
Die Künstler warfen auch Fragen zu Einwilligung und Schaden in der KI-Forschung auf. Während das Projekt als Kritik gedacht war, verursachte es unbeabsichtigt echten emotionalen Stress bei Nutzern, was zu Debatten über die Verantwortung von Künstlern und Forschern führte, wenn sie sensible Themen aufdecken. Paglen und Crawford verteidigten das Werk als notwendige Provokation, erkannten aber auch die Notwendigkeit einer sorgfältigeren Abwägung potenzieller Schäden in zukünftigen Projekten an. Das Projekt bleibt ein Bezugspunkt in Diskussionen über die Ethik der Datensatzkuratierung und die soziale Auswirkung von Deep-Learning-Systemen.