ImageNet Roulette est un projet artistique en ligne créé par l'artiste Trevor Paglen et la chercheuse en IA Kate Crawford en 2019. Il permettait aux utilisateurs de téléverser une photo d'eux-mêmes et de recevoir une étiquette générée par un modèle d'apprentissage automatique entraîné sur l'ensemble de données ImageNet. Le projet visait à mettre en lumière les biais, les stéréotypes et les classifications nuisibles intégrés dans les ensembles de données visuelles à grande échelle utilisés pour entraîner les systèmes d'intelligence artificielle. Il a attiré une large attention en produisant des étiquettes telles que « slattern », « alcoolique » et « échec » lorsqu'il était appliqué à des personnes ordinaires, suscitant un débat public sur l'éthique des données d'entraînement en IA.
Le projet utilisait un réseau neuronal entraîné sur un sous-ensemble d'ImageNet comprenant 2 833 catégories liées aux personnes, dont beaucoup étaient dérivées de termes obsolètes, offensants ou péjoratifs. Paglen et Crawford ont puisé ces catégories dans WordNet, une base de données lexicale qui regroupe les mots par relations sémantiques, laquelle contenait elle-même des biais historiques. L'œuvre a été exposée au festival Transmediale de Berlin en 2019 et est devenue plus tard un phénomène en ligne, avec des millions d'utilisateurs la testant sur leurs propres photos. Le projet a été retiré en ligne à la fin de 2019 après que les artistes ont reçu des critiques pour le préjudice émotionnel qu'il causait, en particulier aux groupes marginalisés étiquetés avec des insultes raciales ou sexistes.
Contexte et motivation
Paglen et Crawford ont créé ImageNet Roulette dans le cadre d'un effort de recherche plus large sur la politique des ensembles de données visuelles. Ils ont soutenu que des ensembles de données comme ImageNet, qui contient plus de 14 millions d'images réparties dans 20 000 catégories, ne sont pas des référentiels neutres mais reflètent les hypothèses culturelles et historiques de leurs créateurs. Le projet visait à rendre visible le travail et le jugement « invisibles » impliqués dans la construction des ensembles de données, où les annotateurs et les conservateurs prennent des décisions subjectives sur la manière de catégoriser les personnes et les objets.
Les artistes se sont appuyés sur les travaux antérieurs de Crawford sur les implications sociales de l'IA, notamment son article de 2017 « The Trouble with Bias », qui examinait comment le biais dans les systèmes d'IA est souvent traité comme un problème technique plutôt que structurel. Le parcours de Paglen en photographie et en études de surveillance a éclairé l'accent mis par le projet sur la manière dont les systèmes de classification façonnent la perception et le pouvoir. Ensemble, ils ont publié un essai d'accompagnement intitulé « Excavating AI: The Politics of Images in Machine Learning Training Sets », qui détaillait les origines historiques de nombreuses catégories d'ImageNet.
Implémentation technique
Le projet utilisait un réseau neuronal convolutif (CNN) entraîné sur l'ensemble de données ImageNet, en utilisant spécifiquement l'architecture connue sous le nom de ResNet-50. Le modèle a été affiné sur un sous-ensemble de 2 833 catégories liées aux personnes, incluant à la fois des étiquettes bénignes comme « mariée » et « soldat » et des étiquettes problématiques comme « psychopathe » et « criminel ». Le processus d'entraînement utilisait des techniques standard de apprentissage automatique, y compris la augmentation de données et la normalisation par lots, pour améliorer la précision de la tâche de classification.
Lorsqu'un utilisateur téléversait une photo, le système exécutait une inférence et renvoyait l'étiquette prédite la plus probable avec un score de confiance. L'interface affichait l'étiquette à côté de l'image de l'utilisateur, souvent avec une légende expliquant l'origine de la catégorie. Par exemple, la catégorie « slattern » était retracée jusqu'à une définition de dictionnaire anglais du XIXe siècle désignant une femme sale ou désordonnée. Le code du projet a été rendu publiquement disponible sur GitHub, permettant à d'autres de reproduire ou de modifier le système.
Réception publique et impact
ImageNet Roulette a reçu une couverture médiatique extensive de la part de médias comme The New York Times, The Guardian et Wired. De nombreux utilisateurs ont partagé leurs résultats sur les réseaux sociaux, certains exprimant de l'amusement et d'autres rapportant de la détresse. Le projet est devenu une étude de cas dans les cours d'éthique de l'IA et a été cité dans des articles académiques sur l'équité algorithmique et la documentation des ensembles de données. Il a également influencé les efforts ultérieurs pour auditer et réviser les grands ensembles de données, comme le retrait ultérieur de 600 000 images par l'équipe d'ImageNet et la reclassification de certaines catégories.
L'impact du projet s'est étendu au-delà du monde académique. Il a contribué à une prise de conscience croissante de la nécessité de meilleures pratiques de gouvernance des données dans le développement de l'IA. En réponse à la controverse, certaines entreprises technologiques, y compris Google Cloud et Amazon Web Services, ont annoncé des directives plus strictes pour l'étiquetage et la modération des données d'entraînement. Le projet a également inspiré d'autres artistes et chercheurs à créer des « sondes de biais » similaires, comme le projet « Pulse » de 2020 de l'Université de Washington, qui a mis en évidence le biais racial dans les modèles de génération de visages.
Signification éthique et artistique
ImageNet Roulette est souvent discuté comme un exemple marquant d'art « IA critique », où l'objectif n'est pas de construire des systèmes fonctionnels mais d'exposer leurs hypothèses sous-jacentes. Le projet a démontré que les modèles d'apprentissage automatique ne sont pas des outils objectifs mais encodent les valeurs et les préjugés de leurs créateurs. En retournant le processus de classification vers l'utilisateur, il a forcé les individus à confronter comment l'IA pourrait les percevoir, créant une expérience viscérale de l'altérité algorithmique.
Les artistes ont également soulevé des questions sur le consentement et le préjudice dans la recherche en IA. Bien que le projet ait été conçu comme une critique, il a involontairement causé une détresse émotionnelle réelle aux utilisateurs, conduisant à des débats sur la responsabilité des artistes et des chercheurs lorsqu'ils exposent des questions sensibles. Paglen et Crawford ont défendu l'œuvre comme une provocation nécessaire, mais ils ont aussi reconnu la nécessité d'une considération plus attentive des préjudices potentiels dans les projets futurs. Le projet reste une référence dans les discussions sur l'éthique de la curation des ensembles de données et l'impact social des systèmes de apprentissage profond.