ImageNet Roulette es un proyecto de arte basado en la web creado por el artista Trevor Paglen y la investigadora de IA Kate Crawford en 2019. Permitía a los usuarios subir una foto de sí mismos y recibir una etiqueta generada por un modelo de aprendizaje automático entrenado en el conjunto de datos ImageNet. El proyecto fue diseñado para resaltar los sesgos, estereotipos y clasificaciones dañinas incrustados en conjuntos de datos visuales a gran escala utilizados para entrenar sistemas de inteligencia artificial. Ganó una atención generalizada por producir etiquetas como "suelta", "alcohólico" y "fracaso" cuando se aplicaba a personas comunes, lo que provocó un debate público sobre la ética de los datos de entrenamiento de la IA.
El proyecto utilizó una red neuronal entrenada en un subconjunto de ImageNet que incluía 2,833 categorías relacionadas con personas, muchas de las cuales derivaban de términos obsoletos, ofensivos o despectivos. Paglen y Crawford obtuvieron estas categorías de WordNet, una base de datos léxica que agrupa palabras por relaciones semánticas, la cual contenía sesgos históricos. La obra se exhibió en el festival Transmediale de Berlín de 2019 y luego se convirtió en un fenómeno en línea, con millones de usuarios probándola con sus propias fotos. El proyecto se retiró de línea a finales de 2019 después de que los artistas recibieran críticas por el daño emocional que causó, especialmente a grupos marginados que fueron etiquetados con insultos raciales o de género.
Antecedentes y Motivación
Paglen y Crawford crearon ImageNet Roulette como parte de un esfuerzo de investigación más amplio sobre la política de los conjuntos de datos visuales. Argumentaron que conjuntos de datos como ImageNet, que contiene más de 14 millones de imágenes en 20,000 categorías, no son repositorios neutrales, sino que reflejan los supuestos culturales e históricos de sus creadores. El proyecto buscaba hacer visible el trabajo y juicio "invisible" involucrado en la construcción de conjuntos de datos, donde anotadores y curadores toman decisiones subjetivas sobre cómo categorizar personas y objetos.
Los artistas se basaron en el trabajo anterior de Crawford sobre las implicaciones sociales de la IA, incluido su artículo de 2017 "The Trouble with Bias", que examinaba cómo el sesgo en los sistemas de IA a menudo se trata como un problema técnico en lugar de estructural. La formación de Paglen en fotografía y estudios de vigilancia informó el enfoque del proyecto en cómo los sistemas de clasificación moldean la percepción y el poder. Juntos, publicaron un ensayo complementario titulado "Excavating AI: The Politics of Images in Machine Learning Training Sets", que detallaba los orígenes históricos de muchas categorías de ImageNet.
Implementación Técnica
El proyecto empleó una red neuronal convolucional (CNN) entrenada en el conjunto de datos ImageNet, utilizando específicamente la arquitectura conocida como ResNet-50. El modelo fue ajustado en un subconjunto de 2,833 categorías relacionadas con personas, que incluían tanto etiquetas benignas como "novia" y "soldado" como problemáticas como "psicópata" y "criminal". El proceso de entrenamiento utilizó técnicas estándar de aprendizaje automático, incluyendo aumento de datos y normalización por lotes, para mejorar la precisión en la tarea de clasificación.
Cuando un usuario subía una foto, el sistema ejecutaba la inferencia y devolvía la etiqueta predicha principal con una puntuación de confianza. La interfaz mostraba la etiqueta junto con la imagen del usuario, a menudo con un pie de foto que explicaba el origen de la categoría. Por ejemplo, la categoría "suelta" se rastreaba hasta una definición de diccionario inglés del siglo XIX de una mujer sucia o desaliñada. El código del proyecto se hizo públicamente disponible en GitHub, permitiendo a otros replicar o modificar el sistema.
Recepción Pública e Impacto
ImageNet Roulette recibió una amplia cobertura mediática de medios como The New York Times, The Guardian y Wired. Muchos usuarios compartieron sus resultados en redes sociales, con algunos expresando diversión y otros reportando angustia. El proyecto se convirtió en un caso de estudio en cursos de ética de la IA y fue citado en artículos académicos sobre equidad algorítmica y documentación de conjuntos de datos. También influyó en esfuerzos posteriores para auditar y revisar grandes conjuntos de datos, como la eliminación posterior de 600,000 imágenes por parte del equipo de ImageNet y la reclasificación de ciertas categorías.
El impacto del proyecto se extendió más allá de la academia. Contribuyó a una creciente conciencia sobre la necesidad de mejores prácticas de gobernanza de datos en el desarrollo de la IA. En respuesta a la controversia, algunas empresas tecnológicas, incluyendo Google Cloud y Amazon Web Services, anunciaron pautas más estrictas para etiquetar y moderar datos de entrenamiento. El proyecto también inspiró a otros artistas e investigadores a crear "sondas de sesgo" similares, como el proyecto "Pulse" de 2020 de la Universidad de Washington, que destacó el sesgo racial en los modelos de generación de rostros.
Significado Ético y Artístico
ImageNet Roulette se discute a menudo como un ejemplo emblemático de arte de "IA crítica", donde el objetivo no es construir sistemas funcionales sino exponer sus supuestos subyacentes. El proyecto demostró que los modelos de aprendizaje automático no son herramientas objetivas, sino que codifican los valores y prejuicios de sus creadores. Al revertir el proceso de clasificación hacia el usuario, forzó a los individuos a confrontar cómo la IA podría percibirlos, creando una experiencia visceral de alteridad algorítmica.
Los artistas también plantearon preguntas sobre el consentimiento y el daño en la investigación de la IA. Aunque el proyecto fue concebido como una crítica, inadvertidamente causó angustia emocional real a los usuarios, lo que llevó a debates sobre la responsabilidad de artistas e investigadores al exponer temas sensibles. Paglen y Crawford defendieron la obra como una provocación necesaria, pero también reconocieron la necesidad de una consideración más cuidadosa de los posibles daños en proyectos futuros. El proyecto sigue siendo un punto de referencia en las discusiones sobre la ética de la curación de conjuntos de datos y el impacto social de los sistemas de aprendizaje profundo.