ImageNet Roulette é um projeto de arte baseado na web criado pelo artista Trevor Paglen e pela pesquisadora de IA Kate Crawford em 2019. Ele permitia que usuários enviassem uma foto de si mesmos e recebessem um rótulo gerado por um modelo de aprendizado de máquina treinado no conjunto de dados ImageNet. O projeto foi concebido para destacar os vieses, estereótipos e classificações prejudiciais embutidos em conjuntos de dados visuais em larga escala usados para treinar sistemas de inteligência artificial. Ele ganhou ampla atenção por produzir rótulos como "vadia", "alcoólatra" e "fracasso" quando aplicados a pessoas comuns, gerando um debate público sobre a ética dos dados de treinamento de IA.
O projeto usava uma rede neural treinada em um subconjunto do ImageNet que incluía 2.833 categorias relacionadas a pessoas, muitas das quais derivadas de termos desatualizados, ofensivos ou depreciativos. Paglen e Crawford obtiveram essas categorias do WordNet, um banco de dados lexical que agrupa palavras por relações semânticas, o qual já continha vieses históricos. A obra foi exibida no festival Transmediale de Berlim em 2019 e depois se tornou um fenômeno online, com milhões de usuários testando-a em suas próprias fotos. O projeto foi retirado do ar no final de 2019, após os artistas receberem críticas pelo dano emocional que causou, especialmente a grupos marginalizados que foram rotulados com insultos raciais ou de gênero.
Contexto e Motivação
Paglen e Crawford criaram o ImageNet Roulette como parte de um esforço de pesquisa mais amplo sobre a política dos conjuntos de dados visuais. Eles argumentaram que conjuntos de dados como o ImageNet, que contém mais de 14 milhões de imagens em 20.000 categorias, não são repositórios neutros, mas refletem as suposições culturais e históricas de seus criadores. O projeto visava tornar visível o trabalho e o julgamento "invisíveis" envolvidos na construção de conjuntos de dados, onde anotadores e curadores fazem decisões subjetivas sobre como categorizar pessoas e objetos.
Os artistas se basearam no trabalho anterior de Crawford sobre as implicações sociais da IA, incluindo seu artigo de 2017 "The Trouble with Bias", que examinou como o viés em sistemas de IA é frequentemente tratado como um problema técnico em vez de estrutural. A formação de Paglen em fotografia e estudos de vigilância informou o foco do projeto em como sistemas de classificação moldam a percepção e o poder. Juntos, eles publicaram um ensaio complementar intitulado "Excavating AI: The Politics of Images in Machine Learning Training Sets", que detalhou as origens históricas de muitas categorias do ImageNet.
Implementação Técnica
O projeto empregava uma rede neural convolucional (CNN) treinada no conjunto de dados ImageNet, especificamente usando a arquitetura conhecida como ResNet-50. O modelo foi ajustado em um subconjunto de 2.833 categorias relacionadas a pessoas, que incluía tanto rótulos benignos como "noiva" e "soldado" quanto problemáticos como "psicopata" e "criminoso". O processo de treinamento usava técnicas padrão de aprendizado de máquina, incluindo aumento de dados e normalização em lote, para melhorar a precisão na tarefa de classificação.
Quando um usuário enviava uma foto, o sistema executava a inferência e retornava o rótulo previsto com maior pontuação, junto com um índice de confiança. A interface exibia o rótulo ao lado da imagem do usuário, frequentemente com uma legenda explicando a origem da categoria. Por exemplo, a categoria "vadia" foi rastreada até uma definição de dicionário inglês do século XIX para uma mulher suja ou desleixada. O código do projeto foi disponibilizado publicamente no GitHub, permitindo que outros replicassem ou modificassem o sistema.
Recepção Pública e Impacto
O ImageNet Roulette recebeu ampla cobertura da mídia, incluindo veículos como The New York Times, The Guardian e Wired. Muitos usuários compartilharam seus resultados nas redes sociais, com alguns expressando diversão e outros relatando angústia. O projeto se tornou um estudo de caso em cursos de ética em IA e foi citado em artigos acadêmicos sobre justiça algorítmica e documentação de conjuntos de dados. Ele também influenciou esforços subsequentes para auditar e revisar grandes conjuntos de dados, como a remoção posterior de 600.000 imagens pela equipe do ImageNet e a reclassificação de certas categorias.
O impacto do projeto se estendeu além da academia. Ele contribuiu para uma crescente conscientização sobre a necessidade de melhores práticas de governança de dados no desenvolvimento de IA. Em resposta à controvérsia, algumas empresas de tecnologia, incluindo Google Cloud e Amazon Web Services, anunciaram diretrizes mais rígidas para rotular e moderar dados de treinamento. O projeto também inspirou outros artistas e pesquisadores a criar "sondas de viés" semelhantes, como o projeto "Pulse" de 2020 da Universidade de Washington, que destacou o viés racial em modelos de geração de rostos.
Significado Ético e Artístico
O ImageNet Roulette é frequentemente discutido como um exemplo marcante de arte de "IA crítica", onde o objetivo não é construir sistemas funcionais, mas expor suas suposições subjacentes. O projeto demonstrou que modelos de aprendizado de máquina não são ferramentas objetivas, mas codificam os valores e preconceitos de seus criadores. Ao inverter o processo de classificação de volta para o usuário, ele forçou os indivíduos a confrontar como a IA poderia percebê-los, criando uma experiência visceral de alteridade algorítmica.
Os artistas também levantaram questões sobre consentimento e dano na pesquisa em IA. Embora o projeto tenha sido concebido como uma crítica, ele inadvertidamente causou sofrimento emocional real aos usuários, levando a debates sobre a responsabilidade de artistas e pesquisadores ao expor questões sensíveis. Paglen e Crawford defenderam a obra como uma provocação necessária, mas também reconheceram a necessidade de considerar mais cuidadosamente os danos potenciais em projetos futuros. O projeto permanece como um ponto de referência em discussões sobre a ética da curadoria de conjuntos de dados e o impacto social de sistemas de aprendizado profundo.