ImageNet Roulette是一个由艺术家Trevor Paglen和AI研究员Kate Crawford于2019年创建的基于网络的艺术项目。它允许用户上传自己的照片，并获得由在ImageNet数据集上训练的机器学习模型生成的标签。该项目旨在揭示用于训练人工智能系统的大规模视觉数据集中嵌入的偏见、刻板印象和有害分类。它因对普通人产生诸如“邋遢女人”、“酒鬼”和“失败者”等标签而广受关注，引发了关于AI训练数据伦理的公众辩论。
该项目使用了一个在ImageNet子集上训练的神经网络，该子集包含2,833个与人相关的类别，其中许多源自过时、冒犯性或贬损性的术语。Paglen和Crawford从WordNet（一个按语义关系对单词进行分组的词汇数据库）中获取了这些类别，而该数据库本身也包含历史偏见。该作品在2019年柏林Transmediale艺术节上展出，后来在网上引起轰动，数百万用户用其测试自己的照片。该项目于2019年底下线，此前艺术家们因该作品造成的情感伤害而受到批评，尤其是对遭受种族或性别歧视性标签的边缘群体。
背景与动机
Paglen和Crawford创建ImageNet Roulette是作为对视觉数据集政治性更广泛研究的一部分。他们认为，像ImageNet这样包含超过1400万张图像、覆盖2万个类别的数据集并非中立的存储库，而是反映了其创建者的文化和历史假设。该项目旨在揭示数据集构建中涉及的“隐形”劳动和判断，其中标注者和策展人对如何对人及物体进行分类做出主观决定。
艺术家们借鉴了Crawford早期关于AI社会影响的研究，包括她2017年的论文《偏见的麻烦》，该论文探讨了AI系统中的偏见如何常被视为技术问题而非结构性问题。Paglen在摄影和监控研究方面的背景影响了该项目对分类系统如何塑造感知和权力的关注。他们共同发表了一篇配套文章，题为《挖掘AI：机器学习训练集中图像的政治》，详细介绍了许多ImageNet类别的历史起源。
技术实现
该项目采用了一个在ImageNet数据集上训练的卷积神经网络（CNN），具体使用了称为残差网络-50的架构。该模型在2,833个与人相关的类别子集上进行了微调，其中包括“新娘”和“士兵”等良性标签，以及“精神病患者”和“罪犯”等问题标签。训练过程使用了标准的机器学习技术，包括数据增强和批归一化，以提高分类任务的准确性。
当用户上传照片时，系统会运行推理并返回置信度最高的预测标签。界面将标签与用户图像一起显示，通常附有解释类别来源的说明文字。例如，“邋遢女人”这一类别可追溯至19世纪英语词典中对肮脏或不整洁女性的定义。该项目的代码已在GitHub上公开，允许他人复制或修改系统。
公众反响与影响
ImageNet Roulette获得了《纽约时报》、《卫报》和《连线》等媒体的广泛报道。许多用户在社交媒体上分享了自己的结果，有人表示有趣，也有人报告了困扰。该项目成为AI伦理课程中的案例研究，并被引用在关于算法公平性和数据集文档的学术论文中。它还影响了后续对大型数据集的审计和修订工作，例如ImageNet团队后来删除了60万张图像并重新分类了某些类别。
该项目的影响超出了学术界。它促进了人们对AI开发中更好数据治理实践需求的日益认识。针对这一争议，一些科技公司，包括谷歌云和亚马逊网络服务，宣布了更严格的训练数据标注和审核指南。该项目还启发了其他艺术家和研究人员创建类似的“偏见探针”，例如华盛顿大学2020年的“Pulse”项目，该突出了面部生成模型中的种族偏见。
伦理与艺术意义
ImageNet Roulette常被讨论为“批判性AI”艺术的里程碑式例子，其目标不是构建功能性系统，而是揭示其潜在假设。该项目表明，机器学习模型并非客观工具，而是编码了其创建者的价值观和偏见。通过将分类过程反作用于用户，它迫使个人直面AI可能如何看待他们，创造了算法异化的切身体验。
艺术家们还提出了AI研究中的同意与伤害问题。虽然该项目旨在进行批判，但它无意中给用户带来了真实的情感困扰，引发了关于艺术家和研究人员在暴露敏感问题时责任的辩论。Paglen和Crawford为该作品辩护，认为这是必要的挑衅，但他们也承认在未来的项目中需要更仔细地考虑潜在伤害。该项目至今仍是关于数据集策展伦理和深度学习系统社会影响讨论的参考点。