ImageNet Roulette는 2019년 예술가 Trevor Paglen과 AI 연구자 Kate Crawford가 만든 웹 기반 예술 프로젝트이다. 이 프로젝트는 사용자가 자신의 사진을 업로드하면 ImageNet 데이터셋으로 훈련된 머신러닝 모델이 생성한 라벨을 받을 수 있게 했다. 이 프로젝트는 인공지능 시스템을 훈련하는 데 사용되는 대규모 시각 데이터셋에 내재된 편향, 고정관념, 유해한 분류를 부각시키기 위해 설계되었다. 일반인에게 적용했을 때 "슬래턴", "알코올 중독자", "실패자" 같은 라벨을 생성하여 널리 주목받았고, AI 훈련 데이터의 윤리에 대한 공개적인 논쟁을 촉발했다.
이 프로젝트는 사람과 관련된 2,833개 범주를 포함하는 ImageNet의 하위 집합으로 훈련된 신경망을 사용했으며, 많은 범주가 구식이거나 공격적이거나 경멸적인 용어에서 파생되었다. Paglen과 Crawford는 이러한 범주를 의미적 관계에 따라 단어를 그룹화하는 어휘 데이터베이스인 WordNet에서 가져왔는데, WordNet 자체에도 역사적 편향이 포함되어 있었다. 이 작품은 2019년 베를린 트랜스메디알레 페스티벌에서 전시되었고, 이후 온라인에서 큰 인기를 끌며 수백만 명의 사용자가 자신의 사진으로 테스트했다. 이 프로젝트는 특히 인종 또는 성별 기반 비방으로 라벨링된 소외 집단에게 정서적 피해를 입혔다는 비판을 예술가들이 받은 후 2019년 말에 오프라인으로 전환되었다.
배경 및 동기
Paglen과 Crawford는 시각 데이터셋의 정치학에 대한 더 넓은 연구 노력의 일환으로 ImageNet Roulette를 만들었다. 그들은 20,000개 범주에 걸쳐 1,400만 개 이상의 이미지를 포함하는 ImageNet과 같은 데이터셋이 중립적인 저장소가 아니라 창작자의 문화적, 역사적 가정을 반영한다고 주장했다. 이 프로젝트는 주석자와 큐레이터가 사람과 사물을 분류하는 방법에 대해 주관적인 결정을 내리는 데이터셋 구축에 관련된 "보이지 않는" 노동과 판단을 가시화하는 것을 목표로 했다.
예술가들은 AI 시스템의 편향이 종종 구조적 문제가 아닌 기술적 문제로 취급되는 방식을 검토한 2017년 논문 "The Trouble with Bias"를 포함한 Crawford의 초기 연구를 활용했다. 사진과 감시 연구에 대한 Paglen의 배경은 분류 시스템이 인식과 권력을 형성하는 방식에 대한 프로젝트의 초점에 영향을 주었다. 두 사람은 함께 "Excavating AI: The Politics of Images in Machine Learning Training Sets"라는 제목의 에세이를 발표하여 많은 ImageNet 범주의 역사적 기원을 자세히 설명했다.
기술적 구현
이 프로젝트는 ImageNet 데이터셋으로 훈련된 합성곱 신경망(CNN)을 사용했으며, 특히 ResNet-50으로 알려진 아키텍처를 사용했다. 모델은 "신부"와 "군인" 같은 무해한 라벨과 "사이코패스"와 "범죄자" 같은 문제 있는 라벨을 모두 포함하는 2,833개의 사람 관련 범주 하위 집합으로 미세 조정되었다. 훈련 과정은 분류 작업의 정확도를 향상시키기 위해 머신러닝의 표준 기술인 데이터 증강과 배치 정규화를 사용했다.
사용자가 사진을 업로드하면 시스템은 추론을 실행하고 신뢰 점수와 함께 상위 예측 라벨을 반환했다. 인터페이스는 사용자의 이미지 옆에 라벨을 표시했으며, 종종 범주의 기원을 설명하는 캡션을 포함했다. 예를 들어, "슬래턴" 범주는 더럽거나 단정하지 못한 여성에 대한 19세기 영어 사전 정의로 거슬러 올라갔다. 프로젝트의 코드는 GitHub에 공개되어 다른 사람들이 시스템을 복제하거나 수정할 수 있게 했다.
대중적 반응과 영향
ImageNet Roulette는 The New York Times, The Guardian, Wired와 같은 매체에서 광범위한 보도를 받았다. 많은 사용자가 소셜 미디어에 결과를 공유했으며, 일부는 재미를 표현하고 다른 일부는 고통을 보고했다. 이 프로젝트는 AI 윤리 과정의 사례 연구가 되었고 알고리즘 공정성과 데이터셋 문서화에 관한 학술 논문에서 인용되었다. 또한 ImageNet 팀이 나중에 600,000개의 이미지를 제거하고 특정 범주를 재분류하는 것과 같은 대규모 데이터셋을 감사하고 수정하려는 후속 노력에 영향을 주었다.
프로젝트의 영향은 학계를 넘어 확장되었다. 이는 AI 개발에서 더 나은 데이터 거버넌스 관행의 필요성에 대한 인식 증가에 기여했다. 논란에 대응하여 Google Cloud와 Amazon Web Services를 포함한 일부 기술 기업은 훈련 데이터 라벨링 및 검토에 대한 더 엄격한 지침을 발표했다. 이 프로젝트는 또한 워싱턴 대학의 2020년 "Pulse" 프로젝트와 같이 얼굴 생성 모델의 인종 편향을 부각시킨 유사한 "편향 탐지기"를 만드는 다른 예술가와 연구자에게 영감을 주었다.
윤리적 및 예술적 의의
ImageNet Roulette는 기능적 시스템을 구축하는 것이 아니라 그 근본적인 가정을 폭로하는 것을 목표로 하는 "비판적 AI" 예술의 획기적인 사례로 자주 논의된다. 이 프로젝트는 머신러닝 모델이 객관적인 도구가 아니라 창작자의 가치와 편견을 인코딩한다는 것을 보여주었다. 분류 과정을 사용자에게 되돌림으로써 개인이 AI가 자신을 어떻게 인식할 수 있는지 직면하도록 강요하여 알고리즘적 타자화의 생생한 경험을 만들었다.
예술가들은 또한 AI 연구에서 동의와 피해에 대한 질문을 제기했다. 이 프로젝트는 비판으로 의도되었지만 사용자에게 실제 정서적 고통을 의도치 않게 초래했으며, 민감한 문제를 폭로할 때 예술가와 연구자의 책임에 대한 논쟁으로 이어졌다. Paglen과 Crawford는 이 작품을 필요한 도발로 옹호했지만, 향후 프로젝트에서 잠재적 피해에 대한 더 신중한 고려의 필요성도 인정했다. 이 프로젝트는 데이터셋 큐레이션의 윤리와 딥러닝 시스템의 사회적 영향에 대한 논의에서 여전히 참조점으로 남아 있다.