ImageNet Rouletteは、2019年にアーティストのトレバー・パグレンとAI研究者のケイト・クロフォードによって制作されたウェブベースのアートプロジェクトである。ユーザーが自分の写真をアップロードすると、ImageNetデータセットで訓練された機械学習モデルによって生成されたラベルを受け取ることができた。このプロジェクトは、人工知能システムの訓練に使用される大規模な視覚データセットに埋め込まれた偏見、ステレオタイプ、有害な分類を浮き彫りにすることを目的としていた。普通の人々に適用された際に「slattern（だらしない女）」「alcoholic（アルコール依存症）」「failure（失敗者）」などのラベルを生成したことで広く注目を集め、AI訓練データの倫理に関する公開討論を引き起こした。
このプロジェクトは、ImageNetのサブセットで訓練されたニューラルネットワークを使用しており、人に関連する2,833のカテゴリを含み、その多くは時代遅れ、攻撃的、または蔑称的な用語に由来していた。パグレンとクロフォードは、これらのカテゴリを、意味的関係に基づいて単語をグループ化する語彙データベースであるWordNetから取得しており、それ自体が歴史的な偏見を含んでいた。この作品は2019年のベルリン・トランスメディアーレ・フェスティバルで展示され、後にオンラインで話題となり、何百万人ものユーザーが自分の写真で試した。このプロジェクトは、特に人種的または性別に基づく蔑称でラベル付けされた疎外されたグループに対して引き起こした感情的害についてアーティストが批判を受けた後、2019年後半にオンラインから削除された。
背景と動機
パグレンとクロフォードは、視覚データセットの政治学に関するより広範な研究の一環としてImageNet Rouletteを制作した。彼らは、20,000カテゴリにわたる1,400万以上の画像を含むImageNetのようなデータセットは、中立的なリポジトリではなく、作成者の文化的・歴史的前提を反映していると主張した。このプロジェクトは、アノテーターやキュレーターが人や物をどのように分類するかについて主観的な決定を下す、データセット構築における「見えない」労働と判断を可視化することを目的としていた。
アーティストたちは、AIシステムにおける偏見がしばしば構造的な問題ではなく技術的な問題として扱われることを考察したクロフォードの2017年の論文「The Trouble with Bias」を含む、彼女のAIの社会的影響に関する初期の研究を基にした。パグレンの写真と監視研究のバックグラウンドは、分類システムが知覚と権力をどのように形成するかに焦点を当てたこのプロジェクトに影響を与えた。彼らは一緒に、「Excavating AI: The Politics of Images in Machine Learning Training Sets」と題する付随エッセイを発表し、多くのImageNetカテゴリの歴史的起源を詳述した。
技術的実装
このプロジェクトは、ImageNetデータセットで訓練された畳み込みニューラルネットワーク（CNN）を使用し、具体的にはResNet-50として知られるアーキテクチャを採用した。モデルは、2,833の人物関連カテゴリのサブセットで微調整され、「bride（花嫁）」や「soldier（兵士）」のような無害なラベルと、「psychopath（精神病質者）」や「criminal（犯罪者）」のような問題のあるラベルの両方を含んでいた。訓練プロセスでは、分類タスクの精度を向上させるために、データ拡張やバッチ正規化などの標準的な機械学習技術が使用された。
ユーザーが写真をアップロードすると、システムは推論を実行し、信頼スコアとともに最上位の予測ラベルを返した。インターフェースは、ユーザーの画像とともにラベルを表示し、多くの場合、カテゴリの起源を説明するキャプションを添えた。例えば、「slattern」というカテゴリは、19世紀の英語辞書の定義である「汚れたまたはだらしない女性」に遡ることができた。プロジェクトのコードはGitHubで公開され、他の人がシステムを複製または変更できるようにした。
公衆の反応と影響
ImageNet Rouletteは、The New York Times、The Guardian、Wiredなどのメディアで広く取り上げられた。多くのユーザーがソーシャルメディアで結果を共有し、一部は面白がり、他は苦痛を報告した。このプロジェクトはAI倫理コースのケーススタディとなり、アルゴリズムの公平性やデータセットの文書化に関する学術論文で引用された。また、ImageNetチームが後に60万枚の画像を削除し、特定のカテゴリを再分類するなど、大規模データセットを監査・改訂するその後の取り組みにも影響を与えた。
このプロジェクトの影響は学界を超えて広がった。AI開発におけるより良いデータガバナンス慣行の必要性に対する認識の高まりに貢献した。論争を受けて、Google CloudやAmazon Web Servicesを含む一部のテック企業は、訓練データのラベル付けとモデレーションに関するより厳格なガイドラインを発表した。このプロジェクトはまた、ワシントン大学による2020年の「Pulse」プロジェクトなど、顔生成モデルにおける人種的偏見を浮き彫りにした同様の「バイアスプローブ」を他のアーティストや研究者が制作するきっかけにもなった。
倫理的および芸術的意義
ImageNet Rouletteは、機能的なシステムを構築することではなく、その根底にある前提を暴露することを目的とした「批判的AI」アートの画期的な例としてしばしば議論される。このプロジェクトは、機械学習モデルが客観的なツールではなく、作成者の価値観や偏見をコード化していることを実証した。分類プロセスをユーザー自身に逆に向けることで、AIが自分をどのように認識するかに対峙することを強制し、アルゴリズムによる他者化の内臓的な体験を生み出した。
アーティストたちはまた、AI研究における同意と害についての疑問を提起した。このプロジェクトは批判として意図されていたが、ユーザーに実際の感情的苦痛を引き起こし、敏感な問題を暴露する際のアーティストや研究者の責任についての議論につながった。パグレンとクロフォードは、この作品を必要な挑発として擁護したが、将来のプロジェクトで潜在的な害をより慎重に考慮する必要性も認めた。このプロジェクトは、データセットキュレーションの倫理と深層学習システムの社会的影響に関する議論における参照点であり続けている。