ImageNetは、視覚的物体認識ソフトウェアの研究用に設計された大規模な視覚データベースである。何が写っているかを示す手動注釈付きの画像が1,400万枚以上含まれており、そのうち少なくとも100万枚の画像にはバウンディングボックスも提供されている。このデータベースは20,000以上のカテゴリを網羅しており、各カテゴリは通常、数百枚の画像で構成されている。2010年以降、ImageNetプロジェクトは毎年恒例のソフトウェアコンテストであるImageNet Large Scale Visual Recognition Challenge（ILSVRC）を開催しており、ソフトウェアプログラムが物体とシーンの分類と検出を正確に行うことを競う。このチャレンジでは、重複しない1,000クラスの厳選されたリストが使用される。
このプロジェクトはAI研究者のフェイフェイ・リーによって構想され、彼女は2006年にこのアイデアに着手し始めた。当時のAI研究の多くがモデルとアルゴリズムに焦点を当てていた時代に、リーはAIアルゴリズムのトレーニングに利用できるデータを拡大し、改善することを目指した。2007年、彼女はWordNetの作成者の一人であるプリンストン大学教授のクリスティアーネ・フェルバウムと会い、プロジェクトについて話し合った。これにより、WordNetの約22,000の名詞から始めて、その特徴の多くを利用してImageNetを構築することになった。リーはまた、平均的な人間は約30,000種類の物体を認識するという1987年の推定にも触発された。
歴史と構築
プリンストン大学の助教授として、リーはImageNetプロジェクトに取り組む研究者チームを結成した。彼らは画像の分類を支援するためにAmazon Mechanical Turkを利用した。ラベル付けは2008年7月に開始され、2010年4月に終了した。1億6,000万枚以上の候補画像をフィルタリングしてラベル付けするために、167か国から49,000人のワーカーが参加した。予算では、1,400万枚の画像それぞれを3回ラベル付けすることが可能であった。
当初の計画では、40,000カテゴリに対して各カテゴリ10,000枚、合計4億枚の画像を、それぞれ3回検証することになっていた。しかし、人間は1秒間に最大2枚の画像しか分類できず、この速度では（休憩なしで）19人年の労力がかかると推定された。チームは2009年にフロリダで開催されたコンピュータビジョンとパターン認識に関する会議（CVPR）で、このデータベースを「ImageNet: A Preview of a Large-scale Hierarchical Dataset」というタイトルのポスターとして初めて発表した。このポスターは2009年のVision Sciences Societyでも再利用された。
2009年、アレックス・バーグが物体位置特定をタスクとして追加することを提案した。リーは2009年にPASCAL Visual Object Classesコンテストに協力を打診し、その結果、2010年からImageNet Large Scale Visual Recognition Challengeが開始された。このチャレンジでは1,000クラスと物体位置特定が特徴であり、2010年のPASCAL VOCがわずか20クラスと19,737枚の画像であったのとは対照的であった。
深層学習への重要性
2012年9月30日、AlexNetと呼ばれる畳み込みニューラルネットワーク（CNN）がImageNet 2012チャレンジでトップ5エラー率15.3%を達成し、2位のエラー率より10.8パーセントポイント以上低い値を記録した。CNNの使用は、トレーニング中のグラフィックス処理ユニット（GPU）の使用によって実現可能となり、これは深層学習革命の必須要素であった。The Economistによると、「人々は突然注目し始めた。AIコミュニティ内だけでなく、テクノロジー業界全体で」という。
2015年、AlexNetは100層を超えるマイクロソフトの非常に深いCNNによって凌駕され、これはImageNet 2015コンテストでテストセットに対して3.57%のエラー率を達成して優勝した。アンドレイ・カルパシーは2014年に、集中して取り組めば5.1%のエラー率に到達できると推定し、彼の研究室の約10人はそれほど労力をかけずに約12〜13%に達した。最大限の努力をすれば、人間は2.4%のエラー率に到達できると推定された。
データセット構造
ImageNetはその注釈プロセスをクラウドソーシングしている。画像レベルの注釈は、画像内のオブジェクトクラスの存在または非存在を示す（例：「この画像にはトラがいる」「この画像にはトラがいない」）。オブジェクトレベルの注釈は、示されたオブジェクトの可視部分の周囲にバウンディングボックスを提供する。ImageNetは、オブジェクトを分類するために広範なWordNetスキーマの変種を使用しており、細かい分類を示すために120の犬種カテゴリが追加されている。
2012年、ImageNetは世界最大のMechanical Turkの学術利用者であり、平均的なワーカーは1分間に50枚の画像を識別した。完全なImageNetの当初計画では、約50,000のsynsetにわたって約5,000万枚のクリーンで多様なフル解像度の画像が含まれる予定であったが、これは達成されなかった。
2010年4月30日時点での概要統計は以下の通り：非空のsynsetの総数：21,841；画像の総数：14,197,122；バウンディングボックス注釈付きの画像数：1,034,908；SIFT特徴量を持つsynsetの数：1,000；SIFT特徴量を持つ画像の数：120万。
カテゴリ
ImageNetのカテゴリは、WordNetの概念からフィルタリングされたものである。各概念は、複数の同義語（例えば「kitty」と「young cat」）を含むことができるため、「シノニムセット」または「synset」と呼ばれる。WordNet 3.0には100,000以上のsynsetがあり、その大半は名詞（80,000以上）であった。ImageNetデータセットはこれらを、視覚的に図示できる可算名詞である21,841のsynsetにフィルタリングした。
WordNet 3.0の各synsetには「WordNet ID」（wnid）があり、これは品詞と「オフセット」（一意の識別番号）を連結したものである。ImageNetは名詞のみを含むため、すべてのwnidは「n」で始まる。例えば、synset「dog, domestic dog, Canis familiaris」のwnidは「n02084071」である。カテゴリはレベル1（「哺乳類」など）からレベル9（「ジャーマン・シェパード」など）までの9つのレベルに分類される。
画像形式
画像は、複数の言語の同義語を使用して、オンライン画像検索エンジン（Google、Picsearch、MSN、Yahoo、Flickrなど）からスクレイピングされた。例えば、ジャーマン・シェパードの場合：German police dog、Alsatian、ovejero alemán、pastore tedesco、德国牧羊犬。ImageNetは、さまざまな解像度のRGB形式の画像で構成されている。例えば、ImageNet 2012の「魚」カテゴリでは、解像度は4288 x 2848から75 x 56までさまざまである。機械学習では、これらは通常、標準の一定解像度に前処理され、ニューラルネットワークによるさらなる処理の前にホワイトニングされる。
例えば、PyTorchでは、ImageNet画像はデフォルトでピクセル値を0から1の間に収まるように除算し、その後[0.485, 0.456, 0.406]を減算し、[0.229, 0.224, 0.225]で除算することによって正規化される。これらはImageNetの平均と標準偏差であり、これにより入力データがホワイトニングされる。
ラベルと注釈
各画像には正確に1つのwnidがラベル付けされている。ImageNet-1K用のDense SIFT特徴量（生のSIFT記述子、量子化されたコードワード、および各記述子/コードワードの座標）はダウンロード可能であり、bag of visual words用に設計された。オブジェクトのバウンディングボックスは、約3,000の人気のあるsynsetで利用可能であり、各synsetには平均150枚の画像があった。さらに、一部の画像には属性注釈があるが、詳細は限られている。
遺産と影響
ImageNetは、機械学習とコンピュータビジョン研究のベンチマークとなり、人工知能の進歩を推進してきた。その毎年恒例のチャレンジは、畳み込みニューラルネットワークやその他のアーキテクチャの革新を促進し、深層学習のより広い分野に影響を与えてきた。このデータセットの規模と構造は、その後の大規模データプロジェクトや、データ拡張技術の開発にも影響を与えた。