NUS-WIDEは、写真共有プラットフォームFlickrにアップロードされた画像から構築されたマルチラベル画像データセットである。2009年にシンガポール国立大学の研究者ら（Tat-Seng Chuaらを含む）によって公開された。このデータセットは、画像アノテーション、検索、マルチラベル分類の研究を支援するために設計され、多様な視覚コンテンツと関連するテキストメタデータを備えた大規模で現実世界のコレクションを提供する。
このデータセットは269,648枚の画像で構成され、各画像には「空」、「水」、「人」、「動物」、「建物」など、日常のシーンや物体の広範囲をカバーする81個のコンセプトラベル（タグ）のうち1つ以上がアノテーションされている。これらのラベルは、ユーザーがFlickrで写真に元々付けたタグから派生したが、データセット作成者によってその後クリーニングおよび標準化された。コンセプトラベルに加えて、NUS-WIDEはSIFT記述子に基づく500次元のbag-of-words特徴、64次元の色ヒストグラム、144次元の色コロログラム、および225次元のブロック単位の色モーメントを提供する。これらの事前計算済み特徴により、研究者は生画像を処理せずにアルゴリズムをベンチマークできる。
構築とアノテーション
このデータセットは、81個の事前定義されたコンセプトのセットでタグ付けされた画像に焦点を当てて、Flickrから大量の画像をダウンロードして構築された。選択プロセスにより、各コンセプトが最小数の画像を持つように、コンセプト間のバランスの取れた分布が確保された。グラウンドトゥルースラベルは、正確性を確保するために人間のアノテーターによって手動で検証され、ユーザー生成タグのみに依存するデータセットとはNUS-WIDEを区別している。最終コレクションには、元の画像と事前計算済みの特徴ベクトルの両方が含まれ、幅広いMachine learningタスクにアクセス可能となっている。
研究での使用
NUS-WIDEは、コンピュータビジョンおよびArtificial intelligenceの分野、特にマルチラベル分類と画像検索に関連するタスクにおいて、標準的なベンチマークとなっている。研究者は、与えられた画像に対して関連するラベルのセットを予測することを目的とする自動画像タグ付けの方法を評価するためにこれを使用してきた。また、Data AugmentationやDeep learningアーキテクチャ（Residual Network (ResNet)やU-Netの変種など）に関する研究でも採用されているが、後者はセグメンテーションタスクでより一般的である。このデータセットのマルチラベル性は、「空」が「雲」と頻繁に共起するなど、コンセプト間の相関を処理しなければならないアルゴリズムにとって挑戦的なテストベッドとなっている。
特徴とベースライン
提供される特徴セットにより、広範な前処理なしで迅速な実験が可能となる。500次元のbag-of-words特徴は局所的な視覚パターンを捉え、色ヒストグラムとコロログラムはグローバルな色情報を提供する。多くの公開論文は、サポートベクターマシンやK-Nearest Neighborsなどの伝統的な方法、およびより最近のNeural networkアプローチを使用して、NUS-WIDEでのベースライン結果を報告している。データセットにはトレーニングセットとテストセットへの分割も含まれており、通常はトレーニング用に161,789枚、テスト用に107,859枚であるが、一部の研究では異なる分割を使用している。
影響と遺産
NUS-WIDEは、Microsoft COCOやVisual Genomeなどの後続データセットの開発に影響を与えた。これらはより豊富なアノテーションを提供するが、規模は小さい。現実世界のユーザー生成コンテンツへの焦点は、よりキュレーションされたデータセットとは対照的であり、ノイズの多い多様な視覚データの課題を研究する上で価値がある。2020年代初頭の時点で、特にマルチラベル学習やTransfer learningの分野で、学術研究において広く引用され使用され続けている。このデータセットは研究目的で自由に利用可能であり、公式ウェブサイトはドキュメントとダウンロードリンクを提供しているが、元の画像はFlickrでホストされており、可用性の影響を受ける可能性がある。
制限事項
NUS-WIDEの制限の1つは、ラベルが比較的粗く、81個のコンセプトのみをカバーしており、細かい区別を捉えられない可能性があることである。さらに、事前計算済みの特徴はSIFTなどの古い技術に基づいており、Deep learningモデルからの学習表現に取って代わられている。研究者は現代のアーキテクチャを使用して生画像から新しい特徴を抽出することが多いが、これには追加のストレージと計算が必要である。データセットはまた、ラベルの不均衡に悩まされており、一部のコンセプトが他よりもはるかに頻繁に出現し、評価メトリクスにバイアスをかける可能性がある。
これらの制限にもかかわらず、NUS-WIDEはマルチラベル画像分析のベンチマークと理解のための貴重なリソースであり続けている。規模、現実世界の画像、マルチラベルアノテーションの組み合わせは、古典的な方法から現代のDeep learningアプローチまで、幅広いMachine learning研究を引き続き支援している。