Places365は、シーン認識のための大規模データセットであり、365の異なるシーンカテゴリからなる180万枚以上の画像を含んでいます。2016年にマサチューセッツ工科大学（MIT）の研究者であるBolei Zhou、Aditya Khosla、Aude Oliva、Antonio Torralbaらによって導入されました。このデータセットは、コンピュータビジョンの分野、特に画像が撮影された文脈や環境を識別するシーン理解の領域を進展させることを目的としています。Places365は、シーン分類タスクにおけるモデルの性能を評価するための標準的なベンチマークとなり、ImageNetのようなオブジェクト中心のデータセットを補完するものとなっています。
このデータセットは、Places365-StandardとPlaces365-Challengeの2つのバージョンに整理されています。Places365-Standardには約180万枚のトレーニング画像が含まれ、各カテゴリには3,000〜5,000枚の画像があります。Places365-Challengeは、800万枚以上のトレーニング画像を含むより大規模なバージョンであり、2016年にコンピュータビジョンおよびパターン認識会議（CVPR）で開催されたPlaces Challengeコンペティションで使用されました。画像はウェブから収集され、「山」や「ビーチ」などの自然シーンから「キッチン」や「オフィス」などの屋内環境まで、365のシーンカテゴリのいずれかで注釈が付けられています。カテゴリは、以前のPlaces205データセットの拡張版であるPlaces2データセットに由来しています。
開発と動機
Places365は、包括的なシーン認識データセットの必要性に対応するために作成されました。オブジェクト認識はImageNetのようなデータセットで大きな進歩を遂げていましたが、シーン理解は比較的未発達のままでした。MITチームは、シーン分類のためのニューラルネットワークモデルのトレーニングを支援できる、大規模で多様性があり、適切に注釈が付けられたデータセットを提供することを目指しました。このデータセットは、ウェブから画像を収集し、自動化された注釈プロセスと人間による注釈プロセスの組み合わせを使用して構築されました。最終的な365カテゴリは、日常環境の広範囲をカバーするように選択され、Places365でトレーニングされたモデルが自動運転、ロボティクス、画像検索などの実世界のアプリケーションに一般化できることを保証しました。
Places365の作成は、Places205データセットとPlaces2データセットも含むPlacesデータベースを構築するためのより広範な取り組みの一部でした。2014年に導入されたPlaces205には205のシーンカテゴリが含まれ、予備的なベンチマークとして使用されました。Places365はこれを365カテゴリに拡張し、シーンタイプのより包括的なカバレッジを提供しました。このデータセットは研究コミュニティで広く採用され、そのリリースはシーン認識アルゴリズムの多くの進歩を促進しました。
アーキテクチャと内容
Places365は、前処理後に通常約224×224ピクセルのさまざまな解像度の画像で構成されています。各画像には単一のシーンカテゴリがラベル付けされており、単一ラベル分類タスクとなっています。データセットには、トレーニングセット、検証セット、テストセットが含まれています。検証セットとテストセットにはカテゴリごとに50枚の画像があり、トレーニングセットにはカテゴリごとに数千枚の画像があります。画像はJPEG形式で保存され、カテゴリごとにディレクトリに整理されています。
Places365の注目すべき側面の1つは、個々のオブジェクトではなくシーンレベルの文脈に焦点を当てていることです。これにより、オブジェクト認識データセットとは異なり、モデルは全体的な環境を認識することを学習する必要があります。データセットにはセマンティック階層も含まれており、365のカテゴリを「屋内」、「屋外自然」、「屋外人工」などの16のスーパーカテゴリにグループ化しています。この階層により、モデルパフォーマンスのより構造化された評価と分析が可能になります。
アプリケーションと影響
Places365は、特にシーン分類のための畳み込みニューラルネットワーク（CNN）のトレーニングにおいて、機械学習研究で広く使用されています。ResNetやDenseNetなどの多くの最先端モデルがPlaces365で評価され、このデータセットは異なるアーキテクチャを比較するためのベンチマークとして機能してきました。分類以外にも、Places365はシーン解析、セマンティックセグメンテーション、転移学習などのタスクに使用されています。例えば、Places365で事前トレーニングされたモデルは、オブジェクト検出や画像キャプション生成などの他のビジョンタスクにファインチューニングされています。
このデータセットは、産業界における人工知能システムの開発にも影響を与えています。Google DeepMindやOpenAIなどの企業は、モデルにシーン理解機能を組み込んでおり、Places365は大規模ビジョンモデルの性能評価に使用されています。さらに、このデータセットは人間のシーン知覚に関する研究にも使用され、人間が環境をどのように分類するかについての洞察を提供しています。
制限と将来の方向性
その成功にもかかわらず、Places365にはいくつかの制限があります。画像がウェブから収集されたため、このデータセットは西洋の英語圏の文脈に偏っており、すべてのグローバル環境を均等に代表しているとは限りません。さらに、単一ラベル形式は、複数の重複する文脈を含むことが多い実世界のシーンの複雑さを捉えていません。研究者は、マルチラベルシーンデータセットやより多様な地理的カバレッジを持つデータセットなどの拡張や代替案を提案しています。生成AIと大規模言語モデルが進歩し続けるにつれて、マルチモーダルモデルを強化するためにシーン理解を使用することへの関心が高まっており、Places365はそのようなシステムのトレーニングと評価のための関連リソースであり続けています。