NYU Depth V2は、屋内シーン理解のための大規模なRGB-Dデータセットであり、2012年にニューヨーク大学の研究者らによって公開された。Microsoft Kinectセンサーを用いて記録されたビデオシーケンスで構成され、カラー（RGB）画像と整列された深度マップの両方を捉えている。このデータセットは、単眼深度推定、セマンティックセグメンテーション、シーンパースなどのタスクにおける標準的なベンチマークであり、屋内知覚のための深層学習アプローチの進展に大きく貢献してきた。
このデータセットには、1,449組の密にラベル付けされたRGB画像と深度画像のペアが含まれており、各ピクセルは894のオブジェクトカテゴリ（一般的なベンチマークでは後に40クラスに統合）のいずれかで注釈されている。さらに、464の多様な屋内シーンからの407,024フレームのラベルなしデータも提供されており、寝室、リビングルーム、オフィス、キッチンなどの部屋を網羅している。シーンは一人称視点で撮影されており、空間を移動する人物を模倣しているため、ロボティクスや拡張現実アプリケーションにとって特に有用である。
取得と注釈
元のNYU Depthデータセット（V1）は2011年に公開されたが、V2ではシーン数が拡大され、注釈の品質が改善された。RGB-Dデータは、Kinectセンサーを用いてカラーと深度の両ストリームを640x480ピクセルの解像度で記録したものである。深度マップは構造光を用いて取得され、ミリメートル単位のメートル深度情報を提供する。ラベル付きサブセットを作成するため、研究者らはビデオシーケンスからフレームを選択し、カスタムツールを用いて各ピクセルにセマンティッククラスを手動で注釈した。注釈プロセスは一貫性を確保するために複数回のパスを経て行われ、最終ラベルは人間の評価者によって検証された。
ベンチマークタスク
NYU Depth V2は主に、深度推定とセマンティックセグメンテーションの2つのタスクに使用される。深度推定では、モデルは単一のRGB画像から密な深度マップを予測するように訓練され、平均二乗誤差（RMSE）や相対誤差などの評価指標が用いられる。セマンティックセグメンテーションでは、モデルは各ピクセルを40クラスのいずれかに分類し、ピクセル精度や平均交差結合比（mIoU）などの指標が使用される。このデータセットはマルチタスク学習もサポートしており、モデルが深度とセマンティクスを同時に予測することが可能で、これは現代のニューラルネットワークアーキテクチャで一般的である。
研究への影響
公開以来、NYU Depth V2は屋内シーン理解の基盤となっている。数百の論文で使用されており、初期の残差ネットワークベースのエンコーダや、後のトランスフォーマーベースのモデルを含む。このデータセットの深度マップは、3D再構成やシーン補完タスクにも利用されている。その人気は、現実的な屋内環境と、密なラベルと大規模なラベルなしデータの両方が利用可能であることに由来し、半教師あり学習や自己教師あり学習技術を可能にしている。研究者らはまた、ラベルなしフレームをデータ拡張や対比学習を用いたモデルの事前訓練に使用している。
制限と拡張
このデータセットには、反射面や暗い表面での深度マップのセンサーノイズや、住宅のインテリアへの偏りなど、既知の制限がある。40クラスのラベルセットは粗く、多くの細かいカテゴリを統合している。これらの問題に対処するため、改善されたラベルを持つNYU Depth V2や合成データセットなどの拡張が提案されている。これらの課題にもかかわらず、NYU Depth V2は屋内知覚アルゴリズムの比較における参照点であり続けており、その影響はロボティクスやアマゾンウェブサービスのクラウドベースのビジョンサービスなどの商用アプリケーションにも及んでいる。
関連項目
- 機械学習
- コンピュータビジョン（リストにはないが関連）
- U-Net
- バッチ正規化