Semantic Boundaries Dataset（SBD）は、コンピュータビジョンタスク、特に物体境界検出とセマンティックセグメンテーションのために設計されたベンチマークデータセットである。2011年にカリフォルニア大学バークレー校の研究者らによって、PASCAL VOC 2011データセットの拡張として導入された。SBDは、11,355枚の画像にわたって20の物体クラス（例：人、車、飛行機、猫）に対する密なピクセルレベルのアノテーションを提供し、8,498枚のトレーニング画像と2,857枚の検証画像に分割されている。このデータセットは、クラウドソーシングプラットフォームを用いて手動でアノテーションされ、洗練された高品質な境界で知られており、セマンティックセグメンテーションとエッジ検出におけるアルゴリズム評価の標準ベンチマークとなっている。
SBDの主な目的は、画像内のすべてのピクセルにクラスラベルを割り当てることを目標とするセマンティックセグメンテーションの研究を促進することである。バウンディングボックスや粗いマスクを提供する初期のデータセットとは異なり、SBDは正確な物体境界を提供し、モデルが細かい空間的詳細を学習できるようにする。アノテーションは色分けされたクラスラベルを持つPNG形式で保存され、データセットにはインスタンスセグメンテーションや物体検出などのタスクに有用なインスタンスレベルのセグメンテーションマスクも含まれている。SBDは深層学習コミュニティで広く採用され、Fully Convolutional Networks（FCN）、U-Net、および畳み込みニューラルネットワーク（CNN）に基づくさまざまなアーキテクチャなどのモデルのトレーニングセットとして機能している。
データセット構造とアノテーション
SBDは、複数の物体を含む多様なシーンを含むPASCAL VOC 2011チャレンジの画像で構成されている。各画像には、各ピクセルが20の物体クラスまたは背景クラス（クラス0）のいずれかに割り当てられたセグメンテーションマスクが付随している。アノテーションは、クラスレベルのマスク（各ピクセルが単一のクラスラベルを持つ）とインスタンスレベルのマスク（各物体インスタンスが一意に識別される）の2つの形式で提供される。データセットには、セグメンテーションマスクから導出された物体間のエッジを強調する境界マップも含まれている。公式ウェブサイトでは、画像、マスク、メタデータを含む単一のアーカイブ（約1.2 GB）としてデータセットが提供されている。
作成と方法論
このデータセットは、バークレー研究グループの一部としてHariharanら（2011年）によって作成された。アノテーションプロセスは、自動セグメンテーションと手動による洗練の組み合わせを伴っていた。最初に、画像は候補領域を提案するアルゴリズムを使用してセグメンテーションされ、その後、カスタムインターフェースを使用してアノテーターによって手動で修正された。品質を確保するために、各画像は複数のワーカーによってアノテーションされ、不一致は投票メカニズムを通じて解決された。最終的なアノテーションは、一貫性を維持するために元のPASCAL VOCラベルに対して検証された。この方法論により、物体検出にバウンディングボックスを使用していた元のPASCAL VOCデータセットのものよりも正確な高品質な境界が得られた。
応用と影響
SBDは、セマンティックセグメンテーションモデルを評価するための事実上の標準となっている。これは、SBDがトレーニングデータとして機能するPASCAL VOCセグメンテーションチャレンジを含む、多くの研究論文やコンペティションで使用されている。このデータセットは、複雑なモデルをトレーニングするのに十分な規模のコーパスを提供するため、セグメンテーションのための深層学習の進歩に大きく貢献してきた。例えば、FCN（Longら、2015年）やDeepLab（Chenら、2017年）のアーキテクチャは、SBDでトレーニングおよび評価された。さらに、SBDは転移学習にも使用され、SBDで事前トレーニングされたモデルは、CityscapesやCOCOなどの他のデータセットで微調整される。データセットはまた、HED（Holistically-Nested Edge Detection）などのモデルがSBDの境界マップでトレーニングされる境界検出の研究もサポートしている。
制限と拡張
その有用性にもかかわらず、SBDには制限がある。データセットは、COCO（20万枚以上の画像を持つ）やOpen Imagesなどの現代の大規模データセットと比較して比較的小さい。画像はまた、PASCAL VOCカテゴリに限定されており、すべての実世界のシナリオをカバーしているとは限らない。さらに、アノテーションは、より多くのクラスと高解像度の画像を含むCityscapesなどの新しいデータセットのものほど密ではない。これらの問題に対処するために、研究者らはSBDを他のデータセットと組み合わせたり、データ拡張技術を使用したりして拡張してきた。例えば、SBDはPASCAL VOC 2012データセットと併用されることが多く、トレーニングセットにSBD画像を追加してモデルのパフォーマンスを向上させる。さらに、ドメイン適応研究のためにSBDの合成バリエーションを作成した研究もある。
入手方法と使用法
SBDは、公式プロジェクトページから研究目的で自由に入手できる。データセットは、画像（JPEG形式）、セグメンテーションマスク（PNG）、およびトレーニングと検証の分割のための画像IDのリストを含むZIPファイルとして配布されている。研究者は通常、データセットをダウンロードし、PyTorchやTensorFlowなどの一般的な深層学習フレームワークで使用する。データセットはまた、組み込みのデータローダーを提供するtorchvisionやGluonCVなどのいくつかのオープンソースライブラリにも統合されている。SBDを使用する際には、元の論文「Semantic Contours from Inverse Detectors」（Bharath Hariharan、Pablo Arbeláez、Lubomir Bourdev、Subhransu Maji、Jitendra Malik著、2011年国際コンピュータビジョン会議（ICCV）で発表）を引用するのが慣例である。
関連項目
- PASCAL VOC
- セマンティックセグメンテーション
- 物体検出
- コンピュータビジョン
- 深層学習
- 畳み込みニューラルネットワーク
- Fully convolutional network
- U-Net
- Cityscapes
- COCO dataset
- Edge detection
- インスタンスセグメンテーション
- 転移学習
- PyTorch
- TensorFlow
- ICCV
- Berkeley
- Hariharan
- Arbeláez
- Malik