Le Semantic Boundaries Dataset (SBD) est un jeu de données de référence pour les tâches de vision par ordinateur, spécifiquement conçu pour la détection de contours d'objets et la segmentation sémantique. Il a été introduit en 2011 par des chercheurs de l'Université de Californie à Berkeley, comme une extension du jeu de données PASCAL VOC 2011. SBD fournit des annotations denses au niveau du pixel pour 20 classes d'objets (par exemple, personne, voiture, avion, chat) sur 11 355 images, avec une répartition de 8 498 images d'entraînement et 2 857 images de validation. Le jeu de données est remarquable pour ses contours de haute qualité, annotés manuellement et affinés via une plateforme de crowdsourcing, ce qui en fait une référence standard pour l'évaluation des algorithmes en segmentation sémantique et en détection de contours.
L'objectif principal de SBD est de faciliter la recherche en segmentation sémantique, où le but est d'attribuer une étiquette de classe à chaque pixel d'une image. Contrairement aux jeux de données antérieurs qui fournissaient des boîtes englobantes ou des masques grossiers, SBD offre des contours d'objets précis, permettant aux modèles d'apprendre des détails spatiaux fins. Les annotations sont stockées au format PNG avec des étiquettes de classe codées en couleur, et le jeu de données inclut également des masques de segmentation au niveau des instances, utiles pour des tâches comme la segmentation d'instances et la détection d'objets. SBD a été largement adopté dans la communauté de l'apprentissage profond, servant de jeu d'entraînement pour des modèles tels que les réseaux entièrement convolutifs (FCN), U-Net, et diverses architectures basées sur les réseaux de neurones convolutifs (CNN).
Structure du jeu de données et annotations
SBD se compose d'images issues du défi PASCAL VOC 2011, qui inclut des scènes variées avec plusieurs objets. Chaque image est accompagnée d'un masque de segmentation où chaque pixel se voit attribuer l'une des 20 classes d'objets ou une classe de fond (classe 0). Les annotations sont fournies sous deux formats : des masques au niveau de la classe (où chaque pixel a une seule étiquette de classe) et des masques au niveau de l'instance (où chaque instance d'objet est identifiée de manière unique). Le jeu de données inclut également des cartes de contours qui mettent en évidence les bords entre les objets, dérivées des masques de segmentation. Le site officiel fournit le jeu de données sous forme d'une archive unique (environ 1,2 Go) contenant les images, les masques et les métadonnées.
Création et méthodologie
Le jeu de données a été créé par Hariharan et al. (2011) dans le cadre du groupe de recherche de Berkeley. Le processus d'annotation a impliqué une combinaison de segmentation automatique et de raffinement manuel. Initialement, les images étaient segmentées à l'aide d'un algorithme pour proposer des régions candidates, qui étaient ensuite corrigées manuellement par des annotateurs utilisant une interface personnalisée. Pour garantir la qualité, chaque image était annotée par plusieurs travailleurs, et les désaccords étaient résolus par un mécanisme de vote. Les annotations finales ont été validées par rapport aux étiquettes originales de PASCAL VOC pour maintenir la cohérence. Cette méthodologie a abouti à des contours de haute qualité, plus précis que ceux du jeu de données PASCAL VOC original, qui utilisait des boîtes englobantes pour la détection d'objets.
Applications et impact
SBD est devenu une norme de facto pour l'évaluation des modèles de segmentation sémantique. Il est utilisé dans de nombreux articles de recherche et compétitions, y compris le défi de segmentation PASCAL VOC, où SBD sert de données d'entraînement. Le jeu de données a été essentiel pour faire progresser l'apprentissage profond en segmentation, car il fournit un corpus suffisamment grand pour entraîner des modèles complexes. Par exemple, les architectures FCN (Long et al., 2015) et DeepLab (Chen et al., 2017) ont été entraînées et évaluées sur SBD. De plus, SBD a été utilisé pour l'apprentissage par transfert, où des modèles pré-entraînés sur SBD sont affinés sur d'autres jeux de données comme Cityscapes ou COCO. Le jeu de données soutient également la recherche en détection de contours, où des modèles comme HED (Holistically-Nested Edge Detection) sont entraînés sur les cartes de contours de SBD.
Limitations et extensions
Malgré son utilité, SBD présente des limitations. Le jeu de données est relativement petit par rapport aux jeux de données modernes à grande échelle comme COCO (avec plus de 200 000 images) ou Open Images. Les images sont également limitées aux catégories de PASCAL VOC, qui peuvent ne pas couvrir tous les scénarios du monde réel. De plus, les annotations ne sont pas aussi denses que celles des jeux de données plus récents comme Cityscapes, qui incluent plus de classes et des images à plus haute résolution. Pour remédier à ces problèmes, les chercheurs ont étendu SBD en le combinant avec d'autres jeux de données ou en utilisant des techniques d'augmentation de données. Par exemple, SBD est souvent utilisé conjointement avec le jeu de données PASCAL VOC 2012, où l'ensemble d'entraînement est augmenté avec des images de SBD pour améliorer les performances du modèle. De plus, certains travaux ont créé des variations synthétiques de SBD pour des études d'adaptation de domaine.
Disponibilité et utilisation
SBD est librement disponible à des fins de recherche sur la page officielle du projet. Le jeu de données est distribué sous forme de fichier ZIP contenant les images (format JPEG), les masques de segmentation (PNG) et une liste d'identifiants d'images pour les répartitions d'entraînement et de validation. Les chercheurs téléchargent généralement le jeu de données et l'utilisent avec des frameworks d'apprentissage profond populaires tels que PyTorch ou TensorFlow. Le jeu de données est également intégré dans plusieurs bibliothèques open source, notamment torchvision et GluonCV, qui fournissent des chargeurs de données intégrés. Lors de l'utilisation de SBD, il est habituel de citer l'article original : « Semantic Contours from Inverse Detectors » par Bharath Hariharan, Pablo Arbeláez, Lubomir Bourdev, Subhransu Maji et Jitendra Malik, présenté à la Conférence internationale sur la vision par ordinateur (ICCV) de 2011.
Voir aussi
- PASCAL VOC
- Segmentation sémantique
- Détection d'objets
- Vision par ordinateur
- Apprentissage profond
- Réseau de neurones convolutif
- Réseau entièrement convolutif
- U-Net
- Cityscapes
- Jeu de données COCO
- Détection de contours
- Segmentation d'instances
- Apprentissage par transfert
- PyTorch
- TensorFlow
- ICCV
- Berkeley
- Hariharan
- Arbeláez
- Malik