COCO-Stuff est un ensemble de données à grande échelle pour la segmentation sémantique et la compréhension de scènes, créé comme une extension de l'ensemble de données Microsoft Common Objects in Context (COCO). Il enrichit les annotations existantes de COCO pour les objets discrets (appelés « choses ») avec des étiquettes denses au niveau du pixel pour les régions d'arrière-plan amorphes (appelées « matières »), telles que le ciel, l'herbe, les routes et les murs. Ce schéma d'annotation double permet aux modèles de reconnaître simultanément les objets comptables et les matériaux d'arrière-plan non comptables, ce qui est essentiel pour des tâches comme la conduite autonome, la robotique et la génération de légendes d'images.
L'ensemble de données a été introduit en 2018 par des chercheurs de l'Université de Fribourg, dirigés par Alexander Kirillov, et est depuis devenu une référence standard en vision par ordinateur. Il s'appuie sur les divisions train/validation de COCO 2017, ajoutant 172 catégories de matières aux 80 catégories de choses originales, pour un total de 182 classes sémantiques. Les annotations ont été produites par une combinaison d'algorithmes automatisés et de vérification humaine, garantissant une haute qualité tout en maintenant le coût de l'étiquetage manuel à un niveau gérable.
Structure des annotations
COCO-Stuff fournit deux types d'annotations : des masques au niveau du pixel pour chaque catégorie de matières et les masques d'instances COCO originaux pour les choses. Les catégories de matières sont organisées hiérarchiquement, avec 172 classes couvrant des arrière-plans naturels (par exemple, eau, montagne) et artificiels (par exemple, bâtiment, clôture). Chaque image de l'ensemble de données possède un masque de matières unique qui attribue un identifiant de classe à chaque pixel, y compris une étiquette « vide » pour les régions non étiquetées ou ambiguës. Cette structure permet à la fois la segmentation sémantique (où chaque pixel est classifié) et la segmentation panoptique (où les choses et les matières sont combinées en une sortie unifiée).
Rôle de référence
COCO-Stuff est largement utilisé comme référence pour évaluer les algorithmes de segmentation sémantique. La métrique d'évaluation standard est l'Intersection sur Union moyenne (mIoU) sur toutes les 172 classes de matières, avec un rapport séparé pour les classes de choses lors de l'utilisation du paramètre complet de 182 classes. Les modèles entraînés sur COCO-Stuff servent souvent de backbones pré-entraînés pour d'autres tâches, telles que la segmentation d'instances ou la génération de graphes de scènes. La diversité de l'ensemble de données - couvrant 80 catégories d'objets et 172 types d'arrière-plans sur 164 000 images - en fait un test difficile pour la généralisation, car les modèles doivent gérer des classes de matières rares comme « gratte-ciel » ou « rivière » qui apparaissent dans peu d'échantillons d'entraînement.
Relation avec d'autres ensembles de données
COCO-Stuff complète d'autres ensembles de données de segmentation comme ADE20K et Cityscapes. Alors qu'ADE20K offre un ensemble plus large de 150 catégories (incluant à la fois les choses et les matières), COCO-Stuff fournit des annotations de choses plus détaillées héritées de COCO. Cityscapes se concentre sur les scènes de conduite urbaine avec 30 classes, tandis que COCO-Stuff couvre des scènes quotidiennes générales. Cela fait de COCO-Stuff un juste milieu : il a l'échelle de COCO (avec plus de 200 000 images) mais ajoute la compréhension de l'arrière-plan qui manque aux ensembles de données de détection d'objets purs. Les chercheurs utilisent souvent COCO-Stuff pour entraîner des modèles qui sont ensuite affinés sur des ensembles de données spécifiques à un domaine, en tirant parti de sa couverture d'arrière-plans diversifiée.
Impact technique
COCO-Stuff a stimulé des avancées dans plusieurs domaines de l'Deep learning. Il a été déterminant dans le développement de la segmentation panoptique, une tâche formalisée en 2019 qui unifie la segmentation sémantique et d'instances. Des architectures comme les variantes de U-Net et les encodeurs basés sur ResNet sont couramment évaluées sur cet ensemble de données. L'ensemble de données soutient également la recherche en apprentissage faiblement supervisé, où les modèles apprennent à partir d'étiquettes au niveau de l'image au lieu de masques de pixels, et en adaptation de domaine, où les modèles entraînés sur COCO-Stuff sont testés sur des images du monde réel provenant de distributions différentes. Ses annotations ont été utilisées pour entraîner des modèles pour des applications d'Artificial intelligence dans la conduite autonome et la Robotics, où la compréhension des objets et de leur environnement est critique.
Disponibilité et utilisation
COCO-Stuff est publiquement disponible à des fins de recherche sous les mêmes conditions que l'ensemble de données COCO original. Le dépôt officiel fournit des scripts pour télécharger et prétraiter les annotations, ainsi qu'un code d'évaluation pour le mIoU. L'ensemble de données est hébergé sur le site Web de COCO et est miroité sur des plateformes académiques. En 2024, il reste l'un des ensembles de données les plus cités en vision par ordinateur, avec plus de 2 000 citations. Sa pertinence continue est due au fait qu'aucun ensemble de données aussi volumineux avec des annotations de choses et de matières n'a été publié depuis, ce qui en fait une norme de facto pour évaluer les modèles de compréhension de scènes. Les chercheurs peuvent également accéder à une variante appelée COCO-Stuff 164k, qui fait référence à l'ensemble complet de 164 000 images utilisées dans la division de 2017, par opposition au sous-ensemble de test plus petit de 10 000 images.
Directions futures
Le succès de COCO-Stuff a inspiré des efforts pour l'étendre avec des modalités supplémentaires, telles que la profondeur ou la vidéo. Cependant, en 2025, aucun successeur officiel n'a été publié. Les limitations de l'ensemble de données incluent un biais vers les scènes occidentales et un manque de catégories de matières à grain fin (par exemple, différents types de végétation). Ces lacunes sont abordées par des ensembles de données plus récents comme OpenPanoptic et Halcyon, mais COCO-Stuff reste la référence la plus largement utilisée. Son impact sur la recherche en Machine learning est évident dans les nombreux articles publiés qui rapportent des résultats dessus, et il continue de servir de fondation pour entraîner des modèles qui alimentent des systèmes de Computer vision du monde réel.