COCO-Panoptic est un ensemble de données de référence et une métrique d'évaluation pour la segmentation panoptique, une tâche de vision par ordinateur qui unifie la segmentation sémantique (classification de chaque pixel en une catégorie) et la segmentation d'instances (détection et segmentation d'instances d'objets individuelles). Introduit comme une extension de l'ensemble de données Common Objects in Context (COCO), il fournit un moyen standardisé de former et d'évaluer des modèles qui prédisent à la fois les « stuff » (régions d'arrière-plan amorphes comme le ciel, l'herbe et la route) et les « things » (objets dénombrables comme les personnes, les voitures et les animaux) en une seule sortie. Ce benchmark est devenu une norme de facto dans le domaine, stimulant les progrès en matière de compréhension de scène pour des applications telles que la conduite autonome, la robotique et la réalité augmentée.
Le benchmark a été proposé dans l'article de 2019 « Panoptic Segmentation » par Alexander Kirillov, Kaiming He, Ross Girshick et Piotr Dollár, présenté à la conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes (CVPR). Les auteurs ont défini la segmentation panoptique comme une nouvelle tâche et ont créé COCO-Panoptic en ré-annotant un sous-ensemble de l'ensemble de données COCO existant. L'ensemble de données contient 118 000 images d'entraînement, 5 000 images de validation et 20 000 images de test, dérivées des divisions train/val/test originales de COCO. Il comprend des annotations pour 80 classes de « things » (les catégories d'objets originales de COCO) et 53 classes de « stuff », totalisant 133 catégories. Les annotations de « stuff » ont été ajoutées sous forme d'étiquettes denses par pixel pour des régions telles que l'eau, le sol et le ciel, qui n'étaient auparavant pas étiquetées dans les annotations d'instances de COCO.
COCO-Panoptic a introduit une métrique d'évaluation unifiée appelée Panoptic Quality (PQ). PQ combine la qualité de segmentation et la qualité de reconnaissance en un seul score, calculé comme le produit de la qualité de détection (DQ) et de la qualité de segmentation (SQ). Pour chaque classe, PQ est calculé en faisant correspondre les segments prédits et les segments de vérité terrain (avec un seuil IoU de 0,5), en additionnant les vrais positifs, et en divisant par la somme des vrais positifs plus la moitié des faux positifs et des faux négatifs. La métrique traite les « stuff » et les « things » de manière égale, évitant les biais envers l'un ou l'autre. Cette conception encourage les modèles à bien performer à la fois sur les petits objets et les grandes régions d'arrière-plan, un défi clé en segmentation panoptique.
Définition de la tâche et relation avec les travaux antérieurs
La segmentation panoptique se situe entre la segmentation sémantique et la segmentation d'instances. La segmentation sémantique attribue une étiquette de classe à chaque pixel mais ne distingue pas les objets individuels au sein d'une classe (par exemple, deux voitures sont fusionnées). La segmentation d'instances identifie chaque objet séparément mais ignore généralement les régions d'arrière-plan non étiquetées. La segmentation panoptique produit une seule étiquetage où chaque pixel est soit une instance de « thing » (avec un ID) soit une classe de « stuff », fournissant une description complète de la scène. Le benchmark COCO-Panoptic a formalisé cette tâche, en s'appuyant sur des travaux antérieurs sur la segmentation combinée. Notamment, l'ensemble de données utilise les mêmes images que COCO, garantissant la compatibilité avec les modèles et outils existants, tout en étendant la granularité des annotations.
Statistiques de l'ensemble de données et processus d'annotation
Le pipeline d'annotation de COCO-Panoptic a impliqué un effort humain considérable. Les classes de « stuff » ont été annotées en deux étapes : d'abord, des travailleurs participatifs ont dessiné des polygones pour chaque région de « stuff » sur les images en couleur ; ensuite, des réviseurs de contrôle qualité ont corrigé les chevauchements et les frontières. Chaque annotation est stockée sous forme de masque PNG à canal unique avec des identifiants de classe sur 16 bits. L'ensemble de données comprend à la fois des fichiers JSON « panoptic » (contenant des informations sur les segments) et des images de masques denses. Les étiquettes de segmentation d'instances originales de COCO ont été conservées pour les « things », mais là où les masques d'instances chevauchaient des régions de « stuff » (par exemple, une personne debout sur un trottoir), l'étiquette de « stuff » en dessous a été exclue du masque de « thing », garantissant des étiquettes exclusives par pixel. Cet étiquetage méticuleux a abouti à un ensemble de données avec un accord intra- et inter-évaluateurs élevé, comme rapporté dans l'article accompagnant (le PQ des annotateurs humains a été utilisé comme plafond de référence).
Évaluation et défis
COCO-Panoptic a introduit un serveur d'évaluation officiel, permettant aux chercheurs de soumettre des prédictions et de recevoir des scores PQ sur les 133 classes. Le défi pour atteindre un PQ élevé réside dans la gestion des grandes régions de « stuff » amorphes (qui nécessitent un contexte global) et des instances de « things » petites et denses (qui nécessitent des frontières précises). Les premières lignes de base ont étendu des architectures existantes, telles que les extracteurs de caractéristiques basés sur Residual Network (ResNet) et les décodeurs de style U-Net, mais la tâche a motivé des conceptions novatrices. Par exemple, certaines méthodes utilisent des têtes séparées pour les « stuff » et les « things », puis fusionnent les résultats, tandis que d'autres adoptent des approches de bout en bout basées sur des transformeurs (par exemple, Mask2Former). Le benchmark a été déterminant pour comparer les méthodes sur un pied d'égalité, avec des scores maximaux passant d'environ 42 PQ sur l'ensemble de validation en 2019 à plus de 60 PQ dans les modèles de pointe récents. La métrique est également robuste au déséquilibre des classes, car chaque classe contribue de manière égale, ce qui est crucial car les classes de « stuff » comme « ciel » couvrent beaucoup plus de pixels que les instances de « brosse à dents ».
Impact et benchmarks connexes
Le succès de COCO-Panoptic a influencé les ensembles de données et les tâches ultérieurs. Il a été étendu à la vidéo (par exemple, Cityscapes-VPS) et adopté dans des applications du monde réel. Le benchmark s'aligne sur les objectifs de la recherche en Artificial intelligence et en Deep learning, où la perception holistique est une étape vers les agents incarnés. Notamment, les annotations COCO-Panoptic sont utilisées dans l'ensemble de données COCO-Stuff (qui fournit des étiquettes de « stuff » uniquement pour toutes les images COCO) et ont été incorporées dans les boîtes à outils de Data Augmentation des frameworks majeurs comme Detectron2 et MMDetection. La métrique d'évaluation PQ a été largement adoptée, de nombreux articles la rapportant aux côtés de métriques traditionnelles comme l'Intersection sur Union moyenne (mIoU) et la Précision Moyenne (AP). En 2025, COCO-Panoptic reste le benchmark de segmentation panoptique le plus cité, bien que des ensembles de données plus récents comme ADE20K et Cityscapes offrent également des annotations panoptiques, utilisant souvent PQ pour la comparaison. Les principes de conception du benchmark, en particulier la métrique unifiée et l'intégration « stuff »/« things », sont devenus un modèle pour les tâches modernes de compréhension de scène.
Directions futures
La recherche en cours aborde les limitations de COCO-Panoptic, telles que ses 133 catégories fixes et ses images statiques. Les extensions incluent la segmentation panoptique à vocabulaire ouvert (utilisant des embeddings de Large language model pour reconnaître des classes non vues) et la segmentation panoptique sur des flux vidéo. Les idées centrales du benchmark, cependant, restent influentes : il démontre qu'un ensemble de données soigneusement annoté, équilibré et avec une seule métrique significative peut accélérer un domaine. Les chercheurs continuent d'utiliser COCO-Panoptic pour pré-entraîner des modèles, et ses poids ou caractéristiques sont souvent transférés à des tâches en aval comme les transformeurs basés sur Cross-Attention. À mesure que les architectures de Neural network évoluent, le benchmark fournit un étalon stable, garantissant que les progrès sont mesurés de manière cohérente.