La segmentation d'instances COCO est une tâche de référence en vision par ordinateur définie par le jeu de données Microsoft COCO (Common Objects in Context). L'objectif est de détecter chaque instance d'un objet dans une image et de produire un masque au niveau du pixel qui délimite précisément chaque instance, en distinguant les objets séparés de la même classe. La tâche couvre 80 classes « chose », qui sont des objets comptables tels que personne, voiture et chien, par opposition aux classes « matière » comme ciel ou herbe. Elle est largement utilisée pour évaluer la performance des modèles de apprentissage profond dans des tâches qui nécessitent à la fois la localisation et une compréhension spatiale fine.
Le jeu de données COCO a été publié pour la première fois en 2014 par une équipe de Microsoft, avec les annotations de segmentation d'instances ajoutées dans la version de 2015. Le jeu de données contient plus de 200 000 images, avec plus de 1,5 million d'instances d'objets étiquetées avec des polygones définissant leurs limites. La métrique d'évaluation officielle est la précision moyenne (AP) moyennée sur des seuils d'Intersection sur Union (IoU) de 0,5 à 0,95 par pas de 0,05, avec des métriques supplémentaires pour les objets petits, moyens et grands. Cette métrique, souvent appelée AP COCO, est devenue la norme de facto pour comparer les modèles de segmentation d'instances.
Évolution des modèles
Les premières approches de la segmentation d'instances se sont appuyées sur des cadres de détection d'objets. L'architecture Mask R-CNN, introduite en 2017 par Kaiming He et ses collègues de Facebook AI Research, a étendu le détecteur Faster R-CNN en ajoutant une branche qui prédit des masques de segmentation en parallèle de la régression des boîtes englobantes. Mask R-CNN a obtenu des améliorations significatives par rapport aux méthodes antérieures et a établi une référence solide, atteignant environ 35 AP sur l'ensemble de test COCO. Son succès a popularisé l'utilisation de backbones ResNet avec des réseaux de pyramides de caractéristiques pour l'extraction multi-échelle.
Les modèles suivants ont amélioré la précision et l'efficacité. YOLACT, introduit en 2019, a proposé une approche en temps réel qui génère des masques prototypes et les combine avec des coefficients par instance, obtenant une inférence plus rapide au prix d'une certaine précision. En 2020, la variante Cascade Mask R-CNN a amélioré l'AP en appliquant une cascade de détecteurs. Le modèle DETR, introduit en 2020 par Facebook AI, a utilisé une architecture encodeur-décodeur transformeur pour traiter la détection d'objets comme un problème de prédiction d'ensembles, éliminant des composants artisanaux comme les boîtes d'ancrage et la suppression non maximale. DETR et ses successeurs, tels que Mask2Former (2021), ont unifié les tâches de segmentation d'instances, panoptique et sémantique sous un cadre unique de classification de masques.
Évaluation et métriques
La métrique principale pour la segmentation d'instances COCO est la précision moyenne (AP), calculée en triant tous les masques prédits par confiance et en mesurant la précision et le rappel à différents seuils IoU. L'évaluation officielle COCO rapporte également l'AP à IoU 0,50 et 0,75 séparément, ainsi que l'AP pour différentes tailles d'objets : petits (surface inférieure à 32^2 pixels), moyens (entre 32^2 et 96^2) et grands (supérieure à 96^2). Le défi suit également le rappel moyen (AR) avec un nombre fixe de détections par image. Ces métriques permettent des comparaisons nuancées, car les modèles peuvent exceller dans la détection de grands objets tout en ayant des difficultés avec les petits.
L'ensemble test-dev COCO est utilisé pour le défi annuel, mais les chercheurs rapportent souvent des résultats sur l'ensemble de validation (val2017) pour une itération plus rapide. Le jeu de données est divisé en train2017 (environ 118 000 images) et val2017 (5 000 images). Le serveur d'évaluation officiel impose une évaluation cohérente, mais de nombreux articles utilisent également la bibliothèque pycocotools localement pour calculer les métriques.
Applications et impact
La segmentation d'instances est essentielle pour les applications qui nécessitent des limites d'objets précises, telles que la conduite autonome, la robotique, l'imagerie médicale et la réalité augmentée. Dans la conduite autonome, segmenter les piétons, les véhicules et les objets routiers aide les systèmes de perception à comprendre les scènes. En robotique, les masques au niveau du pixel permettent la saisie et la manipulation d'objets spécifiques. Le benchmark COCO a stimulé des progrès rapides dans ces domaines, avec des modèles de pointe passant d'environ 35 AP en 2017 à plus de 60 AP en 2024, en grande partie grâce aux avancées dans les architectures de réseaux de neurones, les techniques de augmentation de données et les stratégies d'entraînement.
La tâche sert également de fondement à des problèmes connexes. La segmentation panoptique combine la segmentation d'instances et sémantique, exigeant que les modèles étiquettent chaque pixel avec à la fois une classe et un identifiant d'instance. Le jeu de données COCO a été étendu pour inclure des annotations panoptiques, et des modèles comme Mask2Former gèrent les deux tâches. De plus, la segmentation d'instances est utilisée dans les modèles génératifs pour l'édition d'images, où des masques précis permettent des modifications ciblées.
Défis et limites
Malgré les progrès, la segmentation d'instances COCO reste difficile. Les petits objets sont particulièrement difficiles en raison des informations de pixels limitées, et les instances occluses ou qui se chevauchent peuvent confondre les modèles. Les 80 classes « chose » sont déséquilibrées, avec des classes courantes comme personne et voiture dominant, tandis que des classes rares comme sèche-cheveux et brosse à dents ont peu d'exemples. Le jeu de données présente également des biais, tels qu'une prédominance d'images provenant de contextes occidentaux, ce qui peut affecter la généralisation des modèles. En 2025, les chercheurs continuent de traiter ces problèmes grâce à de meilleures fonctions de perte, à l'élagage de modèles pour l'efficacité et au développement de jeux de données plus vastes et plus diversifiés.
Une autre limite est le coût de calcul élevé de l'entraînement des modèles de pointe, qui nécessite souvent plusieurs GPU et des jours d'entraînement. Cela a suscité un intérêt pour les architectures efficaces et les techniques d'élagage. Le benchmark COCO reste un outil clé pour mesurer les progrès, mais certains soutiennent qu'il sature, ce qui a conduit à la création de benchmarks plus difficiles comme LVIS (Large Vocabulary Instance Segmentation), qui compte plus de 1 200 classes.
Voir aussi
- U-Net - une architecture populaire pour la segmentation sémantique
- Augmentation de données - techniques utilisées pour améliorer la généralisation des modèles
- Réseaux résiduels - architectures de backbone couramment utilisées dans les modèles de segmentation
- Fonctions de perte - y compris la perte de masque et la perte de boîte englobante