Segmentation panoptique est une tâche de vision par ordinateur qui combine la segmentation sémantique (attribuer une étiquette de classe à chaque pixel) et la segmentation d’instances (distinguer les occurrences individuelles d’objets) en un cadre unifié. Introduite par Alexander Kirillov et al. en 2018, l’approche panoptique vise à fournir une compréhension complète et cohérente d’une scène. Contrairement à la segmentation sémantique, qui traite uniformément tous les pixels d’une même classe, la segmentation panoptique différencie les instances distinctes d’une même classe (par exemple, des personnes ou des voitures individuelles). Contrairement à la segmentation d’instances, qui se concentre généralement uniquement sur les « choses » (objets dénombrables), la segmentation panoptique couvre également la « matière » (régions de fond amorphes comme le ciel, la route ou l’herbe). Cette approche holistique permet des applications telles que la conduite autonome, la robotique et la réalité augmentée, en percevant simultanément des informations au niveau des objets et au niveau de la scène.
Contexte et motivation
Les méthodes traditionnelles de segmentation d’images se répartissent en deux catégories : la segmentation sémantique et la segmentation d’instances. La segmentation sémantique attribue une étiquette de classe à chaque pixel, mais elle ne différencie pas les multiples occurrences d’une même classe. La segmentation d’instances, quant à elle, détecte et délimite chaque objet distinct, mais elle ignore souvent les régions de fond. Cette dichotomie crée une lacune dans la compréhension de la scène, car de nombreuses applications réelles nécessitent à la fois des informations au niveau des objets et au niveau des régions. La segmentation panoptique comble cette lacune en fournissant une sortie unifiée qui inclut à la fois les « choses » (objets dénombrables) et la « matière » (régions non dénombrables). La tâche a été formalisée dans l’article de 2018 « Panoptic Segmentation » de Kirillov et al., qui a également introduit la métrique de qualité panoptique (Panoptic Quality, PQ) pour l’évaluation.
Approche technique
Les méthodes de segmentation panoptique emploient généralement des architectures d’apprentissage profond, souvent basées sur des réseaux de neurones convolutifs (CNN) ou des transformeurs. Une approche courante implique une conception à deux branches : l’une gère la segmentation sémantique, produisant une carte de probabilités par classe pour chaque pixel, tandis que l’autre gère la segmentation d’instances, générant des propositions d’objets et des masques. Ces sorties sont ensuite fusionnées à l’aide d’un module de fusion qui résout les conflits (par exemple, les régions qui se chevauchent) et attribue un identifiant d’instance unique à chaque objet. Les méthodes récentes de pointe, telles que Panoptic FPN (Feature Pyramid Network) et Mask2Former, utilisent des architectures basées sur les transformeurs pour prédire conjointement les étiquettes de classe et les masques d’instances dans un cadre unifié. Ces modèles sont entraînés sur des ensembles de données à grande échelle comme COCO (Common Objects in Context) et Cityscapes, qui fournissent des annotations pour les catégories de choses et de matière.
Applications
La segmentation panoptique a de nombreuses applications pratiques. Dans la conduite autonome, elle permet aux véhicules d’identifier non seulement les piétons, les véhicules et les panneaux de signalisation (choses), mais aussi les voies, les trottoirs et le ciel (matière), facilitant ainsi la navigation. En robotique, elle aide les robots à comprendre et à interagir avec des environnements encombrés en distinguant les objets individuels des surfaces de fond. En imagerie médicale, la segmentation panoptique peut délimiter des cellules individuelles (instances) au sein de régions tissulaires (matière), aidant au diagnostic et à la recherche. De plus, elle est utilisée en réalité augmentée pour superposer des objets virtuels sur des scènes réelles avec une gestion précise de l’occlusion, et en vidéosurveillance pour suivre plusieurs objets tout en maintenant le contexte de la scène.
Métriques d’évaluation
La métrique principale pour la segmentation panoptique est la qualité panoptique (Panoptic Quality, PQ), introduite par Kirillov et al. La PQ combine la qualité de segmentation (SQ) et la qualité de reconnaissance (RQ). La SQ mesure la similarité moyenne (Intersection over Union, IoU) des segments appariés, tandis que la RQ mesure le score F1 de l’appariement des instances. La PQ est calculée comme le produit de la SQ et de la RQ, moyenné sur toutes les classes. Cette métrique récompense à la fois une segmentation précise au niveau des pixels et une discrimination correcte des instances. D’autres métriques, telles que la qualité de segmentation et la qualité de reconnaissance, sont parfois rapportées séparément pour une analyse détaillée.
Défis et orientations futures
Malgré des progrès significatifs, la segmentation panoptique fait face à plusieurs défis. Le déséquilibre de classes entre les choses et la matière peut biaiser l’entraînement, nécessitant une pondération minutieuse des pertes. La performance en temps réel est critique pour des applications comme la conduite autonome, mais de nombreux modèles de pointe sont lourds en calcul. L’occlusion et le chevauchement d’instances restent difficiles, en particulier dans les scènes bondées. Les orientations futures de la recherche incluent l’amélioration de l’efficacité grâce à la compression de modèles et à la distillation de connaissances, l’incorporation d’informations temporelles pour la segmentation panoptique vidéo, et l’exploitation de l’apprentissage auto-supervisé pour réduire la dépendance aux annotations coûteuses. De plus, l’intégration de la segmentation panoptique avec d’autres tâches, telles que l’estimation de profondeur et la reconstruction 3D, est un domaine d’exploration actif.
Voir aussi
- segmentation sémantique
- segmentation d’instances
- vision par ordinateur
- apprentissage profond
- réseau de neurones convolutif
- transformeur
- conduite autonome
- imagerie médicale
- robotique
- réalité augmentée
- détection d’objets
- segmentation d’images
- ensemble de données COCO
- ensemble de données Cityscapes
- qualité panoptique
- Mask2Former
- Panoptic FPN