La détection COCO est une tâche de référence en vision par ordinateur qui évalue la capacité d'un modèle de détection d'objets à identifier et à localiser des objets dans une image. La tâche est définie par le jeu de données Common Objects in Context (COCO), qui contient plus de 200 000 images avec plus de 1,5 million d'instances d'objets annotées avec des boîtes englobantes et des étiquettes de catégorie. La tâche de détection exige spécifiquement qu'un modèle produise une boîte englobante et une étiquette de classe pour chaque instance d'objet des 80 catégories définies présentes dans une image. C'est l'un des benchmarks les plus largement utilisés pour mesurer les progrès en détection d'objets, aux côtés de tâches comme la segmentation d'instances et la détection de points clés qui utilisent le même jeu de données sous-jacent.
La métrique d'évaluation du benchmark est la précision moyenne (mAP), calculée à plusieurs seuils d'Intersection sur Union (IoU). La métrique principale, souvent notée mAP@[0.5:0.95], fait la moyenne de la précision sur des seuils IoU allant de 0,5 à 0,95 par pas de 0,05. Cette métrique stricte récompense une localisation précise, pas seulement une détection grossière. Le défi de détection COCO a été un moteur central de l'innovation dans les architectures de détection basées sur l'apprentissage profond depuis son introduction en 2015, avec des classements suivant l'amélioration rapide des premiers modèles convolutifs aux détecteurs modernes basés sur les transformeurs.
Jeu de données et annotation
Le jeu de données COCO a été publié pour la première fois en 2014 par une équipe de Microsoft Research, dirigée par Tsung-Yi Lin et d'autres. Il a été conçu pour remédier aux limitations des jeux de données antérieurs comme PASCAL VOC en incluant plus d'objets par image, des objets plus petits et des scènes plus complexes avec des relations contextuelles. Les 80 catégories d'objets couvrent des objets courants tels que personne, vélo, voiture, chien et tasse, ainsi que des classes plus spécifiques comme feu de circulation, bouche d'incendie et snowboard. Les annotations sont fournies sous forme de boîtes englobantes alignées sur les axes, chaque boîte étant définie par les coordonnées de son coin supérieur gauche, sa largeur et sa hauteur. Le jeu de données est divisé en ensembles d'entraînement (environ 118 000 images), de validation (5 000 images) et de test, les annotations de l'ensemble de test étant retenues pour l'évaluation du défi.
Évolution des modèles de détection
Les approches de pointe initiales sur la détection COCO reposaient sur des détecteurs en deux étapes, notamment la famille Faster R-CNN introduite par Shaoqing Ren, Kaiming He et leurs collègues en 2015. Ces modèles proposent d'abord des régions candidates à l'aide d'un réseau de proposition de régions, puis classifient et affinent chaque proposition. L'introduction de l'architecture ResNet en 2015 a fourni une colonne vertébrale qui a considérablement amélioré l'extraction de caractéristiques, faisant passer la mAP COCO d'environ 21 % à plus de 37 % d'ici 2017. Les détecteurs en une étape comme YOLO et SSD offraient des avantages en termes de vitesse mais accusaient initialement un retard en précision. L'adoption des réseaux de pyramides de caractéristiques (FPN) en 2017 a permis la fusion multi-échelle des caractéristiques, réduisant l'écart. D'ici 2018, des modèles comme Mask R-CNN, une extension de Faster R-CNN, ont atteint une mAP supérieure à 39 % tout en effectuant également la segmentation d'instances.
Détecteurs basés sur les transformeurs
Un changement majeur s'est produit en 2020 avec l'introduction du transformeur de détection (DETR) par une équipe de Meta AI (alors Facebook AI Research). DETR a reformulé la détection d'objets comme un problème de prédiction d'ensemble, utilisant une architecture encodeur-décodeur Transformeur et une perte d'appariement bipartite pour produire directement un nombre fixe de prédictions. Cela a éliminé le besoin de composants artisanaux comme les boîtes d'ancrage et la suppression non maximale. Bien que DETR ait initialement eu une convergence plus lente, des variantes ultérieures telles que Deformable DETR (2021) ont amélioré l'efficacité d'entraînement et la précision. D'ici 2023, les détecteurs basés sur les transformeurs comme DINO et RT-DETR ont constamment surpassé leurs homologues convolutifs sur le benchmark COCO, atteignant des valeurs de mAP supérieures à 50 % sur l'ensemble test-dev. Ces modèles exploitent les mécanismes d'attention multi-têtes pour capturer le contexte global, ce qui est particulièrement bénéfique pour détecter les objets petits et occlus.
Entraînement et augmentation de données
Atteindre des performances élevées sur la détection COCO nécessite des stratégies d'entraînement minutieuses. La pratique standard consiste à initialiser la colonne vertébrale avec des poids pré-entraînés sur ImageNet, puis à affiner sur COCO. L'augmentation de données joue un rôle critique ; les techniques courantes incluent le retournement horizontal aléatoire, la mise à l'échelle aléatoire et le décalage de couleur. Des méthodes plus avancées comme Mosaic et MixUp, popularisées par YOLOv4, combinent plusieurs images pour améliorer la robustesse. L'entraînement utilise typiquement les optimiseurs Adam ou SGD avec un programme de taux d'apprentissage qui inclut un échauffement et une décroissance cosinusoïdale. La normalisation par lots est standard dans les colonnes vertébrales convolutives, tandis que la normalisation de couche est utilisée dans les têtes basées sur les transformeurs. Le processus d'entraînement est intensif en calcul, nécessitant souvent plusieurs GPU pendant plusieurs jours. Par exemple, un modèle DETR typique entraîné sur 8 GPU V100 prend environ 3 jours pour converger.
Impact et benchmarks connexes
La détection COCO est devenue la norme de facto pour évaluer la recherche en détection d'objets, avec des milliers d'articles rapportant des résultats sur son ensemble de validation. Son influence s'étend à des tâches connexes : le même jeu de données prend en charge la segmentation d'instances (segmentation COCO), la détection de points clés (points clés COCO) et la segmentation panoptique. Le benchmark a également stimulé des applications pratiques dans des domaines comme la conduite autonome, la robotique et l'imagerie médicale, où une localisation précise est critique. La communauté du apprentissage automatique continue d'utiliser COCO comme point de référence, bien que des jeux de données plus récents comme LVIS et Objects365 offrent plus de catégories ou une échelle plus grande. Le défi reste actif, avec des ateliers annuels lors de grandes conférences comme CVPR et ECCV, et le classement est une cible courante pour les équipes de recherche académiques et industrielles.
Limites et critiques
Malgré sa popularité, la détection COCO présente des limitations connues. Les 80 catégories sont fixes et ne couvrent pas de nombreux objets du monde réel, et le jeu de données présente un biais vers des objets bien centrés et clairement visibles. La métrique mAP peut être sensible à de petits changements dans les seuils de confiance, et les annotations de l'ensemble de test ne sont pas publiques, ce qui peut conduire à un surapprentissage sur l'ensemble de validation. Certains chercheurs ont noté que les performances sur COCO ne se traduisent pas toujours dans d'autres domaines, comme l'imagerie aérienne ou sous-marine. De plus, le benchmark ne mesure pas explicitement la vitesse d'inférence ou le coût computationnel, bien que de nombreux articles les rapportent séparément. Ces problèmes ont motivé la création de benchmarks alternatifs comme Open Images et le plus récent EgoObjects, qui visent à combler certaines de ces lacunes.