COCO Keypoints est un sous-ensemble du jeu de données Microsoft Common Objects in Context (COCO), spécifiquement conçu pour les tâches d'estimation de pose humaine et de détection de points clés. Il fournit des annotations détaillées de 17 articulations du corps - y compris le nez, les yeux, les oreilles, les épaules, les coudes, les poignets, les hanches, les genoux et les chevilles - pour des instances de personnes dans diverses images du monde réel. Ce jeu de données est devenu une référence standard dans le domaine de la vision par ordinateur et de l'intelligence artificielle, permettant aux chercheurs de former et d'évaluer des modèles qui localisent les parties du corps humain dans des environnements non contraints.
Le jeu de données COCO Keypoints a été introduit aux côtés du jeu de données principal COCO en 2014 par des chercheurs de Microsoft. Il contient plus de 200 000 instances de personnes avec des annotations de points clés, tirées de plus de 118 000 images d'entraînement et de 5 000 images de validation. Chaque point clé est étiqueté avec un indicateur de visibilité (visible, occlus ou non étiqueté), permettant aux modèles de gérer les occlusions partielles. Les annotations suivent un format strict où les points clés sont ordonnés de manière cohérente, et chaque instance de personne est également fournie avec une boîte englobante et un masque de segmentation.
Format d'annotation et qualité
Chaque annotation de personne dans COCO Keypoints comprend une liste de 17 points clés, représentés sous forme de triplets (x, y, visibilité). L'indicateur de visibilité prend les valeurs 0 (non étiqueté), 1 (étiqueté mais occlus) et 2 (étiqueté et visible). Cette étiquetage granulaire prend en charge des métriques d'évaluation qui distinguent la précision de détection de la précision de localisation. Le jeu de données a été annoté par des annotateurs professionnels utilisant un outil personnalisé, avec des processus de contrôle qualité pour garantir la cohérence. L'ordre des points clés suit une séquence anatomique fixe, ce qui simplifie le formatage de sortie et l'évaluation des modèles.
Métriques d'évaluation
La principale métrique d'évaluation pour COCO Keypoints est la Similarité de Points Clés d'Objet (OKS), qui mesure la distance entre les points clés prédits et ceux de vérité terrain, normalisée par l'échelle de la personne. La métrique standard est la Précision Moyenne (AP) calculée sur plusieurs seuils OKS (0,50, 0,75 et 0,90). Cette métrique tient compte de la difficulté de localisation des points clés par rapport à la taille de la personne. Le défi COCO Keypoints, organisé annuellement de 2016 à 2019, a attiré de nombreuses équipes de recherche et a stimulé des avancées significatives dans les architectures d'estimation de pose.
Impact sur la recherche en estimation de pose
COCO Keypoints a joué un rôle déterminant dans l'avancement des approches de apprentissage profond pour l'estimation de pose. Les premières méthodes utilisaient des backbones de réseaux résiduels avec des têtes de déconvolution, tandis que les approches ultérieures ont intégré des architectures de transformeurs et une fusion de caractéristiques multi-échelles. La diversité du jeu de données - y compris des images avec des arrière-plans complexes, un éclairage varié et plusieurs personnes - a poussé les modèles au-delà des paramètres contrôlés simples. De nombreux systèmes de pointe, tels que ceux basés sur des variantes de U-Net et des mécanismes d'attention, ont été évalués sur ce jeu de données. La disponibilité de ces données étiquetées de haute qualité a été cruciale pour l'apprentissage supervisé, car produire de telles annotations manuellement est coûteux et chronophage.
Extensions et jeux de données associés
Plusieurs extensions de COCO Keypoints ont été développées pour des tâches spécialisées. Le jeu de données COCO-WholeBody ajoute 133 points clés, y compris des annotations du visage, des mains et des pieds. Le jeu de données CrowdPose se concentre sur les scènes bondées avec plusieurs personnes interagissant. Les annotations de COCO Keypoints ont également été utilisées pour générer des pseudo-étiquettes pour l'apprentissage semi-supervisé et pour pré-entraîner des modèles pour d'autres tâches liées à la pose, telles que la reconnaissance d'actions et l'interaction homme-machine. Le jeu de données reste largement utilisé dans la recherche académique et les applications industrielles, y compris la robotique, l'analyse sportive et la surveillance de la santé.
Disponibilité et utilisation
COCO Keypoints est librement disponible à des fins de recherche sous la licence COCO. Les annotations sont distribuées sous forme de fichiers JSON, et les images proviennent de Flickr. Le jeu de données est hébergé sur le site Web de COCO et peut être accédé via divers cadres et outils de apprentissage automatique. De nombreuses bibliothèques open-source fournissent des utilitaires pour charger et traiter les données COCO Keypoints, le rendant accessible aux chercheurs du monde entier. Le jeu de données a été cité dans des milliers de publications évaluées par des pairs, reflétant son rôle central dans le développement des algorithmes d'estimation de pose.