PASCAL VOC 2012 est un ensemble de données de référence pour la détection d'objets, la classification et la segmentation, faisant partie de la série de défis PASCAL Visual Object Classes (VOC). Il fournit des images étiquetées couvrant 20 catégories d'objets, avec des annotations pour les tâches de classification, de détection et de segmentation. Publié en 2012, il est devenu une suite d'évaluation standard pour les algorithmes de vision par ordinateur, influençant le développement de modèles d'apprentissage profond tels que ResNet et U-Net.
L'ensemble de données contient 11 530 images pour l'entraînement et la validation, et 10 991 images pour les tests, avec des annotations couvrant 20 classes, notamment les personnes, les animaux, les véhicules et les objets ménagers. Le défi a également introduit un indicateur « difficile » pour les instances ambiguës et un indicateur « tronqué » pour les objets coupés par les limites de l'image. Les annotations de segmentation sont fournies sous forme de masques au niveau du pixel, permettant une évaluation à la fois sémantique et au niveau de l'instance.
Historique et contexte
Les défis PASCAL VOC se sont déroulés de 2005 à 2012, organisés par le PASCAL Network of Excellence, un projet financé par l'Union européenne. L'édition 2012 a été la dernière, et son ensemble de données est devenu un point de référence durable. Avant l'essor d'ensembles de données à grande échelle comme ImageNet et COCO, VOC 2012 était la référence principale pour la détection d'objets et la segmentation. Sa taille relativement petite (par rapport aux ensembles de données ultérieurs) permettait aux chercheurs d'itérer rapidement, mais posait également des défis pour l'entraînement de modèles profonds sans surapprentissage.
Le défi comprenait des tâches de classification (prédiction de la présence d'objets), de détection (boîtes englobantes) et de segmentation (masques au niveau du pixel). Les métriques d'évaluation comprenaient la précision moyenne (AP) pour la détection et l'intersection sur union moyenne (mIoU) pour la segmentation. Le défi de 2012 a attiré de nombreuses équipes académiques et industrielles, et les solutions gagnantes ont souvent repoussé les limites de l'état de l'art.
Structure de l'ensemble de données et annotations
Les images de VOC 2012 proviennent de Flickr et d'autres collections publiques, avec un accent sur les scènes réalistes. Chaque image peut contenir plusieurs objets de différentes catégories. Les annotations sont stockées dans des fichiers XML pour la détection et la classification, et dans des masques PNG pour la segmentation. L'ensemble de données est divisé en sous-ensembles d'entraînement, de validation et de test, les étiquettes de test étant retenues pour l'évaluation officielle. Les chercheurs utilisent souvent les ensembles d'entraînement et de validation pour le développement, et l'ensemble de test pour les rapports finaux.
Les 20 classes d'objets sont : avion, vélo, oiseau, bateau, bouteille, bus, voiture, chat, chaise, vache, table à manger, chien, cheval, moto, personne, plante en pot, mouton, canapé, train et téléviseur/moniteur. L'indicateur « difficile » signale les objets trop petits ou ambigus, et ceux-ci sont généralement exclus de l'évaluation. L'indicateur « tronqué » marque les objets partiellement hors du cadre de l'image.
Impact sur la vision par ordinateur
VOC 2012 a joué un rôle crucial dans le développement des méthodes modernes de détection d'objets et de segmentation. Les premiers détecteurs d'apprentissage profond, tels que R-CNN et ses variantes, ont été évalués sur VOC 2012 et ont montré des améliorations significatives par rapport aux méthodes traditionnelles basées sur des caractéristiques. L'ensemble de données a également popularisé l'utilisation de la précision moyenne (mAP) comme métrique standard, qui reste courante dans le domaine.
Pour la segmentation, VOC 2012 a été une référence clé pour des modèles comme U-Net et plus tard les réseaux entièrement convolutifs. Les annotations au niveau du pixel ont permis aux chercheurs de développer et de comparer des techniques de segmentation sémantique. La taille modérée de l'ensemble de données a encouragé l'utilisation de augmentation de données et de l'apprentissage par transfert à partir d'ensembles de données plus vastes comme ImageNet.
Héritage et utilisation continue
Bien que le défi PASCAL VOC ait pris fin en 2012, l'ensemble de données reste largement utilisé pour la recherche et l'éducation. De nombreux articles rapportent encore des résultats sur VOC 2012, souvent en combinaison avec d'autres références. Il sert de test de cohérence pour les nouveaux modèles et de terrain commun pour comparer les méthodes. L'ensemble de données est également utilisé dans les cours académiques pour enseigner la détection d'objets et la segmentation.
Des ensembles de données ultérieurs, comme COCO, ont une échelle plus grande et plus de catégories, mais VOC 2012 conserve son importance en raison de sa simplicité et de son protocole d'évaluation bien défini. Le serveur d'évaluation officiel, maintenu par l'Université d'Oxford, accepte toujours les soumissions pour l'ensemble de test, garantissant une comparaison cohérente au fil des ans.
Limites et critiques
VOC 2012 a été critiqué pour son nombre limité de catégories et d'images par rapport aux ensembles de données modernes. Les images sont également en résolution relativement basse, ce qui peut entraver l'entraînement de modèles haute résolution. La qualité des annotations est généralement élevée, mais certaines étiquettes contiennent des erreurs ou des incohérences. De plus, l'ensemble de données présente des biais courants dans les images provenant du web, comme la surreprésentation de certaines poses et contextes d'objets.
Malgré ces limites, VOC 2012 reste une ressource précieuse. Sa petite taille permet un prototypage rapide, et ses métriques bien comprises facilitent des comparaisons claires. Les chercheurs l'utilisent souvent comme point de départ avant de passer à des ensembles de données plus vastes.