LVIS, acronyme de Large Vocabulary Instance Segmentation, est un ensemble de données utilisé en vision par ordinateur et en apprentissage automatique pour évaluer et entraîner des modèles de segmentation d'instances et de détection d'objets. Il a été introduit en 2019 par des chercheurs de Facebook AI Research (désormais partie de Meta AI) pour relever le défi de la reconnaissance visuelle à longue traîne, où la plupart des catégories d'objets dans le monde réel sont rares, alors que les ensembles de données standard se concentrent sur un petit ensemble de classes communes. LVIS fournit un large vocabulaire de 1 203 catégories d'objets, allant d'articles courants comme « banane » à des objets de niche comme « crâne de tricératops », avec plus de 2 millions de masques de segmentation d'instances de haute qualité annotés sur environ 164 000 images provenant de l'ensemble de données COCO. La conception de l'ensemble de données met l'accent sur une annotation exhaustive, ce qui signifie que les annotateurs ont reçu pour instruction de labelliser chaque instance de chaque catégorie présente dans une image, ce qui contraste avec les ensembles de données antérieurs qui ignoraient souvent les objets rares. Cela fait de LVIS un benchmark rigoureux pour les modèles de apprentissage profond, en particulier pour mesurer les performances sur les catégories rares, et il a stimulé la recherche sur des techniques telles que la perte fédérée et le clipping de gradient dynamique pour atténuer l'effet de longue traîne.
La création de LVIS a été motivée par l'observation que les données visuelles du monde réel suivent une distribution de loi de puissance, où quelques catégories (par exemple, « personne », « voiture ») apparaissent fréquemment, tandis que des milliers d'autres n'apparaissent qu'occasionnellement. Les ensembles de données traditionnels comme COCO ou ImageNet avaient soit un nombre limité de catégories, soit ne fournissaient pas de masques au niveau du pixel pour toutes les instances, limitant leur utilité pour la reconnaissance fine. LVIS a été construit en ré-annotant un sous-ensemble d'images COCO avec un ensemble de catégories beaucoup plus large, en utilisant un pipeline d'annotation participatif impliquant un processus en deux étapes : d'abord, une phase de « découverte » où les annotateurs identifiaient tous les objets dans une image, puis une phase de « vérification » pour garantir l'exhaustivité et la précision. L'ensemble de données final comprend 1 203 catégories, réparties en trois groupes de fréquence : fréquent (plus de 100 images), commun (10 à 100 images) et rare (moins de 10 images), avec environ 77 % des catégories appartenant au groupe rare. Ce déséquilibre est intentionnel, car il reflète les conditions du monde réel et force les modèles à généraliser au-delà des catégories principales.
Structure de l'ensemble de données et annotation
LVIS est construit sur l'ensemble de données COCO, utilisant 164 000 de ses images d'entraînement et de validation, mais avec un vocabulaire de catégories considérablement élargi. Chaque image est annotée avec des masques de segmentation d'instances, ce qui signifie que chaque instance d'objet est délimitée au niveau du pixel, et non seulement encadrée par une boîte. Le processus d'annotation a été conçu pour être exhaustif : les annotateurs devaient labelliser toutes les instances de toutes les catégories présentes, même si elles étaient petites, occluses ou floues. C'est une différence clé par rapport à COCO, qui ne nécessitait que l'annotation de 80 catégories et ignorait souvent les objets rares. L'ensemble de données fournit un fichier JSON avec des annotations dans un format similaire à COCO, incluant des champs pour les identifiants d'image, les identifiants de catégorie, les polygones de segmentation et les boîtes englobantes. La liste des catégories a été organisée à partir d'une combinaison de synsets WordNet et d'une sélection manuelle, garantissant une large couverture des objets courants, des animaux, des aliments et des outils.
Benchmark et métriques d'évaluation
La principale métrique d'évaluation pour LVIS est la précision moyenne (AP) standard de style COCO, calculée à plusieurs seuils d'Intersection sur Union (IoU) (0,5 à 0,95). Cependant, LVIS introduit une variation critique : l'AP est rapportée séparément pour les trois groupes de fréquence (rare, commun, fréquent), et l'AP global est la moyenne de ces trois AP de groupe, plutôt qu'une simple moyenne sur toutes les catégories. Cet AP « équilibré » garantit que les performances sur les catégories rares ne sont pas éclipsées par les catégories communes, ce qui en fait une mesure plus sensible de la généralisation à longue traîne. Par exemple, un modèle qui performe bien sur « personne » mais mal sur « boulier » obtiendra un score plus faible sur LVIS que sur COCO. Le benchmark inclut également un « AP de masque » pour la segmentation d'instances et un « AP de boîte » pour la détection, avec le classement principal se concentrant sur l'AP de masque. Depuis sa publication, LVIS a été utilisé dans plusieurs défis, notamment le LVIS Challenge à l'ICCV 2019 et des ateliers ultérieurs, où les meilleures entrées ont employé des techniques comme l'échantillonnage équilibré par classe, la réévaluation des pertes et l'utilisation de backbones plus grands comme les détecteurs basés sur transformers.
Impact sur l'apprentissage à longue traîne
LVIS est devenu un banc d'essai standard pour l'apprentissage à longue traîne, un sous-domaine de l'intelligence artificielle concerné par l'entraînement de modèles sur des données déséquilibrées. La conception de l'ensemble de données a stimulé de nombreuses innovations algorithmiques. Un exemple notable est la « perte fédérée » proposée par les auteurs de LVIS, qui regroupe les catégories en ensembles « fédérés » basés sur leur fréquence et calcule un softmax sur chaque groupe, empêchant les catégories rares d'être submergées par les catégories fréquentes dans la fonction de perte. Une autre est le « clipping de gradient dynamique », qui ajuste la magnitude du gradient pour les catégories rares pendant l'entraînement. Des travaux ultérieurs ont exploré l'entraînement découplé (d'abord apprendre les caractéristiques, puis affiner le classifieur), l'augmentation de données pour les classes rares et l'utilisation d'architectures de réseaux de neurones avec une meilleure extraction de caractéristiques. LVIS a également influencé d'autres ensembles de données, comme Open Images et Objects365, qui ont adopté des stratégies d'annotation exhaustive similaires. En 2025, LVIS reste un benchmark largement cité, avec plus de 1 000 citations dans la littérature académique, et il est souvent utilisé en conjonction avec des modèles de vision-langage basés sur des grands modèles de langage pour tester leurs capacités de reconnaissance zero-shot ou few-shot sur des objets rares.
Ensembles de données connexes et extensions
LVIS a engendré plusieurs extensions et efforts connexes. L'ensemble de données LVIS Challenge comprend un ensemble de validation de 20 000 images et un ensemble de test, avec des annotations pour les mêmes 1 203 catégories. En 2020, les auteurs ont publié LVIS v1.0, qui corrigeait les erreurs d'annotation et élargissait l'ensemble d'entraînement à 100 000 images (contre 57 000 à l'origine), améliorant la cohérence. Une variante appelée LVIS-OW (Open World) a été introduite pour la segmentation d'instances en monde ouvert, où les modèles doivent identifier des objets inconnus. De plus, LVIS a été intégré au framework Detectron2, facilitant l'entraînement et l'évaluation de modèles pour les chercheurs. La liste des catégories de l'ensemble de données a également été utilisée dans d'autres tâches, comme la segmentation panoptique et la segmentation d'instances vidéo, où elle sert de vocabulaire commun. Malgré son succès, LVIS présente des limites : il est dérivé d'images COCO, qui sont biaisées vers des photos web, et son ensemble de catégories, bien que large, reste fini. Les futurs ensembles de données, comme ceux du projet Ego4D, se sont appuyés sur les principes de LVIS pour créer des benchmarks encore plus diversifiés.