LVIS, kurz für Large Vocabulary Instance Segmentation, ist ein Datensatz, der im Bereich Computer Vision und maschinellem Lernen verwendet wird, um Modelle für Instanzsegmentierung und Objekterkennung zu evaluieren und zu trainieren. Er wurde 2019 von Forschern bei Facebook AI Research (heute Teil von Meta AI) eingeführt, um die Herausforderung der visuellen Erkennung mit langem Schwanz (Long-Tail) zu adressieren, bei der die meisten Objektkategorien in der realen Welt selten sind, während sich Standarddatensätze auf eine kleine Menge häufiger Klassen konzentrieren. LVIS bietet ein großes Vokabular von 1.203 Objektkategorien, das von alltäglichen Gegenständen wie „Banane“ bis zu Nischenobjekten wie „Triceratops-Schädel“ reicht, mit über 2 Millionen hochwertigen Instanzsegmentierungsmasken, die auf etwa 164.000 Bildern aus dem COCO-Datensatz annotiert wurden. Das Design des Datensatzes betont eine erschöpfende Annotation, was bedeutet, dass die Annotatoren angewiesen wurden, jede Instanz jeder im Bild vorhandenen Kategorie zu kennzeichnen, was im Gegensatz zu früheren Datensätzen steht, die seltene Objekte oft ignorierten. Dies macht LVIS zu einem strengen Benchmark für Deep-Learning-Modelle, insbesondere zur Messung der Leistung bei seltenen Kategorien, und hat Forschung zu Techniken wie Federated Loss und dynamischem Gradienten-Clipping angeregt, um den Long-Tail-Effekt abzumildern.
Die Erstellung von LVIS wurde durch die Beobachtung motiviert, dass reale visuelle Daten einer Potenzgesetz-Verteilung folgen, bei der wenige Kategorien (z. B. „Person“, „Auto“) häufig vorkommen, während Tausende andere nur gelegentlich erscheinen. Traditionelle Datensätze wie COCO oder ImageNet hatten entweder eine begrenzte Anzahl von Kategorien oder boten keine Pixel-genauen Masken für alle Instanzen, was ihre Nützlichkeit für die feinkörnige Erkennung einschränkte. LVIS wurde durch die erneute Annotation einer Teilmenge von COCO-Bildern mit einem viel größeren Kategoriensatz aufgebaut, wobei eine Crowd-sourcing-Annotationspipeline verwendet wurde, die einen zweistufigen Prozess umfasste: zuerst eine „Entdeckungs“-Phase, in der Annotatoren alle Objekte in einem Bild identifizierten, und zweitens eine „Verifizierungs“-Phase, um Vollständigkeit und Genauigkeit sicherzustellen. Der endgültige Datensatz umfasst 1.203 Kategorien, die in drei Häufigkeitsgruppen unterteilt sind: häufig (über 100 Bilder), üblich (10-100 Bilder) und selten (weniger als 10 Bilder), wobei etwa 77% der Kategorien in die seltene Gruppe fallen. Dieses Ungleichgewicht ist beabsichtigt, da es reale Bedingungen widerspiegelt und Modelle zwingt, über Kopfkategorien hinaus zu generalisieren.
Datenstruktur und Annotation
LVIS basiert auf dem COCO-Datensatz und verwendet 164.000 seiner Trainings- und Validierungsbilder, jedoch mit einem erheblich erweiterten Kategorievokabular. Jedes Bild ist mit Instanzsegmentierungsmasken annotiert, was bedeutet, dass jede Objektinstanz auf Pixelebene umrissen wird, nicht nur durch eine Box begrenzt ist. Der Annotationsprozess wurde als erschöpfend konzipiert: Die Annotatoren waren verpflichtet, alle Instanzen aller vorhandenen Kategorien zu kennzeichnen, selbst wenn sie klein, verdeckt oder unscharf waren. Dies ist ein wesentlicher Unterschied zu COCO, das nur die Annotation von 80 Kategorien erforderte und seltene Objekte oft übersprang. Der Datensatz bietet eine JSON-Datei mit Annotationen in einem Format ähnlich wie COCO, einschließlich Feldern für Bild-IDs, Kategorie-IDs, Segmentierungspolygone und Begrenzungsrahmen. Die Kategorienliste wurde aus einer Kombination von WordNet-Synsets und manueller Auswahl kuratiert, um eine breite Abdeckung von Alltagsgegenständen, Tieren, Lebensmitteln und Werkzeugen zu gewährleisten.
Benchmark und Bewertungsmetriken
Die primäre Bewertungsmetrik für LVIS ist die standardmäßige COCO-artige mittlere Average Precision (AP), die bei mehreren Intersection over Union (IoU)-Schwellenwerten (0,5 bis 0,95) berechnet wird. LVIS führt jedoch eine entscheidende Wendung ein: Die AP wird separat für die drei Häufigkeitsgruppen (selten, üblich, häufig) berichtet, und die Gesamt-AP ist der Durchschnitt dieser drei Gruppen-APs, nicht ein einfacher Durchschnitt über alle Kategorien. Diese „balancierte“ AP stellt sicher, dass die Leistung bei seltenen Kategorien nicht von häufigen überschattet wird, was sie zu einem empfindlicheren Maß für die Long-Tail-Generalisation macht. Beispielsweise wird ein Modell, das bei „Person“ gut, aber bei „Abakus“ schlecht abschneidet, bei LVIS niedriger bewertet als bei COCO. Der Benchmark umfasst auch eine „Masken-AP“ für Instanzsegmentierung und eine „Box-AP“ für Erkennung, wobei die primäre Rangliste auf der Masken-AP basiert. Seit seiner Veröffentlichung wurde LVIS in mehreren Herausforderungen verwendet, einschließlich der LVIS Challenge bei ICCV 2019 und nachfolgenden Workshops, bei denen Top-Teilnehmer Techniken wie klassenbalanciertes Sampling, Neugewichtung von Verlusten und die Verwendung größerer Backbones wie Transformer-basierter Detektoren einsetzten.
Auswirkungen auf das Long-Tail-Lernen
LVIS ist zu einem Standard-Testfeld für das Long-Tail-Lernen geworden, einem Teilgebiet der künstlichen Intelligenz, das sich mit dem Training von Modellen auf unbalancierten Daten befasst. Das Design des Datensatzes hat zahlreiche algorithmische Innovationen angeregt. Ein bemerkenswertes Beispiel ist der von den LVIS-Autoren vorgeschlagene „Federated Loss“, der Kategorien basierend auf ihrer Häufigkeit in „federierte“ Gruppen einteilt und eine Softmax über jede Gruppe berechnet, wodurch verhindert wird, dass seltene Kategorien in der Verlustfunktion von häufigen überwältigt werden. Ein weiteres ist „dynamisches Gradienten-Clipping“, das die Gradientengröße für seltene Kategorien während des Trainings anpasst. Nachfolgende Arbeiten haben entkoppeltes Training (zuerst Merkmale lernen, dann den Klassifikator feinabstimmen), Daten-Augmentierung für seltene Klassen und die Verwendung von neuronalen Netzwerk-Architekturen mit besserer Merkmalsextraktion untersucht. LVIS hat auch andere Datensätze wie Open Images und Objects365 beeinflusst, die ähnliche erschöpfende Annotationsstrategien übernommen haben. Stand 2025 bleibt LVIS ein weit verbreiteter Benchmark mit über 1.000 Zitaten in der akademischen Literatur und wird oft in Verbindung mit Large-Language-Modell-basierten Vision-Language-Modellen verwendet, um deren Zero-Shot- oder Few-Shot-Erkennungsfähigkeiten bei seltenen Objekten zu testen.
Verwandte Datensätze und Erweiterungen
LVIS hat mehrere Erweiterungen und verwandte Bemühungen hervorgebracht. Der LVIS-Challenge-Datensatz umfasst einen Validierungssatz von 20.000 Bildern und einen Testsatz mit Annotationen für dieselben 1.203 Kategorien. Im Jahr 2020 veröffentlichten die Autoren LVIS v1.0, das Annotationsfehler korrigierte und den Trainingssatz auf 100.000 Bilder (von den ursprünglichen 57.000) erweiterte, was die Konsistenz verbesserte. Eine Variante namens LVIS-OW (Open World) wurde für die Open-World-Instanzsegmentierung eingeführt, bei der Modelle unbekannte Objekte identifizieren müssen. Darüber hinaus wurde LVIS in das Detectron2-Framework integriert, was es Forschern erleichtert, Modelle zu trainieren und zu evaluieren. Die Kategorienliste des Datensatzes wurde auch in anderen Aufgaben wie panoptischer Segmentierung und Video-Instanzsegmentierung verwendet, wo sie als gemeinsames Vokabular dient. Trotz seines Erfolgs hat LVIS Einschränkungen: Es stammt aus COCO-Bildern, die zu Webfotos verzerrt sind, und seine Kategorienmenge ist zwar groß, aber dennoch endlich. Zukünftige Datensätze, wie die aus dem Ego4D-Projekt, haben auf den Prinzipien von LVIS aufgebaut, um noch vielfältigere Benchmarks zu erstellen.