NUS-WIDE ist ein Multi-Label-Bilddatensatz, der aus Bildern erstellt wurde, die auf der Foto-Sharing-Plattform Flickr hochgeladen wurden. Er wurde 2009 von Forschern der National University of Singapore, darunter Tat-Seng Chua und Kollegen, veröffentlicht. Der Datensatz wurde entwickelt, um Forschung in den Bereichen Bildannotation, Abruf und Multi-Label-Klassifikation zu unterstützen, und bietet eine groß angelegte, reale Sammlung mit vielfältigen visuellen Inhalten und zugehörigen textuellen Metadaten.
Der Datensatz umfasst 269.648 Bilder, die jeweils mit einem oder mehreren von 81 Konzeptlabels (Tags) annotiert sind, die eine breite Palette alltäglicher Szenen und Objekte abdecken, wie „Himmel“, „Wasser“, „Menschen“, „Tiere“ und „Gebäude“. Diese Labels wurden aus den Tags abgeleitet, die Benutzer ursprünglich ihren Fotos auf Flickr zugewiesen hatten, wurden jedoch anschließend von den Datensatzerstellern bereinigt und standardisiert. Zusätzlich zu den Konzeptlabels bietet NUS-WIDE 500-dimensionale Bag-of-Words-Merkmale basierend auf SIFT-Deskriptoren, 64-dimensionale Farbhistogramme und 144-dimensionale Farbkorrelogramme sowie 225-dimensionale blockweise Farbmomente. Diese vorberechneten Merkmale ermöglichen es Forschern, Algorithmen zu benchmarken, ohne Rohbilder verarbeiten zu müssen.
Konstruktion und Annotation
Der Datensatz wurde erstellt, indem eine große Anzahl von Bildern von Flickr heruntergeladen wurde, wobei der Fokus auf solchen lag, die mit einer Reihe von 81 vordefinierten Konzepten getaggt waren. Der Auswahlprozess stellte eine ausgewogene Verteilung über die Konzepte sicher, wobei jedes Konzept eine Mindestanzahl von Bildern hatte. Die Ground-Truth-Labels wurden manuell von menschlichen Annotatoren verifiziert, um Genauigkeit zu gewährleisten, was NUS-WIDE von Datensätzen unterscheidet, die ausschließlich auf benutzergenerierten Tags basieren. Die endgültige Sammlung umfasst sowohl die Originalbilder als auch die vorberechneten Merkmalsvektoren, was sie für eine breite Palette von maschinellem Lernen-Aufgaben zugänglich macht.
Verwendung in der Forschung
NUS-WIDE ist zu einem Standard-Benchmark im Bereich Computer Vision und künstlicher Intelligenz geworden, insbesondere für Aufgaben, die Multi-Label-Klassifikation und Bildabruf betreffen. Forscher haben es verwendet, um Methoden zur automatischen Bildbeschriftung zu bewerten, bei denen das Ziel darin besteht, eine Reihe relevanter Labels für ein gegebenes Bild vorherzusagen. Es wurde auch in Studien zu Datenaugmentierung und Deep-Learning-Architekturen eingesetzt, wie Residual-Network- und U-Net-Varianten, obwohl letztere häufiger bei Segmentierungsaufgaben vorkommen. Die Multi-Label-Natur des Datensatzes macht ihn zu einem herausfordernden Testfeld für Algorithmen, die Korrelationen zwischen Konzepten behandeln müssen, wie „Himmel“, das häufig mit „Wolken“ gemeinsam auftritt.
Merkmale und Baselines
Die bereitgestellten Merkmalsätze ermöglichen schnelle Experimente ohne umfangreiche Vorverarbeitung. Die 500-dimensionalen Bag-of-Words-Merkmale erfassen lokale visuelle Muster, während die Farbhistogramme und Korrelogramme globale Farbinformationen liefern. Viele veröffentlichte Arbeiten berichten über Baseline-Ergebnisse auf NUS-WIDE unter Verwendung traditioneller Methoden wie Support Vector Machines und k-nächsten Nachbarn sowie neuerer neuraler Netzwerk-Ansätze. Der Datensatz enthält auch eine Aufteilung in Trainings- und Testsets, typischerweise mit 161.789 Bildern für das Training und 107.859 für das Testen, obwohl einige Studien unterschiedliche Partitionen verwenden.
Einfluss und Vermächtnis
NUS-WIDE hat die Entwicklung nachfolgender Datensätze beeinflusst, wie Microsoft COCO und Visual Genome, die reichhaltigere Annotationen bieten, aber kleiner im Umfang sind. Sein Fokus auf reale, benutzergenerierte Inhalte bietet einen Kontrast zu kuratierteren Datensätzen, was ihn wertvoll für die Untersuchung der Herausforderungen von verrauschten und vielfältigen visuellen Daten macht. Bis in die frühen 2020er Jahre bleibt er weit verbreitet zitiert und in der akademischen Forschung verwendet, insbesondere in Bereichen wie Multi-Label-Lernen und Transferlernen. Der Datensatz ist für Forschungszwecke frei verfügbar, und seine offizielle Website bietet Dokumentation und Download-Links, obwohl die Originalbilder auf Flickr gehostet werden und möglicherweise nicht immer verfügbar sind.
Einschränkungen
Eine Einschränkung von NUS-WIDE ist, dass seine Labels relativ grob sind und nur 81 Konzepte abdecken, was möglicherweise keine feinkörnigen Unterscheidungen erfasst. Darüber hinaus basieren die vorberechneten Merkmale auf älteren Techniken wie SIFT, die durch gelernte Darstellungen aus Deep-Learning-Modellen ersetzt wurden. Forscher extrahieren oft neue Merkmale aus den Rohbildern unter Verwendung moderner Architekturen, aber dies erfordert zusätzlichen Speicher und Rechenaufwand. Der Datensatz leidet auch unter Label-Ungleichgewicht, wobei einige Konzepte weitaus häufiger vorkommen als andere, was Bewertungsmetriken verzerren kann.
Trotz dieser Einschränkungen bleibt NUS-WIDE eine wertvolle Ressource für das Benchmarking und das Verständnis der Multi-Label-Bildanalyse. Seine Kombination aus Größe, realen Bildern und Multi-Label-Annotationen unterstützt weiterhin eine breite Palette von maschinellem Lernen-Forschung, von klassischen Methoden bis zu zeitgenössischen Deep-Learning-Ansätzen.