LabelMe ist ein Projekt, das aus dem MIT Computer Science and Artificial Intelligence Laboratory stammt und einen frei zugänglichen, sich ständig weiterentwickelnden Datensatz digitaler Bilder mit nutzergenerierten Annotationen bietet. Es wurde hauptsächlich für die Forschung im Bereich Computer Vision entwickelt und ermöglicht die Beschriftung mehrerer Objekte in beliebigen Szenen mithilfe von Polygon-Grenzen. Stand 31. Oktober 2010 umfasste der Datensatz 187.240 Bilder, von denen 62.197 annotiert waren und 658.992 beschriftete Objekte enthielten. Das Projekt ist offen für öffentliche Beiträge, sodass jeder Annotationen hinzufügen oder bearbeiten kann, was es zu einer dynamischen Ressource für die Forschungsgemeinschaft macht.
Die LabelMe-Initiative entstand, um Schwächen früherer Computer-Vision-Datensätze zu beheben, die oft auf spezifische Forschungsprobleme zugeschnitten waren und eine geringe Vielfalt in Bezug auf Objekterscheinung und Szenenkontext aufwiesen. Im Gegensatz zu traditionellen Datensätzen mit zugeschnittenen, normalisierten Bildern einzelner Objekte unterstützt LabelMe die Erkennung von Objektklassen in komplexen, unveränderten Szenen und bietet mehrere Winkel, Größen und Ausrichtungen. Es bietet zudem eine große Vielfalt an Objektklassen und ermöglicht es Nutzern, problemlos neue Klassen zu erstellen.
Annotationstool
Das webbasierte Annotationstool von LabelMe ermöglicht es Nutzern, ohne spezielle Software zum Datensatz beizutragen. Es ist über jeden JavaScript-fähigen Webbrowser zugänglich und zeigt ein zufällig ausgewähltes Bild aus der Sammlung, wobei vorhandene Polygon-Annotationen in unterschiedlichen Farben überlagert werden. Nutzer können neue Polygone zeichnen, indem sie Punkte entlang der Grenze eines Objekts anklicken, und anschließend über eine Pop-up-Oberfläche ein Textlabel zuweisen. Die Labels sind nutzerdefiniert, was zu Variationen wie „Hund", „Canide" oder „Köter" führt. Annotatoren können auch vorhandene Polygone bearbeiten oder löschen, und Änderungen werden sofort gespeichert und öffentlich zum Download bereitgestellt, was einen kontinuierlich aktualisierten, gemeinschaftsgetriebenen Datensatz fördert.
Motivation und Designprinzipien
Das Projekt wurde durch die Einschränkungen früherer öffentlich verfügbarer Computer-Vision-Datensätze motiviert, die oft auf spezifische Forschungsprobleme zugeschnitten waren und neue Forscher dazu zwangen, zusätzliche Daten zu sammeln. LabelMe wurde entwickelt, um die Erkennung von Objektklassen statt einzelner Instanzen zu unterstützen und umfasst Objekte in mehreren Winkeln, Größen und Ausrichtungen innerhalb beliebiger Szenen. Im Gegensatz zu Datensätzen mit zugeschnittenen oder normalisierten Bildern ermöglicht LabelMe die Annotation mehrerer Objekte pro Bild durch polygonale Umrisse, was ein komplexes Szenenverständnis ermöglicht. Es unterstützt zudem eine große und wachsende Menge an Objektklassen, enthält vielfältige Bilddaten und bietet nicht urheberrechtlich geschützte Bilder mit offenen öffentlichen Beiträgen.
Annotationstool
Das Annotationstool funktioniert in einem Standard-Webbrowser mit JavaScript-Unterstützung, und Nutzer können anonym oder mit einem kostenlosen Konto darauf zugreifen. Beim Laden wählt das Tool zufällig ein Bild aus dem Datensatz aus und zeigt vorhandene Objektlabels als farbige Polygone über dem Bild an, wobei jedem eindeutigen Label eine andere Farbe zugewiesen wird. Um eine Annotation hinzuzufügen, zeichnet ein Nutzer ein Polygon, indem er Punkte entlang der Grenze eines Objekts anklickt, und schließt die Form, um eine Eingabeaufforderung zur Vergabe eines Labels auszulösen. Nutzer können jedes beliebige Textlabel wählen, das sie für angemessen halten, und können auch vorhandene Polygone bearbeiten oder löschen, indem sie auf deren Umrisse klicken und den Labeltext ändern. Änderungen werden sofort gespeichert und öffentlich im Datensatz verfügbar gemacht, was zu einer sich kontinuierlich weiterentwickelnden Sammlung beiträgt. Die Oberfläche enthält einen Link „Zeig mir ein anderes Bild", um zum nächsten zufälligen Bild zu gelangen.
Datensatzeigenschaften
Stand 31. Oktober 2010 enthielt LabelMe 187.240 Bilder, von denen 62.197 annotiert waren, mit insgesamt 658.992 beschrifteten Objekten. Aufgrund der dynamischen Natur des Datensatzes sind diese Zahlen seitdem gewachsen. Die Bilder stammen aus einer Vielzahl von Szenen, die hauptsächlich von menschlichen Fotografen aufgenommen wurden, was zu ungleichmäßigen Verteilungen von Objektgrößen und -positionen innerhalb der Bilder führt. Das offene Beitragsmodell führt zu Variabilität im Annotationsstil: Annotatoren entscheiden, welche Objekte beschriftet werden (z. B. ob verdeckte Objekte umrissen werden), wie präzise die Polygon-Grenzen sind und welcher exakte Text für Labels verwendet wird. Diese Variabilität ist beabsichtigt, da die Ersteller glauben, dass sie natürliche Beschriftungsgewohnheiten widerspiegelt und Forschern hilft, Algorithmen zu entwickeln, die gegenüber solchen Inkonsistenzen robust sind.
Verwandte Arbeiten und Einfluss
LabelMe baute auf früheren Bemühungen im Bereich Computer-Vision-Datensätze auf, wie PASCAL VOC und den Caltech-Datensätzen, unterschied sich jedoch durch seinen Umfang und seine Offenheit. Seine dynamische Natur und der gemeinschaftsgetriebene Ansatz beeinflussten nachfolgende Annotationsplattformen und Datensätze in diesem Bereich. Das Projekt wurde häufig zum Trainieren und Evaluieren von Objekterkennungs- und Segmentierungsalgorithmen verwendet und trug zur breiteren Bewegung hin zu groß angelegten, öffentlich verfügbaren Daten in Machine learning und Artificial intelligence bei.
Probleme mit den Daten
Der Datensatz weist aufgrund der Freiheit, die Annotatoren gegeben wird, Variabilität auf, was bestimmte Herausforderungen mit sich bringt. Objekte können in Größe und Bildposition variieren, da Fotografen dazu neigen, interessante Motive zu zentrieren. Nutzer können wählen, welche Objekte beschriftet werden, was zu Inkonsistenzen führt, etwa ob verdeckte Objekte oder der Himmel beschriftet werden. Die Präzision der Annotationen variiert ebenfalls, da Nutzer entscheiden, wie detailliert Polygone sein sollen. Textlabels sind uneingeschränkt, sodass dasselbe Objekt unterschiedliche Namen erhalten kann, wie „Person", „Mann" oder „Fußgänger". Die Ersteller haben diese Entscheidungen absichtlich den Annotatoren überlassen, da sie glauben, dass natürliche Beschriftungsvariabilität Forschern hilft, Algorithmen zu entwickeln, die gegenüber realen Inkonsistenzen robust sind.
Datenorganisation und WordNet-Integration
Um die Variabilität der Textlabels zu adressieren, integrierte das LabelMe-Team WordNet in die Datenbank. WordNet organisiert Wörter in einer strukturierten semantischen Hierarchie und weist jedem Wort eine „Bedeutung" zu. Die automatische Bedeutungszuweisung erwies sich als unzuverlässig, daher wurden Labels manuell auf WordNet-Bedeutungen abgebildet. Diese Arbeit war zwar arbeitsintensiv, blieb jedoch überschaubar, da die Anzahl der unterschiedlichen Wörter im Vergleich zur Anzahl der Polygone langsam wuchs. Mit der WordNet-Integration wurden Suchen effektiver: Eine Abfrage nach „Tier" konnte beschriftete Objekte wie Hunde, Katzen und Schlangen abrufen, während irrelevante Treffer wie „Hundespaziergang" oder Objekte mit komplexen Phrasen ausgeschlossen wurden. Das System unterstützte auch die Identifizierung von Teil-Ganzes-Beziehungen, wie Räder als Teile von Fahrzeugen, was den Nutzen des Datensatzes für die Objekterkennungsforschung erhöhte.
Einfluss und Anwendungen
LabelMe wurde in der Computer-Vision-Forschung weit verbreitet eingesetzt und bietet einen Maßstab für Aufgaben wie Objekterkennung, Segmentierung und Szenenverständnis. Seine offene und dynamische Natur unterscheidet es von statischen Datensätzen und ermöglicht eine kontinuierliche Erweiterung und Verfeinerung. Das Projekt hat ähnliche Crowdsourcing-Annotationsbemühungen inspiriert und bleibt eine grundlegende Ressource in diesem Bereich. Forscher haben LabelMe genutzt, um Algorithmen zur Erkennung von Objekten in vielfältigen, realen Kontexten zu trainieren und zu evaluieren, was zu Fortschritten im Bildverständnis und verwandten Bereichen von maschinellem Lernen und Computer Vision beigetragen hat.