Places365 ist ein groß angelegter Datensatz zur Szenenerkennung, der über 1,8 Millionen Bilder aus 365 verschiedenen Szenenkategorien enthält. Er wurde 2016 von Forschern des Massachusetts Institute of Technology (MIT) eingeführt, darunter Bolei Zhou, Aditya Khosla, Aude Oliva und Antonio Torralba. Der Datensatz soll das Gebiet der Computer Vision voranbringen, insbesondere den Bereich des Szenenverständnisses, bei dem der Kontext oder die Umgebung, in der ein Bild aufgenommen wurde, identifiziert wird. Places365 hat sich zu einem Standard-Benchmark für die Bewertung der Leistung von Deep Learning-Modellen bei Szenenklassifizierungsaufgaben entwickelt und ergänzt objektzentrierte Datensätze wie ImageNet.
Der Datensatz ist in zwei Versionen organisiert: Places365-Standard und Places365-Challenge. Places365-Standard enthält etwa 1,8 Millionen Trainingsbilder, wobei jede Kategorie zwischen 3.000 und 5.000 Bilder umfasst. Places365-Challenge ist eine größere Version mit über 8 Millionen Trainingsbildern, die für den Places Challenge-Wettbewerb auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2016 verwendet wurde. Die Bilder stammen aus dem Internet und sind mit einer von 365 Szenenkategorien annotiert, die von natürlichen Szenen wie „Berg“ und „Strand“ bis zu Innenräumen wie „Küche“ und „Büro“ reichen. Die Kategorien sind vom Places2-Datensatz abgeleitet, der selbst eine Erweiterung des früheren Places205-Datensatzes ist.
Entwicklung und Motivation
Places365 wurde erstellt, um den Bedarf an einem umfassenden Datensatz zur Szenenerkennung zu decken. Während die Objekterkennung mit Datensätzen wie ImageNet erhebliche Fortschritte erzielt hatte, blieb das Szenenverständnis relativ unterentwickelt. Das MIT-Team zielte darauf ab, einen großen, vielfältigen und gut annotierten Datensatz bereitzustellen, der das Training von neuronale Netzwerk-Modellen für die Szenenklassifizierung unterstützen kann. Der Datensatz wurde durch das Sammeln von Bildern aus dem Internet und anschließende Kombination automatisierter und menschlicher Annotationsprozesse erstellt. Die endgültige Auswahl von 365 Kategorien wurde getroffen, um eine breite Palette alltäglicher Umgebungen abzudecken und sicherzustellen, dass auf Places365 trainierte Modelle auf reale Anwendungen wie autonomes Fahren, Robotik und Bildabruf generalisieren können.
Die Erstellung von Places365 war Teil einer breiteren Initiative zum Aufbau der Places-Datenbank, die auch den Places205-Datensatz und den Places2-Datensatz umfasst. Places205, eingeführt 2014, enthielt 205 Szenenkategorien und diente als vorläufiger Benchmark. Places365 erweiterte dies auf 365 Kategorien und bot eine umfassendere Abdeckung von Szenentypen. Der Datensatz wurde von der Forschungsgemeinschaft weithin übernommen, und seine Veröffentlichung hat zahlreiche Fortschritte bei Algorithmen zur Szenenerkennung angeregt.
Architektur und Inhalt
Places365 besteht aus Bildern mit unterschiedlichen Auflösungen, typischerweise etwa 224×224 Pixel nach der Vorverarbeitung. Jedes Bild ist mit einer einzigen Szenenkategorie beschriftet, was es zu einer Einzel-Label-Klassifizierungsaufgabe macht. Der Datensatz umfasst einen Trainingssatz, einen Validierungssatz und einen Testsatz. Die Validierungs- und Testsätze enthalten 50 Bilder pro Kategorie, während der Trainingssatz Tausende von Bildern pro Kategorie enthält. Die Bilder sind im JPEG-Format gespeichert und nach Kategorien in Verzeichnissen organisiert.
Ein bemerkenswerter Aspekt von Places365 ist sein Fokus auf den Szenenkontext auf Ebene der gesamten Szene anstelle einzelner Objekte. Dies unterscheidet ihn von Objekterkennungsdatensätzen, da Modelle lernen müssen, die Gesamtumgebung zu erkennen. Der Datensatz enthält auch eine semantische Hierarchie, die die 365 Kategorien in 16 Superkategorien wie „Innenraum“, „natürlicher Außenbereich“ und „vom Menschen geschaffener Außenbereich“ gruppiert. Diese Hierarchie ermöglicht eine strukturiertere Bewertung und Analyse der Modellleistung.
Anwendungen und Auswirkungen
Places365 wurde umfassend in der maschinelles Lernen-Forschung eingesetzt, insbesondere für das Training von Convolutional Neural Networks (CNNs) zur Szenenklassifizierung. Viele State-of-the-Art-Modelle wie ResNet und DenseNet wurden auf Places365 evaluiert, und der Datensatz diente als Benchmark für den Vergleich verschiedener Architekturen. Über die Klassifizierung hinaus wurde Places365 für Aufgaben wie Szenenparsing, semantische Segmentierung und Transfer Learning verwendet. Beispielsweise wurden auf Places365 vortrainierte Modelle für andere Vision-Aufgaben wie Objekterkennung und Bildbeschriftung feinabgestimmt.
Der Datensatz hat auch die Entwicklung von künstliche Intelligenz-Systemen in der Industrie beeinflusst. Unternehmen wie Google DeepMind und OpenAI haben Szenenverständnisfähigkeiten in ihre Modelle integriert, und Places365 wurde verwendet, um die Leistung groß angelegter Vision-Modelle zu bewerten. Darüber hinaus wurde der Datensatz in Studien zur menschlichen Szenenwahrnehmung eingesetzt und lieferte Einblicke, wie Menschen Umgebungen kategorisieren.
Einschränkungen und zukünftige Richtungen
Trotz seines Erfolgs hat Places365 mehrere Einschränkungen. Der Datensatz ist auf westliche, englischsprachige Kontexte ausgerichtet, da die Bilder aus dem Internet gesammelt wurden, was möglicherweise nicht alle globalen Umgebungen gleichermaßen repräsentiert. Zudem erfasst das Einzel-Label-Format nicht die Komplexität realer Szenen, die oft mehrere überlappende Kontexte enthalten. Forscher haben Erweiterungen und Alternativen vorgeschlagen, wie Multi-Label-Szenendatensätze und Datensätze mit vielfältigerer geografischer Abdeckung. Da generative KI und große Sprachmodelle weiter voranschreiten, wächst das Interesse daran, Szenenverständnis zur Verbesserung multimodaler Modelle zu nutzen, und Places365 bleibt eine relevante Ressource für das Training und die Bewertung solcher Systeme.