Der Waymo Open Dataset ist eine öffentlich zugängliche Sammlung von Sensordaten, die von autonomen Fahrzeugen aufgezeichnet wurden, die von Waymo, einem Unternehmen für selbstfahrende Technologie, betrieben werden. Der Datensatz wurde im August 2019 veröffentlicht und sollte die Forschung im Bereich künstliche Intelligenz für autonomes Fahren beschleunigen, indem er hochwertige, reale Daten bereitstellt, die Forscher ohne eigene Fahrzeugflotten nutzen können. Er enthält Daten von mehreren Sensoren wie Lidar, Kameras und Radar, die synchronisiert und für Aufgaben wie Objekterkennung, Verfolgung und Bewegungsvorhersage beschriftet sind.
Der Datensatz wurde zusammen mit einem begleitenden Paper eingeführt und hat sich zu einem Standard-Benchmark in der Forschungsgemeinschaft für autonomes Fahren entwickelt. Er wird häufig verwendet, um maschinelles Lernen-Modelle zu trainieren und zu evaluieren, insbesondere solche, die auf Deep Learning und neuronale Netze basieren. Die Veröffentlichung war bemerkenswert für ihren Umfang und die Vielfalt der Fahrszenarien, die dichten Stadtverkehr, Autobahnfahrten und Interaktionen mit Fußgängern und Radfahrern umfassen.
Sensorausstattung und Datenformat
Jedes Fahrzeug der Waymo-Flotte, das für die Datenerfassung verwendet wurde, war mit fünf Lidar-Sensoren, fünf Kameras und mehreren Radargeräten ausgestattet, die eine 360-Grad-Sicht um das Fahrzeug ermöglichten. Die Lidar-Sensoren erfassten hochauflösende Punktwolken, während die Kameras synchronisierte Bilder mit 5 Bildern pro Sekunde aufzeichneten. Radardaten lieferten zusätzliche Geschwindigkeits- und Distanzinformationen, die besonders bei schlechten Sichtverhältnissen nützlich sind.
Die Daten sind in Segmente organisiert, die jeweils 20 Sekunden kontinuierliches Fahren darstellen. Jedes Segment enthält synchronisierte Sensorwerte, Fahrzeugpositionsinformationen und 3D-Bounding-Box-Beschriftungen für Objekte von Interesse. Die Beschriftungen decken Fahrzeuge, Fußgänger und Radfahrer ab und enthalten Attribute wie Objekt-ID, Geschwindigkeit und Beschleunigung. Der Datensatz bietet auch 2D-Kamerabilder mit projizierten 3D-Beschriftungen, was Forschung in sowohl 3D- als auch 2D-Wahrnehmung ermöglicht.
Benchmark-Aufgaben und Metriken
Der Waymo Open Dataset unterstützt mehrere Benchmark-Aufgaben. Die primären Aufgaben sind 3D-Objekterkennung, 3D-Objektverfolgung und Bewegungsvorhersage. Für die Erkennung müssen Modelle Objekte im 3D-Raum aus Lidar- und Kameradaten identifizieren und lokalisieren. Die Verfolgung erfordert die Zuordnung von Erkennungen über Zeitrahmen hinweg, um konsistente Objektidentitäten aufrechtzuerhalten. Die Bewegungsvorhersage umfasst die Prognose zukünftiger Trajektorien erkannter Objekte über einen Horizont von bis zu 8 Sekunden.
Zu den Bewertungsmetriken gehören durchschnittliche Präzision für die Erkennung, Genauigkeit der Mehrfachobjektverfolgung für die Verfolgung und minimaler durchschnittlicher Verschiebungsfehler für die Vorhersage. Der Datensatz enthält separate Trainings-, Validierungs- und Testaufteilungen, wobei der Testsatz für Leaderboard-Einreichungen verwendet wird. Forscher können Ergebnisse auf der offiziellen Website einreichen, um ihre Modelle standardisiert mit anderen zu vergleichen.
Auswirkungen auf die Forschung zum autonomen Fahren
Seit seiner Veröffentlichung wurde der Waymo Open Dataset in akademischer und industrieller Forschung weit verbreitet eingesetzt. Er hat Studien zu Themen wie 3D-Objekterkennung mit Transformatoren, generative Modelle für Datenaugmentierung und große Sprachmodelle für das Verständnis von Fahrszenen ermöglicht. Der Umfang des Datensatzes - über 1.000 Segmente in der ursprünglichen Veröffentlichung, später erweitert um weitere Städte und Szenarien - hat ihn zu einer Schlüsselressource für das Training robuster Wahrnehmungssysteme gemacht.
Der Datensatz hat auch die Entwicklung neuer Algorithmen und Architekturen vorangetrieben. Zum Beispiel wurden viele modernste 3D-Erkennungsmethoden darauf benchmarkt, und er wurde verwendet, um multimodale Fusion von Lidar- und Kameradaten zu untersuchen. Seine öffentliche Verfügbarkeit hat die Einstiegshürde für Forscher ohne Zugang zu proprietären Plattformen für autonome Fahrzeuge gesenkt und zu einem breiteren Ökosystem der maschinelles Lernen-Innovation beigetragen.
Vergleich mit anderen Datensätzen
Der Waymo Open Dataset wird oft mit anderen Datensätzen für autonomes Fahren wie nuScenes und KITTI verglichen. Im Vergleich zu KITTI, das früher veröffentlicht wurde und einen kleineren Umfang hat, bietet Waymo vielfältigere Szenarien und eine höhere Sensorauflösung. NuScenes, entwickelt von einem anderen Unternehmen, bietet ähnliche Sensormodalitäten, konzentriert sich jedoch auf urbanes Fahren in Boston und Singapur. Waymos Datensatz zeichnet sich durch seine große Anzahl beschrifteter Objekte und die Einbeziehung von Radardaten aus, die nicht in allen konkurrierenden Datensätzen vorhanden sind.
Forscher haben festgestellt, dass der Waymo Open Dataset einzigartige Herausforderungen bietet, wie den Umgang mit hochdynamischen Szenen und Verdeckungen. Sein Benchmark-Leaderboard ist zu einem Referenzpunkt für die Messung des Fortschritts in der 3D-Wahrnehmung geworden, ähnlich wie ImageNet für die Bildklassifikation dient. Der Datensatz wird weiterhin aktualisiert, mit regelmäßigen Veröffentlichungen, die neue Daten und Aufgaben hinzufügen, wie die Ergänzung einer 2D-Keypoint-Aufgabe für die Schätzung menschlicher Posen.
Zukünftige Richtungen
Mit der Weiterentwicklung der Technologie für autonomes Fahren wird erwartet, dass sich der Waymo Open Dataset weiter ausdehnt, möglicherweise um vielfältigere Wetterbedingungen, Nachtfahrten und Interaktionen mit Einsatzfahrzeugen umfasst. Es besteht auch Interesse daran, den Datensatz für End-to-End-Fahrmodelle zu verwenden, bei denen Wahrnehmung, Vorhersage und Planung in ein einziges neuronales Netz integriert sind. Die Rolle des Datensatzes in der KI-Forschung wird wahrscheinlich wachsen, da sich das Feld in Richtung komplexerer Denk- und Entscheidungsaufgaben bewegt.
Der Datensatz hat auch ähnliche Veröffentlichungen anderer Unternehmen inspiriert und zu einem Trend offener Daten in der Branche für autonomes Fahren beigetragen. Durch die Bereitstellung einer gemeinsamen Grundlage für die Bewertung hilft er sicherzustellen, dass Fortschritte in diesem kritischen Bereich messbar und reproduzierbar sind. Forscher und Praktiker verlassen sich weiterhin auf ihn als grundlegende Ressource für die Entwicklung sichererer und leistungsfähigerer selbstfahrender Systeme.