KITTI-Benchmark ist eine Sammlung von Datensätzen und Evaluationskriterien, die für die Forschung im Bereich des autonomen Fahrens und der mobilen Robotik entwickelt wurde. Sie bietet standardisierte Sensoraufzeichnungen eines Fahrzeugs, das durch städtische und ländliche Umgebungen fährt, und ermöglicht es Forschern, die Leistung von Algorithmen für Aufgaben wie Objekterkennung, Verfolgung und Stereorekonstruktion zu vergleichen. Als gemeinsames Projekt zwischen der Carnegie Mellon University und dem Karlsruher Institut für Technologie wurde sie 2012 eingeführt und hat sich seitdem zu einem weit verbreiteten Standard im Bereich der maschinellen Lernens- und Computervisions-Forschung entwickelt.
Datenerfassung und Plattform
Der Benchmark wurde mit einem Kombiwagen erstellt, der mit einer Reihe von Sensoren ausgestattet war, um reale Fahrbedingungen in der Stadt Karlsruhe, Deutschland, zu erfassen. Die primäre Sensorkonfiguration umfasste zwei hochauflösende Farbkameras und zwei Graustufenkameras, die ein stereoskopisches Sichtsystem nach vorne bildeten. Ein rotierender Laserscanner vom Typ Velodyne HDL-64E lieferte Entfernungs- und Reflexionsinformationen, während ein globales Positionsbestimmungssystem (GPS) und ein Trägheitsnavigationssystem die Fahrzeugposition und -ausrichtung während der verschiedenen Fahrten aufzeichneten.
Die Sensordaten wurden mit einer Frequenz von 10 Hz erfasst, wobei die Kameras Bilder mit einer Auflösung von 1,4 Megapixeln und einer Farbtiefe von 24 Bit lieferten. Der Datensatz umfasst Aufzeichnungen nicht nur von städtischen Straßen, sondern auch von Landstraßen und Autobahnabschnitten. Die gesamten Daten wurden in Trainings- und Testuntergruppen aufgeteilt, wobei Annotationen für Objekterkennungs- und Verfolgungsaufgaben von einem Team am Karlsruher Institut für Technologie bereitgestellt wurden.
Benchmark-Aufgaben
KITTI definiert eine Reihe spezifischer Aufgaben mit unterschiedlichen Schwierigkeitsgraden, die auf der Größe der Begrenzungsrahmen und dem Grad der Okklusion basieren. Zu den Hauptaufgaben gehören die Objekterkennung in 2D- und 3D-Räumen, die Identifizierung und Verfolgung von Fahrzeugen, Fußgängern und Radfahrern sowie die Verfolgung dieser Objekte über mehrere Frames hinweg. Darüber hinaus umfasst der Benchmark Bewertungssuiten für die Stereorekonstruktion, bei der Tiefeninformationen aus den beiden Kamerabildern abgeleitet werden, und für die Szenenfluss-Schätzung, die die Bewegung jedes Pixels zwischen aufeinanderfolgenden Frames berechnet.
Die Bewertungsmetriken umfassen für die 2D- und 3D-Erkennungsaufgaben den Durchschnittspräzisionswert (Average Precision) sowie für die Stereorekonstruktion den D1-Fehler. Für die Verfolgungsaufgabe wird eine Metrik verwendet, die auf dem CLEAR-MOT-Protokoll basiert und Kennzahlen wie Mehrfachobjektverfolgungsgenauigkeit und -präzision liefert. Für jede Aufgabe gibt es eine Bestenliste, auf der Teilnehmer ihre Algorithmen gegen einen festgelegten Testsatz evaluieren und automatisiertes Feedback erhalten können.
Auswirkungen und Nutzung
KITTI hat als Referenzpunkt für zahlreiche Durchbrüche in der Wahrnehmung für autonomes Fahren gedient. Die standardisierten Daten ermöglichten die Entwicklung und Validierung von Algorithmen für die Sensorfusion, die 3D-Punktwolken mit 2D-Bildern kombinieren. Darüber hinaus wird der Datensatz in anderen Bereichen wie der Robotik eingesetzt, wo genaue Kameraposen für die simultane Lokalisierung und Kartierung (SLAM) verwendet werden.
Viele einflussreiche Arbeiten im Bereich der Objekterkennung, von Segmentierungsmodellen wie U-Net bis hin zu verschiedenen Architekturen neuronaler Netze wie regionenbasierten Faltungsnetzwerken oder Single-Shot-Detektoren, wurden auf KITTI evaluiert. Mit der Reifung der Infrastruktur für Deep Learning hat sich die Bestenliste von KITTI zu einem zentralen Ort für den wissenschaftlichen Vergleich dieser Modelle entwickelt. Obwohl neuere Benchmarks wie nuScenes und das Waymo Open Dataset die standardisierten Metriken erweitert haben, behält KITTI weiterhin eine bedeutende Stellung in der Forschungsgemeinschaft.
Einschränkungen und Erweiterungen
Die ursprünglichen KITTI-Daten, die in dicht besiedelten Umgebungen gesammelt wurden, weisen Einschränkungen hinsichtlich ihrer Übertragbarkeit auf andere Regionen oder Bedingungen auf, wie etwa Nachtfahrten oder widrige Wetterverhältnisse. Die Annotationen sind auf eine begrenzte Anzahl von Objektklassen beschränkt, und die Anzahl der annotierten Trainingsbilder ist mit etwa 7.481 Frames relativ gering. Um diese Einschränkungen zu adressieren, wurden Erweiterungen wie KITTI-RAW veröffentlicht, die kontinuierliche Sensoraufzeichnungen mit ununterbrochenen Kamerabildern und Trägheitsmessungen bieten.
Ausblick
In den letzten Jahren hat sich die Rolle von KITTI in der sich wandelnden Forschungslandschaft weiterentwickelt. Neue Arbeiten nutzen den Datensatz häufig als Ausgangspunkt, um Algorithmen zu entwickeln, die dann auf größeren und vielfältigeren Datensätzen validiert werden. Die anhaltende Relevanz des Benchmarks beruht auf seiner Rolle als öffentlich gefördertes Projekt, das die Grundlage für reproduzierbare und vergleichbare Forschung in der Robotik und im autonomen Fahren bildet. Mit zunehmenden Anforderungen an Datenschutz und Lizenzierung von Fahrdaten bleibt KITTI ein wichtiges Modell für offene Wissenschaft, auch wenn seine Metriken und Protokolle zunehmend durch neuere Ansätze ergänzt werden, die eine präzisere Bewertung ermöglichen.