Kinetics-600 ist ein groß angelegter Datensatz für die Erkennung von Videoaktionen, der etwa 480.000 Videoclips umfasst, die 600 menschliche Aktionsklassen abdecken. Er wurde 2018 von Forschern bei DeepMind (jetzt Teil von Google DeepMind) und der Universität Oxford eingeführt und baut auf dem früheren Kinetics-400-Datensatz auf. Der Datensatz wird weithin als Benchmark für das Training und die Bewertung von Deep-Learning-Modellen in Aufgaben des Videoverständnisses verwendet.
Die Clips stammen von YouTube und zeigen eine breite Palette menschlicher Aktivitäten, von alltäglichen Handlungen wie „Zähneputzen“ bis hin zu Sport und Interaktionen mit Objekten. Jeder Clip ist auf etwa 10 Sekunden gekürzt und mit einer einzelnen Aktionsklasse beschriftet. Der Datensatz ist darauf ausgelegt, die Vielfalt und Komplexität realer menschlicher Bewegung zu erfassen, was ihn zu einem anspruchsvollen Testfeld für Algorithmen zur Aktionserkennung macht.
Datensatzkonstruktion
Der Kinetics-600-Datensatz wurde durch eine halbautomatische Pipeline erstellt. Kandidaten-URLs für Videos wurden mithilfe von Suchanfragen für jede Aktionsklasse gesammelt, und anschließend überprüften menschliche Annotatoren die Clips, um sicherzustellen, dass sie die beabsichtigte Aktion korrekt darstellten. Der Annotationsprozess umfasste mehrere Phasen der Qualitätskontrolle, einschließlich der Überprüfung der Kennzeichnungsrichtigkeit und der Entfernung mehrdeutiger oder minderwertiger Clips. Der endgültige Datensatz enthält 600 Klassen, wobei jede Klasse mindestens 600 Clips aufweist, was eine ausgewogene Verteilung über die Kategorien gewährleistet. Die Gesamtzahl der Clips beträgt etwa 480.000, mit einer Trainings-/Validierungs-/Testaufteilung von ungefähr 70/10/20 Prozent.
Beziehung zu Kinetics-400 und Kinetics-700
Kinetics-600 ist eine Zwischenversion zwischen dem ursprünglichen Kinetics-400 (400 Klassen, eingeführt 2017) und dem späteren Kinetics-700 (700 Klassen, veröffentlicht 2019). Im Vergleich zu Kinetics-400 fügt Kinetics-600 200 neue Aktionsklassen hinzu, darunter feinere Aktivitäten und Interaktionen. Der Datensatz führte auch ein strengeres Validierungsprotokoll ein, mit einem festen Satz von Validierungsclips, um faire Vergleiche zwischen Modellen zu ermöglichen. Kinetics-700 erweiterte die Klassenanzahl weiter und führte eine zeitliche Aufteilung ein, um die Generalisierung auf ungesehene Zeiträume zu bewerten.
Auswirkungen auf das Videoverständnis
Kinetics-600 ist zu einem Standard-Benchmark für die Erkennung von Videoaktionen geworden und treibt Fortschritte bei Architekturen wie 3D-Faltungsnetzwerken und Video-Transformatoren voran. Modelle, die auf Kinetics-600 vortrainiert wurden, dienen oft als Merkmalsextraktoren für nachgelagerte Aufgaben wie Videobeschriftung und räumlich-zeitliche Aktionserkennung. Die Vielfalt des Datensatzes hat die Entwicklung von Methoden gefördert, die sowohl Erscheinungs- als auch Bewegungshinweise erfassen, was zu Verbesserungen bei Genauigkeit und Robustheit führt. Ab 2025 erreichen modernste Modelle über 90 % Top-1-Genauigkeit auf dem Validierungssatz, eine erhebliche Verbesserung gegenüber den anfänglichen Baselines.
Einschränkungen und Kritik
Trotz seines Erfolgs wurde Kinetics-600 für potenzielle Verzerrungen kritisiert, die in YouTube-basierten Daten inhärent sind, wie etwa geografische und kulturelle Schieflagen. Die Aktionsklassen sind überwiegend westlich zentriert, was die Generalisierung von darauf trainierten Modellen auf andere Regionen einschränken könnte. Darüber hinaus konzentriert sich der Datensatz auf kurze, einzelne Aktionsclips, was die Komplexität langfristiger Aktivitäten oder Multi-Label-Szenarien nicht vollständig erfasst. Forscher haben ergänzende Datensätze wie Something-Something und Moments in Time vorgeschlagen, um einige dieser Lücken zu schließen.