Kinetics-700 ist ein groß angelegter Datensatz für die Erkennung von Aktionen in Videos, der 700 Klassen menschlicher Aktionen und etwa 650.000 Videoclips umfasst. Er wurde 2019 von Forschern bei DeepMind (heute Teil von Google DeepMind) als Nachfolger der früheren Datensätze Kinetics-400 und Kinetics-600 eingeführt. Der Datensatz wird weithin als Benchmark für das Training und die Evaluierung von Deep-Learning-Modellen bei Video-Verständnisaufgaben wie Aktionsklassifikation und zeitlicher Lokalisierung verwendet.
Die Videos in Kinetics-700 stammen aus öffentlich verfügbaren YouTube-Clips, die jeweils auf eine feste Dauer von 10 Sekunden zugeschnitten sind. Die Aktionsklassen decken ein breites Spektrum alltäglicher menschlicher Aktivitäten ab, darunter Sport, Kochen, Körperpflege und soziale Interaktionen. Jede Klasse enthält zwischen 600 und 1.000 Videoclips, was eine ausgewogene Verteilung über die Kategorien gewährleistet. Der Datensatz ist in Trainings-, Validierungs- und Testsets unterteilt, wobei die Labels des Testsets für die offizielle Evaluierung zurückgehalten werden.
Konstruktion und Annotation
Die Konstruktion von Kinetics-700 folgte einer halbautomatischen Pipeline. Kandidatenvideos wurden zunächst mithilfe von Suchanfragen für jede Aktionsklasse abgerufen und dann durch eine Kombination aus automatisierten Prüfungen und menschlicher Annotation gefiltert. Annotatoren verifizierten, dass jeder Clip korrekt die Zielaktion darstellte, und mehrdeutige oder minderwertige Clips wurden verworfen. Der endgültige Datensatz wurde kuratiert, um zeitliche Konsistenz zu gewährleisten, wobei jeder Clip eine einzelne, klar identifizierbare Aktion enthält.
Im Vergleich zu seinen Vorgängern führte Kinetics-700 eine vielfältigere Menge an Aktionsklassen ein, einschließlich feinkörniger Unterscheidungen wie „Akkordeon spielen“ versus „Mundharmonika spielen“. Diese erhöhte Granularität stellt eine größere Herausforderung für Modelle dar, da sie subtile Bewegungs- und Kontextsignale erfassen müssen.
Auswirkungen auf die Forschung zur Videoerkennung
Kinetics-700 ist zu einem Standard-Benchmark im Bereich der Erkennung von Aktionen in Videos geworden. Es wird häufig verwendet, um Modelle auf großen Video-Datensätzen vorzutrainieren, bevor sie auf nachgelagerte Aufgaben wie die räumlich-zeitliche Aktionslokalisierung oder Videobeschriftung feinabgestimmt werden. Der Datensatz hat Fortschritte bei Architekturen wie 3D-Residualnetzwerken und Video-Transformatoren vorangetrieben, die auf seinem Validierungsset Spitzenergebnisse erzielt haben.
Forscher haben Kinetics-700 auch genutzt, um die Generalisierung von Videomodellen über verschiedene Domänen hinweg zu untersuchen. Beispielsweise wurde gezeigt, dass Modelle, die auf Kinetics-700 trainiert wurden, bei entsprechender Feinabstimmung gut auf andere Video-Datensätze wie Something-Something und UCF101 übertragbar sind. Die Größe und Vielfalt des Datensatzes haben ihn zu einer wichtigen Ressource für die Weiterentwicklung von maschinellen Lern-Ansätzen für das Video-Verständnis gemacht.
Evaluierung und Metriken
Die Standard-Evaluierung auf Kinetics-700 verwendet die Top-1- und Top-5-Genauigkeit auf dem Validierungsset. Da die Labels des Testsets nicht öffentlich freigegeben sind, berichten die meisten veröffentlichten Ergebnisse die Validierungsgenauigkeit. Das offizielle Evaluierungsprotokoll verlangt, dass Modelle für jeden 10-Sekunden-Clip ein einzelnes Aktionslabel vorhersagen, ohne zeitliche Lokalisierung. Dieses Setup betont die Fähigkeit, Aktionen aus kurzen, zugeschnittenen Videosegmenten zu erkennen.
In der Praxis erreichen viele Modelle auf Kinetics-700 eine Top-1-Genauigkeit im Bereich von 70-80 %, wobei die leistungsfähigsten Architekturen mehrskalige zeitliche Modellierung und Aufmerksamkeitsmechanismen integrieren. Der Datensatz unterstützt auch die Evaluierung des Lernens von Videorepräsentationen, bei dem Modelle auf Kinetics-700 vortrainiert und dann über lineare Sondierung oder Feinabstimmung auf anderen Aufgaben evaluiert werden.
Einschränkungen und Überlegungen
Trotz seiner Nützlichkeit hat Kinetics-700 bekannte Einschränkungen. Der Datensatz ist auf Aktionen ausgerichtet, die auf YouTube gut repräsentiert sind, was möglicherweise nicht die volle Vielfalt menschlicher Aktivitäten in realen Umgebungen widerspiegelt. Darüber hinaus kann die 10-Sekunden-Cliplänge für Aktionen unzureichend sein, die sich über längere Zeiträume entfalten, wie das Kochen einer Mahlzeit oder das Zusammenbauen von Möbeln. Forscher haben festgestellt, dass die Klassenverteilung des Datensatzes zu Modellen führen kann, die übermäßig empfindlich auf den Hintergrundkontext reagieren, anstatt auf die Aktion selbst.
Datenschutz- und ethische Bedenken ergeben sich auch aus der Verwendung öffentlich verfügbarer YouTube-Videos, da Einzelpersonen ohne ausdrückliche Zustimmung erscheinen können. Der Datensatz ist für Forschungszwecke gedacht, und Benutzer werden ermutigt, diese Probleme zu berücksichtigen, wenn sie darauf trainierte Modelle einsetzen.
Verwandte Datensätze und Erweiterungen
Kinetics-700 ist Teil einer breiteren Familie von Kinetics-Datensätzen, einschließlich Kinetics-400, Kinetics-600 und dem neueren Kinetics-700-2020, der die Klassenliste aktualisierte und neue Clips hinzufügte. Andere verwandte Benchmarks wie Something-Something und ActivityNet konzentrieren sich auf unterschiedliche Aspekte des Video-Verständnisses, wie feinkörnige Objektinteraktionen oder zeitliche Aktionserkennung. Die für Kinetics-700 entwickelten Datenaugmentierungs-Techniken haben auch andere Video-Datensätze und Modelltraining-Pipelines beeinflusst.