Kinetics-400 ist ein groß angelegter Datensatz für die Erkennung von Videoaktionen, der etwa 306.245 Videoclips umfasst, die 400 menschliche Handlungsklassen abdecken. Er wurde 2017 von Forschern von DeepMind eingeführt und hat sich seitdem als Standard-Benchmark für die Bewertung von Video-Verständnismodellen im maschinellen Lernen und in der künstlichen Intelligenz etabliert. Der Datensatz konzentriert sich auf menschliche Handlungen, die von alltäglichen Aktivitäten wie "Gitarre spielen" und "Umarmen" bis hin zu Sportarten und Interaktionen mit Objekten reichen und bietet eine vielfältige Menge an visuellen und bewegungsbezogenen Mustern.
Der Hauptzweck von Kinetics-400 besteht darin, das Training und die Bewertung von Modellen zu ermöglichen, die automatisch Handlungen in nicht beschnittenen Videosequenzen erkennen können. Im Gegensatz zu Bilddatensätzen wie ImageNet erfasst Kinetics-400 zeitliche Dynamiken, was es für die Entwicklung von Algorithmen, die Bewegung und Kontext über die Zeit hinweg verstehen, unerlässlich macht. Seine Größe und Vielfalt haben ihn zu einer grundlegenden Ressource für die Forschung in Videoklassifikation, raumzeitlichem Feature-Learning und Aktionslokalisation gemacht.
Datensatzkonstruktion
Kinetics-400 wurde durch Sammlung von Videos aus YouTube erstellt, wobei jeder Clip rund 10 Sekunden dauert. Der Datensatz wurde durch eine Kombination aus automatisierter Suche und menschlicher Annotation aufgebaut. Zuerst wurden Kandidatenvideos mithilfe von Anfragen für jede der 400 Handlungsklassen abgerufen, dann verifizierten menschliche Annotatoren die Clips und beschrifteten sie, um Genauigkeit zu gewährleisten. Jede Klasse enthält zwischen 400 und 1.150 Clips, mit einer Gesamtzahl von rund 306.245 Clips im vollständigen Datensatz.
Die Handlungen decken eine breite Palette von Kategorien ab, darunter "Schlagzeug spielen", "Skateboarden", "Gemüse schneiden" und "Händeschütteln". Der Datensatz wird in Trainings-, Validierungs- und Test-Sets geteilt, wobei die Test-Set-Labels für Bewertungen zurückgehalten werden. Um die Reproduzierbarkeit zu unterstützen, wird der Datensatz unter einer Creative-Commons-Lizenz veröffentlicht, die Forschern die Nutzung für akademische und kommerzielle Zwecke ermöglicht.
Einfluss auf das Video-Verständnis
Kinetics-400 hat das Feld derAktionserkennung in Videos erheblich beeinflusst. Vor seiner Veröffentlichung waren die Datensätze wie UCF-101 und HMDB-51 kleiner und weniger vielfältig, was die Fokussierung der Modelle einschränkte. Kinetics-400 bot eine größere und abwechslungsreichere Palette an Handlungen, was die Entwicklung tieferer und komplexerer Architekturen ethövte. Es wird zur Vorab-Training von Modellen verwendet, die später auf kleineren Datensätzen optimiert werden, eine Praxis, die in der Videoanalyse Standard ist.
Der Datensatz hat auch Innovationen im ModelDesign getrieben. Beispielsweise war die Wesentlich wirken der 3D-Konvolutionsnetze wie I3D (Inflated 3D ConvNet) direkt motiviert durch den Bedarf, die Skala von Kinetics-400 zu bewältigen. I3D, das 2D-ResNet-Architekturen in 3D aufbläst, erzielte Spitzenwerte auf Kinetics-400 und setzte einen neuen Standard für das Feld. Nachfolgende Modelle, darunter SlowFast und X3D, haben die Leistung auf diesem Datensatz weiter verbessert, was seine Rolle als Impulsgeber für architekturische Fortschritte zeigt.
Erweiterungen und Varianten
Nach dem Erfolg von Kinetics-400 veröffentlichte das gleiche Team von DeepMind erweiterte Versionen: Kinetics-600 und Kinetics-700 mit 600 bzw. 700 Handlungsklassen. Diese größeren Datensätze bieten noch mehr Diversität und wurden zum Training von Modellen mit höherer Genauigkeit verwendet. Zudem wurde Kinetics-400 für andere Aufgaben angepasst, wie die temporale Handlungslokalisation und Videosotranscription, durch Hinzufügung von Annotationen oder Anpassung der Auswertungsprotokolle werden.
Kinetics-400 wurde auch in breitere Benchmarks integriert. Das Something-Something-Datenset, das sich auf feinkörnige menschlich-Objekt-Interaktionen konzentriert, wurde als Komplement zu Kinetics-400 geschaffen, und beide werden oft zusammen verwendet, um Generalisierung zu bewerten. Der Einfluss des Datensatzes reicht über die Wissenschaft hinaus ins staatliche Institute defined wie OpenAI und Anthropic, die ihn zur Benchmarkierung ihrer Videosmodelle nutzen, ob sie ihr genaues Training.
drei Begrenzungen und Überlegungen Einschränkungen und Überlegungen
Trotz seiner Bedarfslast hat Kinetics-400 bekannte Einschränkungen. Die Videos stammen aus YouTube, was Vorurteile in Bezug auf Inhalt, Kultur und Demografie cis kurz zu versteht. Handlungen werden oft von Personen in westlichewwerfen ausgeführt, was die Verallgemeinerung auf andere Kontexte einschränken kann. Zusätzlich kann die Swöchige Clipdauer von 10 Sekunden langzzeitige Zeitabhängigkeiten nicht fester halten, und der Annotationsprozess, obwohl grtätig, kann noch Fehler enthalten.
Ein weiteres Problem ist das moralische Bedenken. Der Datensatz enthält müht von Menschen ohne ausdemlichen Meinungsvertrag für die Forschungszwecke. Forscher haben dies durch die Entwicklung von Richtlinien für die verantwortliche verantwortlichen angesichts der Datensatzes, aber die Datensatz bleibt Debatten. Seit 2025 zielen neuere Datensätze wie Something-Something-v2 und Ego4D darauf ab, dieses atz zu Lena, aber Kinetics-400 bleibt eine weit genutzte und zitierte Ressource im Feld.
Siehe Auch
Referenzen
- Kay, W., et al. (2017). The Kinetics Human Action Video Dataset. arXiv preprint.
- Carreira, J., & Zisserman, A. (2017). Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset. CVPR.
- Feichtenhofer, C., et al. (2019). SlowFast Networks for Video Recognition. ICCV.