Kinetics-400 est un jeu de données à grande échelle pour la reconnaissance d'actions vidéo, contenant environ 306 245 clips vidéo couvrant 400 classes d'actions humaines. Il a été introduit par des chercheurs de DeepMind en 2017 et est depuis devenu une référence standard pour évaluer les modèles de compréhension vidéo en apprentissage automatique et en intelligence artificielle. Le jeu de données se concentre sur les actions humaines, allant d'activités quotidiennes comme « jouer de la guitare » et « faire un câlin » à des sports et des interactions avec des objets, offrant un ensemble diversifié de motifs visuels et de mouvement.
L'objectif principal de Kinetics-400 est de permettre l'entraînement et l'évaluation de modèles capables de reconnaître automatiquement des actions dans des séquences vidéo non découpées. Contrairement aux jeux de données d'images comme ImageNet, Kinetics-400 capture la dynamique temporelle, ce qui le rend essentiel pour développer des algorithmes qui comprennent le mouvement et le contexte au fil du temps. Son échelle et sa diversité en ont fait une ressource fondamentale pour la recherche en classification vidéo, en apprentissage de caractéristiques spatio-temporelles et en localisation d'actions.
Construction du jeu de données
Kinetics-400 a été construit en collectant des vidéos sur YouTube, chaque clip durant environ 10 secondes. Le jeu de données a été élaboré grâce à une combinaison de recherche automatisée et d'annotation humaine. Initialement, des vidéos candidates ont été récupérées à l'aide de requêtes pour chacune des 400 classes d'actions, puis des annotateurs humains ont vérifié et étiqueté les clips pour garantir leur précision. Chaque classe contient entre 400 et 1 150 clips, avec un total d'environ 306 245 clips dans le jeu de données complet.
Les actions couvrent une large gamme de catégories, notamment « jouer de la batterie », « faire du skateboard », « couper des légumes » et « se serrer la main ». Le jeu de données est divisé en ensembles d'entraînement, de validation et de test, les étiquettes de l'ensemble de test étant retenues pour l'évaluation. Pour soutenir la reproductibilité, le jeu de données est publié sous une licence Creative Commons, permettant aux chercheurs de l'utiliser à des fins académiques et commerciales.
Impact sur la compréhension vidéo
Kinetics-400 a considérablement influencé le domaine de la reconnaissance d'actions vidéo. Avant sa publication, des jeux de données comme UCF-101 et HMDB-51 étaient plus petits et moins diversifiés, limitant la capacité des modèles à généraliser. Kinetics-400 a fourni un ensemble d'actions plus vaste et plus varié, permettant le développement d'architectures plus profondes et plus complexes. Il a été utilisé pour pré-entraîner des modèles ensuite affinés sur des jeux de données plus petits, une pratique devenue standard dans l'analyse vidéo.
Le jeu de données a également stimulé des innovations dans la conception de modèles. Par exemple, l'introduction de réseaux convolutifs 3D, tels que I3D (Inflated 3D ConvNet), a été directement motivée par la nécessité de gérer l'échelle de Kinetics-400. I3D, qui gonfle les architectures 2D ResNet en 3D, a obtenu des résultats de pointe sur Kinetics-400 et a établi une nouvelle référence pour le domaine. Des modèles ultérieurs, notamment SlowFast et X3D, ont encore amélioré les performances sur ce jeu de données, démontrant son rôle en tant que moteur de progrès architectural.
Extensions et variantes
Suite au succès de Kinetics-400, la même équipe de DeepMind a publié des versions étendues : Kinetics-600 et Kinetics-700, avec respectivement 600 et 700 classes d'actions. Ces jeux de données plus grands offrent encore plus de diversité et ont été utilisés pour entraîner des modèles avec une précision supérieure. De plus, Kinetics-400 a été adapté pour d'autres tâches, telles que la localisation temporelle d'actions et le sous-titrage vidéo, en ajoutant des annotations ou en modifiant les protocoles d'évaluation.
Kinetics-400 a également été intégré dans des références plus larges. Par exemple, le jeu de données Something-Something, qui se concentre sur les interactions fines entre humains et objets, a été créé comme complément à Kinetics-400, et les deux sont souvent utilisés ensemble pour évaluer la généralisation des modèles. L'influence du jeu de données s'étend au-delà du monde académique, avec des laboratoires industriels comme OpenAI et Anthropic qui l'utilisent pour évaluer leurs modèles vidéo, bien qu'ils ne divulguent généralement pas leurs détails d'entraînement exacts.
Limites et considérations
Malgré son utilité, Kinetics-400 présente des limites connues. Les vidéos proviennent de YouTube, ce qui introduit des biais en termes de contenu, de culture et de démographie. Les actions sont souvent réalisées par des individus dans des contextes occidentaux, ce qui peut limiter la capacité du modèle à généraliser à d'autres contextes. De plus, la durée de 10 secondes des clips peut ne pas capturer les dépendances temporelles à plus long terme, et le processus d'annotation, bien que rigoureux, peut encore contenir des erreurs.
Une autre préoccupation concerne les problèmes potentiels de confidentialité et d'éthique, car le jeu de données inclut des vidéos de personnes sans consentement explicite pour une utilisation en recherche. Les chercheurs ont abordé cela en développant des lignes directrices pour une utilisation responsable, mais le jeu de données reste un sujet de débat. En 2025, des jeux de données plus récents comme Something-Something-v2 et Ego4D visent à combler certaines de ces lacunes, mais Kinetics-400 reste une ressource largement utilisée et citée dans le domaine.
Voir aussi
Références
- Kay, W., et al. (2017). The Kinetics Human Action Video Dataset. arXiv preprint.
- Carreira, J., & Zisserman, A. (2017). Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset. CVPR.
- Feichtenhofer, C., et al. (2019). SlowFast Networks for Video Recognition. ICCV.