Something-Something est un jeu de données vidéo à grande échelle pour la reconnaissance fine des actions. Il a été introduit en 2017 par une équipe de chercheurs de l'Université d'Anvers et du Centre de calcul intensif flamand (VSC), en collaboration avec la société Something, Inc. Le jeu de données a été créé pour remédier à une limitation clé des jeux de données de reconnaissance d'actions antérieurs : la tendance à s'appuyer sur des indices visuels statiques, tels que les objets et les scènes, plutôt que sur la dynamique temporelle de l'action elle-même. Something-Something se concentre sur des actions quotidiennes de base, définies par leur mouvement et la relation causale entre l'acteur et les objets impliqués, ce qui en fait une référence difficile pour les modèles qui doivent comprendre comment les actions se déroulent dans le temps.
Le jeu de données se compose de plus de 100 000 vidéos, chacune montrant une personne effectuant l'une des 174 catégories d'actions distinctes. Ces catégories sont délibérément simples et abstraites, comme « pousser quelque chose de gauche à droite », « ramasser quelque chose » ou « retourner quelque chose ». Les actions sont réalisées avec une grande variété d'objets quotidiens, notamment des tasses, des livres et des outils, qui ne sont pas fixes d'une vidéo à l'autre. Cette conception force les modèles à se concentrer sur le mouvement et les schémas d'interaction plutôt que sur l'identité des objets. Les vidéos ont été collectées via le crowdsourcing auprès d'un groupe mondial de contributeurs, ce qui a donné lieu à une diversité de fonds, de conditions d'éclairage et de perspectives de caméra. Chaque vidéo est un court clip, d'une durée typique de 2 à 5 secondes, et est étiquetée avec une seule catégorie d'action.
Motivation et conception
La création de Something-Something a été motivée par l'observation que de nombreux jeux de données de reconnaissance d'actions populaires, tels que UCF-101 et HMDB-51, contenaient des vidéos où l'action pouvait être déduite à partir d'une seule image. Par exemple, une vidéo étiquetée « jouer de la guitare » pouvait être reconnue simplement par la présence d'une guitare. Cela permettait aux modèles d'atteindre une haute précision en exploitant les biais d'apparence statique, sans comprendre réellement le mouvement. Something-Something a été conçu pour éliminer ces raccourcis. Dans le jeu de données, le même objet peut apparaître dans de nombreuses actions différentes, et la même action peut être réalisée sur de nombreux objets différents. Par conséquent, un modèle doit analyser la séquence temporelle des images pour identifier correctement l'action, ce qui en fait un test plus fidèle du raisonnement temporel.
Référence et évaluation
Le jeu de données est couramment utilisé pour évaluer les performances des modèles de compréhension vidéo, en particulier ceux basés sur le apprentissage profond et les réseaux de neurones. Les protocoles d'évaluation standard impliquent un entraînement sur une division d'entraînement fournie et le rapport de la précision top-1 et top-5 sur un ensemble de validation. Depuis sa publication, Something-Something est devenu une référence standard dans le domaine, aux côtés d'autres jeux de données comme Kinetics et Moments in Time. Il est particulièrement connu pour être difficile : même les modèles de pointe, y compris ceux utilisant des transformeurs et des réseaux résiduels, atteignent une précision nettement inférieure sur ce jeu de données par rapport aux jeux de données axés sur l'apparence. Cela a stimulé la recherche sur des architectures qui capturent mieux la dynamique temporelle, comme les réseaux convolutifs 3D et les transformeurs vidéo.
Impact et limites
Something-Something a eu un impact significatif sur le domaine de l'intelligence artificielle et du apprentissage automatique, poussant la communauté vers une modélisation temporelle plus robuste. Il a également été utilisé dans la recherche sur l'augmentation de données et l'apprentissage curriculaire pour la vidéo. Cependant, le jeu de données n'est pas sans limites. Les catégories d'actions sont hautement abstraites, et la nature participative des vidéos introduit du bruit d'étiquetage et de la variabilité. Certains chercheurs ont noté que les actions sont souvent réalisées de manière scénarisée, ce qui peut différer du comportement humain naturaliste. De plus, le jeu de données est relativement petit par rapport aux jeux de données vidéo à grande échelle plus récents, ce qui peut limiter l'efficacité des grands modèles de langage et d'autres approches gourmandes en données lorsqu'ils sont utilisés directement pour le pré-entraînement.
Travaux connexes et extensions
Plusieurs jeux de données de suivi ont été inspirés par Something-Something, notamment Something-Else, qui se concentre sur la reconnaissance compositionnelle d'actions, et Something-Something V2, une version plus grande avec plus de vidéos et des annotations améliorées. Ces jeux de données continuent d'être utilisés en conjonction avec les avancées matérielles en IA, telles que les AWS Trainium et les TPU Google Cloud, pour entraîner des modèles de plus en plus complexes. Le défi posé par Something-Something reste un domaine de recherche actif, avec des efforts continus pour développer des architectures capables de raisonner sur la structure causale et temporelle des actions, une capacité essentielle pour des applications en robotique, en conduite autonome et en interaction homme-machine.