Something-Something ist ein groß angelegter Videodatensatz für die feinkörnige Aktionserkennung. Er wurde 2017 von einem Forscherteam der Universität Antwerpen und des Flämischen Supercomputing-Zentrums (VSC) in Zusammenarbeit mit dem Unternehmen Something, Inc. eingeführt. Der Datensatz wurde erstellt, um eine zentrale Einschränkung früherer Aktionserkennungsdatensätze zu beheben: die Tendenz, sich auf statische visuelle Hinweise wie Objekte und Szenen zu stützen, anstatt auf die zeitliche Dynamik der Aktion selbst. Something-Something konzentriert sich auf grundlegende Alltagshandlungen, die durch ihre Bewegung und die kausale Beziehung zwischen dem Akteur und den beteiligten Objekten definiert sind, was ihn zu einem anspruchsvollen Maßstab für Modelle macht, die verstehen müssen, wie sich Aktionen im Laufe der Zeit entfalten.
Der Datensatz besteht aus über 100.000 Videos, die jeweils eine Person zeigen, die eine von 174 verschiedenen Aktionskategorien ausführt. Diese Kategorien sind bewusst einfach und abstrakt gehalten, wie zum Beispiel „etwas von links nach rechts schieben“, „etwas aufheben“ oder „etwas umdrehen“. Die Aktionen werden mit einer Vielzahl von Alltagsgegenständen ausgeführt, darunter Tassen, Bücher und Werkzeuge, die über die Videos hinweg nicht festgelegt sind. Dieses Design zwingt Modelle dazu, sich auf die Bewegungs- und Interaktionsmuster zu konzentrieren, anstatt auf die Objektidentität. Die Videos wurden per Crowdsourcing aus einem globalen Pool von Mitwirkenden erstellt, was zu einer vielfältigen Bandbreite an Hintergründen, Lichtverhältnissen und Kameraperspektiven führt. Jedes Video ist ein kurzer Clip, der in der Regel 2 bis 5 Sekunden dauert, und ist mit einer einzigen Aktionskategorie gekennzeichnet.
Motivation und Design
Die Erstellung von Something-Something wurde durch die Beobachtung motiviert, dass viele beliebte Aktionserkennungsdatensätze wie UCF-101 und HMDB-51 Videos enthielten, in denen die Aktion aus einem einzelnen Bild abgeleitet werden konnte. Beispielsweise konnte ein Video mit der Kennzeichnung „Gitarre spielen“ allein durch das Vorhandensein einer Gitarre erkannt werden. Dies ermöglichte es Modellen, durch die Ausnutzung statischer Erscheinungsverzerrungen eine hohe Genauigkeit zu erzielen, ohne Bewegung wirklich zu verstehen. Something-Something wurde entwickelt, um diese Abkürzungen zu eliminieren. In dem Datensatz kann dasselbe Objekt in vielen verschiedenen Aktionen vorkommen, und dieselbe Aktion kann an vielen verschiedenen Objekten ausgeführt werden. Daher muss ein Modell die zeitliche Abfolge der Bilder analysieren, um die Aktion korrekt zu identifizieren, was es zu einem treueren Test des zeitlichen Denkens macht.
Benchmark und Evaluierung
Der Datensatz wird üblicherweise verwendet, um die Leistung von Videoverständnismodellen zu bewerten, insbesondere von solchen, die auf Deep Learning und neuronalen Netzen basieren. Standard-Evaluierungsprotokolle beinhalten das Training auf einem bereitgestellten Trainings-Split und die Angabe der Top-1- und Top-5-Genauigkeit auf einem Validierungsset. Seit seiner Veröffentlichung ist Something-Something zu einem Standard-Benchmark in diesem Bereich geworden, neben anderen Datensätzen wie Kinetics und Moments in Time. Er ist besonders dafür bekannt, schwierig zu sein: Selbst modernste Modelle, einschließlich solcher, die Transformatoren und Residualnetze verwenden, erzielen bei diesem Datensatz eine deutlich geringere Genauigkeit als bei erscheinungsintensiven Datensätzen. Dies hat die Forschung an Architekturen vorangetrieben, die zeitliche Dynamiken besser erfassen, wie etwa 3D-Faltungsnetzwerke und Video-Transformatoren.
Auswirkungen und Einschränkungen
Something-Something hat einen bedeutenden Einfluss auf das Gebiet der künstlichen Intelligenz und des maschinellen Lernens gehabt und die Gemeinschaft zu robusterer zeitlicher Modellierung gedrängt. Er wurde auch in der Forschung zu Datenaugmentierung und Curriculum-Lernen für Videos verwendet. Der Datensatz ist jedoch nicht ohne Einschränkungen. Die Aktionskategorien sind hochgradig abstrakt, und die Crowdsourcing-Natur der Videos führt zu Label-Rauschen und Variabilität. Einige Forscher haben angemerkt, dass die Aktionen oft auf eine inszenierte Weise ausgeführt werden, die sich von natürlichem menschlichem Verhalten unterscheiden kann. Darüber hinaus ist der Datensatz im Vergleich zu neueren groß angelegten Videodatensätzen relativ klein, was die Effektivität von großen Sprachmodellen und anderen datenhungrigen Ansätzen einschränken kann, wenn sie direkt für das Vortraining verwendet werden.
Verwandte Arbeiten und Erweiterungen
Mehrere Folge-Datensätze wurden von Something-Something inspiriert, darunter Something-Else, das sich auf kompositionelle Aktionserkennung konzentriert, und Something-Something V2, eine größere Version mit mehr Videos und verbesserten Annotationen. Diese Datensätze werden weiterhin in Verbindung mit Fortschritten in der KI-Hardware verwendet, wie etwa AWS Trainium und Google Cloud TPUs, um zunehmend komplexere Modelle zu trainieren. Die Herausforderung, die Something-Something darstellt, bleibt ein aktives Forschungsgebiet, mit laufenden Bemühungen, Architekturen zu entwickeln, die über die kausale und zeitliche Struktur von Aktionen nachdenken können - eine Fähigkeit, die für Anwendungen in der Robotik, dem autonomen Fahren und der Mensch-Computer-Interaktion unerlässlich ist.