Something-Something é um conjunto de dados de vídeo em larga escala para reconhecimento de ações de granulação fina. Foi introduzido em 2017 por uma equipe de pesquisadores da Universidade de Antuérpia e do Centro de Supercomputação Flamengo (VSC), em colaboração com a empresa Something, Inc. O conjunto de dados foi criado para abordar uma limitação fundamental em conjuntos de dados anteriores de reconhecimento de ações: a tendência de depender de pistas visuais estáticas, como objetos e cenas, em vez da dinâmica temporal da própria ação. Something-Something foca em ações básicas do cotidiano que são definidas pelo seu movimento e pela relação causal entre o ator e os objetos envolvidos, tornando-o um benchmark desafiador para modelos que precisam entender como as ações se desenrolam ao longo do tempo.
O conjunto de dados consiste em mais de 100.000 vídeos, cada um mostrando uma pessoa realizando uma de 174 categorias distintas de ação. Essas categorias são deliberadamente simples e abstratas, como 'empurrar algo da esquerda para a direita', 'pegar algo' ou 'virar algo de cabeça para baixo'. As ações são realizadas com uma ampla variedade de objetos do cotidiano, incluindo copos, livros e ferramentas, que não são fixos entre os vídeos. Esse design força os modelos a se concentrarem no movimento e nos padrões de interação, em vez da identidade do objeto. Os vídeos foram coletados por meio de crowdsourcing de um grupo global de colaboradores, resultando em uma diversidade de fundos, condições de iluminação e perspectivas de câmera. Cada vídeo é um clipe curto, geralmente durando de 2 a 5 segundos, e é rotulado com uma única categoria de ação.
Motivação e Design
A criação do Something-Something foi motivada pela observação de que muitos conjuntos de dados populares de reconhecimento de ações, como UCF-101 e HMDB-51, continham vídeos onde a ação poderia ser inferida a partir de um único quadro. Por exemplo, um vídeo rotulado como 'tocando guitarra' poderia ser reconhecido simplesmente pela presença de uma guitarra. Isso permitia que os modelos alcançassem alta precisão explorando vieses de aparência estática, sem realmente entender o movimento. Something-Something foi projetado para eliminar esses atalhos. No conjunto de dados, o mesmo objeto pode aparecer em muitas ações diferentes, e a mesma ação pode ser realizada em muitos objetos diferentes. Portanto, um modelo deve analisar a sequência temporal de quadros para identificar corretamente a ação, tornando-o um teste mais fiel do raciocínio temporal.
Benchmark e Avaliação
O conjunto de dados é comumente usado para avaliar o desempenho de modelos de compreensão de vídeo, particularmente aqueles baseados em aprendizado profundo e redes neurais. Protocolos de avaliação padrão envolvem treinar em uma divisão de treinamento fornecida e relatar a precisão top-1 e top-5 em um conjunto de validação. Desde seu lançamento, Something-Something se tornou um benchmark padrão no campo, ao lado de outros conjuntos de dados como Kinetics e Moments in Time. É particularmente conhecido por ser difícil: mesmo modelos de última geração, incluindo aqueles que usam transformadores e redes residuais, alcançam precisão significativamente menor neste conjunto de dados em comparação com conjuntos de dados pesados em aparência. Isso estimulou pesquisas em arquiteturas que capturam melhor a dinâmica temporal, como redes convolucionais 3D e transformadores de vídeo.
Impacto e Limitações
Something-Something teve um impacto significativo no campo da inteligência artificial e aprendizado de máquina, impulsionando a comunidade em direção a uma modelagem temporal mais robusta. Também foi usado em pesquisas sobre aumento de dados e aprendizado curricular para vídeo. No entanto, o conjunto de dados não está isento de limitações. As categorias de ação são altamente abstratas, e a natureza de crowdsourcing dos vídeos introduz ruído de rótulo e variabilidade. Alguns pesquisadores notaram que as ações são frequentemente realizadas de maneira roteirizada, o que pode diferir do comportamento humano naturalista. Além disso, o conjunto de dados é relativamente pequeno em comparação com conjuntos de dados de vídeo em larga escala mais recentes, o que pode limitar a eficácia de grandes modelos de linguagem e outras abordagens que exigem muitos dados quando usados diretamente para pré-treinamento.
Trabalhos Relacionados e Extensões
Vários conjuntos de dados de acompanhamento foram inspirados por Something-Something, incluindo Something-Else, que foca no reconhecimento de ações composicionais, e Something-Something V2, que é uma versão maior com mais vídeos e anotações melhoradas. Esses conjuntos de dados continuam a ser usados em conjunto com avanços em hardware de IA, como AWS Trainium e TPUs do Google Cloud, para treinar modelos cada vez mais complexos. O desafio proposto por Something-Something permanece uma área ativa de pesquisa, com esforços contínuos para desenvolver arquiteturas que possam raciocinar sobre a estrutura causal e temporal das ações, uma capacidade essencial para aplicações em robótica, direção autônoma e interação humano-computador.