Something-Something是一个用于细粒度动作识别的大规模视频数据集。它于2017年由安特卫普大学和佛兰德超级计算中心（VSC）的研究团队，与Something, Inc.公司合作推出。该数据集的创建旨在解决早期动作识别数据集中的一个关键局限：即倾向于依赖静态视觉线索（如物体和场景），而非动作本身的时间动态。Something-Something聚焦于由运动以及动作主体与所涉及物体之间因果关系所定义的基本日常动作，使其成为对模型必须理解动作如何随时间展开这一能力的一项具有挑战性的基准。
该数据集包含超过100,000个视频，每个视频展示一个人执行174个不同动作类别之一。这些类别刻意设计得简单且抽象，例如“将某物从左推到右”、“拿起某物”或“将某物倒转”。动作使用各种日常物品（包括杯子、书籍和工具）执行，这些物品在不同视频中并不固定。这种设计迫使模型专注于运动和交互模式，而非物体身份。视频由全球范围内的贡献者众包制作，导致背景、光照条件和摄像机视角的多样性。每个视频都是短视频片段，通常持续2至5秒，并标注有一个动作类别。
动机与设计
Something-Something的创建动机源于观察到许多流行的动作识别数据集（如UCF-101和HMDB-51）中的视频可以通过单帧推断出动作。例如，标注为“弹吉他”的视频仅凭吉他的存在即可被识别。这使得模型能够通过利用静态外观偏差获得高准确率，而无需真正理解运动。Something-Something旨在消除这些捷径。在该数据集中，同一物体可以出现在许多不同动作中，同一动作也可以在许多不同物体上执行。因此，模型必须分析帧的时间序列才能正确识别动作，使其成为对时间推理更忠实的测试。
基准与评估
该数据集常用于评估视频理解模型的性能，特别是基于深度学习和神经网络的模型。标准评估协议包括在提供的训练划分上进行训练，并在验证集上报告top-1和top-5准确率。自发布以来，Something-Something已成为该领域的标准基准，与Kinetics和Moments in Time等其他数据集并列。它尤其以难度高而闻名：即使是使用变换器和残差网络的最先进模型，在该数据集上的准确率也显著低于外观密集型数据集。这推动了针对更好捕捉时间动态的架构研究，例如3D卷积网络和视频变换器。
影响与局限
Something-Something对人工智能和机器学习领域产生了显著影响，推动社区走向更稳健的时间建模。它也被用于数据增强和课程学习在视频领域的研究。然而，该数据集并非没有局限。动作类别高度抽象，众包视频引入了标签噪声和变异性。一些研究者指出，动作通常以脚本化方式执行，这可能与自然的人类行为有所不同。此外，与最近的大规模视频数据集相比，该数据集相对较小，这可能会限制大型语言模型和其他数据密集型方法在直接用于预训练时的有效性。
相关工作与扩展
受Something-Something启发，出现了几个后续数据集，包括专注于组合动作识别的Something-Else，以及更大版本、包含更多视频和改进标注的Something-Something V2。这些数据集继续与AI硬件（如AWS Trainium和Google Cloud TPU）的进步结合使用，以训练日益复杂的模型。Something-Something所提出的挑战仍是一个活跃的研究领域，持续努力开发能够推理动作因果和时间结构的架构，这种能力对于机器人技术、自动驾驶和人机交互等应用至关重要。