Something-Something은 미세한 동작 인식을 위한 대규모 비디오 데이터셋이다. 2017년 앤트워프 대학교와 플랑드르 슈퍼컴퓨터 센터(VSC)의 연구팀이 Something, Inc. 회사와 협력하여 도입했다. 이 데이터셋은 초기 동작 인식 데이터셋의 주요 한계, 즉 객체와 장면 같은 정적 시각적 단서에 의존하는 경향을 해결하기 위해 만들어졌다. Something-Something은 동작 자체의 시간적 역학보다는 동작과 관련된 객체 간의 인과 관계에 의해 정의되는 기본적이고 일상적인 동작에 초점을 맞춘다. 이는 시간에 따라 동작이 어떻게 전개되는지 이해해야 하는 모델에게 도전적인 벤치마크를 제공한다.
이 데이터셋은 10만 개 이상의 비디오로 구성되며, 각 비디오는 174개의 서로 다른 동작 범주 중 하나를 수행하는 사람을 보여준다. 이러한 범주는 '무언가를 왼쪽에서 오른쪽으로 밀기', '무언가를 집어 올리기', '무언가를 뒤집기'와 같이 의도적으로 단순하고 추상적이다. 동작은 컵, 책, 도구 등 다양한 일상 객체로 수행되며, 이러한 객체는 비디오 간에 고정되지 않는다. 이러한 설계는 모델이 객체의 정체성보다는 동작과 상호작용 패턴에 집중하도록 강제한다. 비디오는 전 세계 기여자 풀에서 크라우드소싱되어 다양한 배경, 조명 조건, 카메라 시점을 포함한다. 각 비디오는 일반적으로 2~5초 길이의 짧은 클립이며, 단일 동작 범주로 레이블링된다.
동기와 설계
Something-Something의 창작은 UCF-101과 HMDB-51 같은 많은 인기 동작 인식 데이터셋에서 단일 프레임으로 동작을 추론할 수 있는 비디오가 포함되어 있다는 관찰에서 비롯되었다. 예를 들어, '기타 연주'로 레이블링된 비디오는 단순히 기타의 존재만으로 인식될 수 있었다. 이는 모델이 실제 동작을 이해하지 않고도 정적 외관 편향을 활용하여 높은 정확도를 달성할 수 있게 했다. Something-Something은 이러한 지름길을 제거하기 위해 설계되었다. 이 데이터셋에서 동일한 객체는 많은 다른 동작에 나타날 수 있고, 동일한 동작은 많은 다른 객체에 수행될 수 있다. 따라서 모델은 동작을 올바르게 식별하기 위해 프레임의 시간적 시퀀스를 분석해야 하며, 이는 시간적 추론에 대한 더 충실한 테스트가 된다.
벤치마크와 평가
이 데이터셋은 특히 딥러닝과 신경망 기반의 비디오 이해 모델의 성능을 평가하는 데 일반적으로 사용된다. 표준 평가 프로토콜은 제공된 훈련 분할에서 훈련하고 검증 세트에서 top-1 및 top-5 정확도를 보고하는 것을 포함한다. 출시 이후 Something-Something은 Kinetics 및 Moments in Time과 같은 다른 데이터셋과 함께 이 분야의 표준 벤치마크가 되었다. 특히 어렵기로 유명하다. 트랜스포머와 잔차 네트워크를 사용하는 최첨단 모델조차도 외관 중심 데이터셋에 비해 이 데이터셋에서 훨씬 낮은 정확도를 달성한다. 이는 3D 합성곱 네트워크와 비디오 트랜스포머 같은 시간적 역학을 더 잘 포착하는 아키텍처에 대한 연구를 촉진했다.
영향과 한계
Something-Something은 인공지능과 머신러닝 분야에 상당한 영향을 미쳤으며, 커뮤니티를 더 강력한 시간적 모델링으로 이끌었다. 또한 비디오를 위한 데이터 증강 및 커리큘럼 학습 연구에도 사용되었다. 그러나 이 데이터셋에는 한계가 없다. 동작 범주는 매우 추상적이며, 크라우드소싱된 비디오의 특성상 레이블 노이즈와 변동성이 도입된다. 일부 연구자들은 동작이 종종 각본에 따라 수행되어 자연스러운 인간 행동과 다를 수 있다고 지적했다. 또한 이 데이터셋은 최근의 대규모 비디오 데이터셋에 비해 상대적으로 작아, 대규모 언어 모델과 같은 데이터 집약적 접근법을 사전 훈련에 직접 사용할 때 효과를 제한할 수 있다.
관련 연구와 확장
Something-Something에서 영감을 받은 여러 후속 데이터셋이 있다. 구성적 동작 인식에 초점을 맞춘 Something-Else와 더 많은 비디오와 개선된 주석을 포함하는 더 큰 버전인 Something-Something V2가 그 예이다. 이러한 데이터셋은 AWS Trainium 및 Google Cloud TPU와 같은 AI 하드웨어의 발전과 함께 점점 더 복잡한 모델을 훈련하는 데 계속 사용된다. Something-Something이 제기하는 도전은 여전히 활발한 연구 영역으로, 동작의 인과적 및 시간적 구조를 추론할 수 있는 아키텍처를 개발하려는 지속적인 노력이 있다. 이러한 능력은 로봇 공학, 자율 주행, 인간-컴퓨터 상호작용 분야의 응용에 필수적이다.