Kinetics-600은 비디오 동작 인식을 위한 대규모 데이터셋으로, 약 480,000개의 비디오 클립이 600개의 인간 동작 클래스에 걸쳐 포함되어 있다. 이 데이터셋은 2018년 DeepMind(현재 Google DeepMind의 일부)와 옥스퍼드 대학교의 연구자들에 의해 소개되었으며, 이전의 Kinetics-400 데이터셋을 기반으로 구축되었다. 이 데이터셋은 비디오 이해 작업에서 딥러닝 모델을 훈련하고 평가하기 위한 벤치마크로 널리 사용된다.
클립은 YouTube에서 수집되었으며, '양치질'과 같은 일상적인 동작부터 스포츠 및 사물과의 상호작용에 이르기까지 다양한 인간 활동을 보여준다. 각 클립은 약 10초 길이로 잘려 단일 동작 클래스로 레이블링된다. 이 데이터셋은 실제 세계의 인간 움직임의 다양성과 복잡성을 포착하도록 설계되어, 동작 인식 알고리즘에 도전적인 테스트베드를 제공한다.
데이터셋 구축
Kinetics-600 데이터셋은 반자동 파이프라인을 통해 생성되었다. 각 동작 클래스에 대한 검색 쿼리를 사용하여 후보 비디오 URL을 수집한 후, 인간 주석자가 클립이 의도된 동작을 정확히 묘사하는지 확인했다. 주석 과정에는 레이블 정확성 확인과 모호하거나 저품질의 클립 제거를 포함한 여러 단계의 품질 관리가 포함되었다. 최종 데이터셋은 600개의 클래스를 포함하며, 각 클래스는 최소 600개의 클립을 갖추어 카테고리 간 균형 잡힌 분포를 보장한다. 총 클립 수는 약 480,000개이며, 훈련/검증/테스트 분할은 대략 70/10/20%이다.
Kinetics-400 및 Kinetics-700과의 관계
Kinetics-600은 원래의 Kinetics-400(400개 클래스, 2017년 소개)과 이후의 Kinetics-700(700개 클래스, 2019년 출시) 사이의 중간 버전이다. Kinetics-400과 비교하여 Kinetics-600은 더 세분화된 활동과 상호작용을 포함한 200개의 새로운 동작 클래스를 추가한다. 이 데이터셋은 또한 모델 간 공정한 비교를 용이하게 하기 위해 고정된 검증 클립 세트를 사용하는 더 엄격한 검증 프로토콜을 도입했다. Kinetics-700은 클래스 수를 더 확장하고, 보이지 않는 기간에 대한 일반화를 평가하기 위한 시간적 분할을 도입했다.
비디오 이해에 미치는 영향
Kinetics-600은 비디오 동작 인식을 위한 표준 벤치마크가 되었으며, 3D 컨볼루션 네트워크 및 비디오 트랜스포머와 같은 아키텍처의 발전을 주도했다. Kinetics-600에서 사전 훈련된 모델은 비디오 캡셔닝 및 시공간 동작 탐지와 같은 하위 작업을 위한 특징 추출기로 자주 사용된다. 이 데이터셋의 다양성은 외관과 움직임 신호를 모두 포착하는 방법의 개발을 장려하여 정확성과 견고성의 개선을 이끌었다. 2025년 기준, 최첨단 모델은 검증 세트에서 90% 이상의 top-1 정확도를 달성하며, 초기 기준선에서 크게 개선되었다.
한계 및 비판
성공에도 불구하고 Kinetics-600은 YouTube에서 수집된 데이터에 내재된 잠재적 편향, 예를 들어 지리적 및 문화적 편중에 대해 비판을 받아왔다. 동작 클래스는 주로 서구 중심적이어서, 이에 대해 훈련된 모델의 다른 지역으로의 일반화를 제한할 수 있다. 또한, 이 데이터셋은 짧고 단일 동작 클립에 초점을 맞추어 장기 활동이나 다중 레이블 시나리오의 복잡성을 완전히 포착하지 못한다. 연구자들은 이러한 일부 공백을 해결하기 위해 Something-Something 및 Moments in Time과 같은 보완 데이터셋을 제안했다.