Kinetics-700은 비디오 동작 인식을 위한 대규모 데이터셋으로, 700개의 인간 동작 클래스와 약 650,000개의 비디오 클립을 포함한다. 2019년 DeepMind(현재 Google DeepMind의 일부)의 연구자들이 이전의 Kinetics-400 및 Kinetics-600 데이터셋의 후속 버전으로 도입했다. 이 데이터셋은 동작 분류 및 시간적 위치 파악과 같은 비디오 이해 작업에서 딥러닝 모델을 훈련하고 평가하기 위한 벤치마크로 널리 사용된다.
Kinetics-700의 비디오는 공개적으로 이용 가능한 YouTube 클립에서 수집되었으며, 각 클립은 10초의 고정된 길이로 잘렸다. 동작 클래스는 스포츠, 요리, 개인 관리, 사회적 상호작용을 포함한 일상적인 인간 활동의 광범위한 범위를 다룬다. 각 클래스는 600~1,000개의 비디오 클립을 포함하여 범주 간 균형 잡힌 분포를 보장한다. 데이터셋은 훈련, 검증, 테스트 세트로 분할되며, 테스트 세트의 레이블은 공식 평가를 위해 공개되지 않는다.
구축 및 주석
Kinetics-700의 구축은 반자동 파이프라인을 따랐다. 후보 비디오는 처음에 각 동작 클래스에 대한 검색 쿼리를 사용하여 검색된 후, 자동 검사와 인간 주석의 조합을 통해 필터링되었다. 주석자는 각 클립이 대상 동작을 올바르게 묘사하는지 확인했으며, 모호하거나 품질이 낮은 클립은 폐기되었다. 최종 데이터셋은 시간적 일관성을 보장하도록 선별되었으며, 각 클립은 단일하고 명확하게 식별 가능한 동작을 포함한다.
이전 버전과 비교하여 Kinetics-700은 "아코디언 연주"와 "하모니카 연주"와 같은 세분화된 구분을 포함한 더 다양한 동작 클래스를 도입했다. 이러한 증가된 세분성은 모델에게 더 큰 도전을 제기하며, 미묘한 움직임과 맥락 신호를 포착해야 한다.
비디오 인식 연구에 미치는 영향
Kinetics-700은 비디오 동작 인식 분야의 표준 벤치마크가 되었다. 이는 하위 작업(예: 시공간 동작 위치 파악 또는 비디오 캡셔닝)에 미세 조정하기 전에 대규모 비디오 데이터로 모델을 사전 훈련하는 데 일반적으로 사용된다. 이 데이터셋은 3D 잔차 네트워크 및 비디오 트랜스포머와 같은 아키텍처의 발전을 이끌었으며, 이들은 검증 세트에서 최첨단 결과를 달성했다.
연구자들은 또한 Kinetics-700을 사용하여 다양한 도메인에서 비디오 모델의 일반화를 연구했다. 예를 들어, Kinetics-700으로 훈련된 모델은 적절히 미세 조정될 때 Something-Something 및 UCF101과 같은 다른 비디오 데이터셋으로 잘 전이되는 것으로 나타났다. 데이터셋의 규모와 다양성은 머신러닝 접근 방식을 비디오 이해에 적용하는 데 핵심 자원이 되었다.
평가 및 지표
Kinetics-700의 표준 평가는 검증 세트에서 top-1 및 top-5 정확도를 사용한다. 테스트 세트 레이블이 공개되지 않기 때문에 대부분의 발표된 결과는 검증 정확도를 보고한다. 공식 평가 프로토콜은 모델이 시간적 위치 파악 없이 각 10초 클립에 대해 단일 동작 레이블을 예측하도록 요구한다. 이 설정은 짧고 잘린 비디오 세그먼트에서 동작을 인식하는 능력을 강조한다.
실제로 많은 모델이 Kinetics-700에서 70-80% 범위의 top-1 정확도를 달성하며, 최고 성능의 아키텍처는 다중 스케일 시간적 모델링과 주의 메커니즘을 통합한다. 데이터셋은 또한 비디오 표현 학습의 평가를 지원하며, 여기서 모델은 Kinetics-700에서 사전 훈련된 후 선형 프로빙 또는 미세 조정을 통해 다른 작업에서 평가된다.
한계 및 고려 사항
유용성에도 불구하고 Kinetics-700은 알려진 한계가 있다. 데이터셋은 YouTube에 잘 표현된 동작에 편향되어 있으며, 이는 실제 환경에서 인간 활동의 전체 다양성을 반영하지 않을 수 있다. 또한 10초 클립 길이는 식사 요리나 가구 조립과 같이 더 긴 시간 척도에 걸쳐 전개되는 동작에는 충분하지 않을 수 있다. 연구자들은 데이터셋의 클래스 분포가 동작 자체보다는 배경 맥락에 과도하게 민감한 모델을 초래할 수 있다고 지적했다.
공개적으로 이용 가능한 YouTube 비디오의 사용은 개인이 명시적 동의 없이 등장할 수 있으므로 개인 정보 보호 및 윤리적 우려도 발생한다. 데이터셋은 연구 목적으로 의도되었으며, 사용자는 이를 기반으로 훈련된 모델을 배포할 때 이러한 문제를 고려하는 것이 권장된다.
관련 데이터셋 및 확장
Kinetics-700은 Kinetics-400, Kinetics-600 및 클래스 목록을 업데이트하고 새 클립을 추가한 최신 Kinetics-700-2020을 포함한 더 넓은 Kinetics 데이터셋 계열의 일부이다. Something-Something 및 ActivityNet과 같은 다른 관련 벤치마크는 세분화된 객체 상호작용 또는 시간적 활동 감지와 같은 비디오 이해의 다른 측면에 초점을 맞춘다. Kinetics-700을 위해 개발된 데이터 증강 기술은 다른 비디오 데이터셋 및 모델 훈련 파이프라인에도 영향을 미쳤다.