ActivityNetは、時間的行動位置特定と行動認識の研究を進めるために設計された大規模なビデオデータセットです。このデータセットは、密に注釈付けされたビデオセグメントを提供し、モデルがビデオ内でどのような行動が発生するかだけでなく、いつ発生するかを識別できるようにします。導入以来、ビデオ理解におけるアルゴリズムの評価、特に行動が長いシーケンスに埋め込まれている未トリミングビデオを扱うタスクの標準ベンチマークとなっています。
このデータセットは、2015年にミシガン大学などの研究者によって初めて公開され、Fabian Caba Heilbron、Victor Escorcia、Bernard Ghanem、Juan Carlos Nieblesが主導しました。初期バージョンのActivityNet-200には、200の行動クラスと28,000以上のビデオが含まれ、合計648,000以上の時間的注釈があります。ビデオはYouTubeなどの公開プラットフォームから取得され、スポーツ、家事、社会的交流などの多様な活動をカバーしています。各ビデオには複数の行動インスタンスが注釈付けされ、それぞれに開始時間と終了時間があり、時間的位置特定のための豊富なグラウンドトゥルースを提供します。
構造と注釈
ActivityNetは、トレーニング、検証、テストの3つの分割に編成され、おおよそ50/25/25の分布です。注釈はJSON形式で提供され、ビデオURL、行動ラベル、時間的境界が含まれます。各行動インスタンスには、注釈品質の信頼スコアも含まれます。行動クラスは、「スポーツ」、「家事」、「パーソナルケア」などのカテゴリに階層的に編成され、異なる粒度でモデルを評価するのに役立ちます。
ActivityNetの重要な特徴は、未トリミングビデオに焦点を当てていることであり、これはトリミングされたクリップを含むUCF101やHMDB51などの初期のデータセットとは対照的です。この設計により、モデルは完全な時間的文脈を処理する必要があり、タスクがより現実的になります。データセットには、200の行動のいずれにも対応しないセグメントの「背景」クラスも含まれており、これは位置特定モデルのトレーニングに重要です。
ベンチマークタスク
ActivityNetに関連する主要なタスクは、時間的行動位置特定と行動認識です。時間的行動位置特定では、モデルは未トリミングビデオ内の各行動インスタンスの開始時間と終了時間を、行動ラベルとともに予測する必要があります。これは、0.5や0.75などの異なる時間的Intersection over Union（IoU）しきい値での平均適合率（mAP）を使用して評価されることがよくあります。一方、行動認識では、ビデオ内の主要な行動を分類し、通常はトップ1およびトップ5の精度で評価されます。
ActivityNetはまた、CVPRやICCVなどの主要なコンピュータビジョン会議と併せて開催される年次チャレンジ、ActivityNet Large-Scale Activity Recognition Challengeを主催しています。このチャレンジには、学術および産業の研究グループから多数の提出があり、分野の進歩を推進しています。長年にわたり、データセットは追加の注釈で拡張されており、例えばActivityNet Captionsサブセットは、ビデオセグメントの自然言語記述を提供し、ビデオキャプションや密集ビデオキャプションの研究を可能にしています。
コンピュータビジョンへの影響
ActivityNetは、ビデオ理解モデルの開発に大きく影響を与えています。これは、従来の手作り特徴ベースの方法から現代の深層学習アプローチまで、幅広いアーキテクチャのトレーニングと評価に使用されてきました。時間的行動位置特定のための多くの最先端モデル、例えばBoundary Matching Network（BMN）やActionFormerは、ActivityNetで結果を報告しています。データセットはまた、ビデオレベルのラベルのみを使用してモデルをトレーニングする弱教師あり位置特定や、データの大規模さを考慮した効率的なビデオ処理の研究も促進しています。
データセットの時間的構造への重点は、人工知能の広範な分野、特に監視、人間とコンピュータの相互作用、自動運転のための活動認識に貢献しています。また、kinetics（提供されたリストにはありませんが、既知の関連データセットです）やSomething-Something（これもリストにはありません）などの他のデータセットと組み合わせて、より包括的なベンチマークを作成するためにも使用されています。
制限と将来の方向性
その成功にもかかわらず、ActivityNetには制限があります。ビデオはYouTubeから取得されており、コンテンツと品質の点でバイアスが生じる可能性があります。行動クラスは事前定義されており、すべての可能な人間の活動をカバーしているわけではありません。さらに、時間的注釈は手動で作成されており、時間がかかり、不整合が生じる可能性があります。これらの問題に対処するために、研究者はより多くのビデオと洗練された注釈を含むActivityNet-1.3などの拡張を提案し、モデルの堅牢性を向上させるためのデータ拡張技術の使用を模索しています。
将来の作業には、ActivityNetをオーディオやテキストなどの他のモダリティと統合して、マルチモーダルベンチマークを作成することが含まれる可能性があります。大規模言語モデルとトランスフォーマーベースのアーキテクチャの台頭は、ビデオ理解の新しい道を開いており、ActivityNetはこれらの新しい方法の関連するテストベッドであり続けています。分野がビデオ質問応答や長期ビデオ理解などのより複雑なタスクに移行するにつれて、ActivityNetのようなデータセットはこれらの課題に対応するために進化する可能性があります。
結論
ActivityNetは、コンピュータビジョンにおける基礎的なリソースとして位置づけられ、時間的行動位置特定のための厳格なベンチマークを提供しています。その密な注釈と現実的な未トリミングビデオにより、ビデオ理解アルゴリズムの評価の標準となっています。正確な時間的モデリングを可能にすることで、自動ビデオ分析の可能性の限界を押し広げ、多くの実世界のアプリケーションに影響を与えています。