自己中心視覚（じこちゅうしんしかく、英: egocentric vision）は、第一人称視覚（だいいちにんしょうしかく、英: first-person vision）とも呼ばれ、コンピュータビジョンの一分野であり、通常は頭部や胸部に装着されるウェアラブルカメラによって撮影された画像や動画を解析することを含みます。この視点は、カメラ装着者がタスクを遂行する際に焦点を当てている場面の一部を捉え、自然な環境設定におけるユーザーの活動とその文脈について貴重な洞察を提供します。前方を向いたカメラは、しばしば視線を測定する内向きカメラと併用され、注意を明らかにし、ユーザーの活動や意図をよりよく理解するのに役立ちます。
この分野は、初期のウェアラブルデバイスから、コンピュータビジョン内の明確な研究領域へと成長し、人工知能や機械学習と交差しながら、活動認識、社会的相互作用分析、および支援技術のためのシステムを開発しています。
歴史
ウェアラブルカメラを用いて第一人称視点から視覚データを収集するという概念は、1970年代に遡ります。その当時、スティーブ・マンは「デジタルアイグラス」を発明しました。これは、装着すると人間の目を電子カメラとテレビディスプレイの両方に効果的に変えるデバイスです。その後、ウェアラブルカメラは、ヒューマニスティック・インテリジェンスやウェアラブルAIの文脈で、健康関連の応用に使用されました。自己中心視覚は、目の位置から行うのが最適ですが、眼鏡が邪魔になる場合は、首に掛けるカメラでも行うことができます;この首掛け型は、2006年にマイクロソフトのSenseCamによって実験的な健康研究のために普及しました。
コンピュータビジョンコミュニティからの自己中心パラダイムへの関心は、2010年代に入ってからゆっくりと成長し、近年急速に加速しています;これは、ウェアラブル技術の進歩と、潜在的な応用の増加によって後押しされています。2012年には、カナデとヘバートが、3つの基本コンポーネントからなる典型的な第一人称視覚システムを記述しました:周囲を推定するための位置特定コンポーネント、物体や人物を識別するための認識コンポーネント、およびユーザーの現在の活動に関する情報を提供するための活動認識コンポーネントです。これらのコンポーネントは、一緒になって完全な状況認識を提供し、ユーザーや介護者を支援するために使用できます。この考えに続き、初期の計算技術は、手関連の活動認識や社会的相互作用分析に焦点を当てました;ビデオの非制約的な性質と大量のデータのため、時間的セグメンテーションと要約が、最初に取り組まれた問題の一つでした。
約10年間の自己中心視覚研究（2007-2017年）の後、この分野は多様化しました;新たな研究トピックには、社会的顕著性推定、マルチエージェント自己中心視覚システム、プライバシー保護技術、注意に基づく活動分析、社会的相互作用分析、手のポーズ分析、自己中心グラフィカルユーザーインターフェース（EUI）、社会的ダイナミクスと注意の理解、ロボット視覚と機械視覚の自己中心センシングとしての再検討、活動予測、および視線予測が含まれます。
技術的課題
ウェアラブルカメラは、小型で軽量なデジタル記録デバイスであり、第一人称視点から画像や動画を捉えます;デバイスによっては、記録が自動的である場合があり、解像度やフレームレートも異なる場合があります;一般的な区別は、フォトカメラ（ライフロギングカメラとも呼ばれる）とビデオカメラの間で行われます;フォトカメラ（例: Narrative ClipやMicrosoft SenseCam）は、通常胸部に装着され、非常に低いフレームレート（毎分最大2フレーム）を特徴とし、頻繁なバッテリー再充電なしで長時間にわたって画像を捉えることができます;これらは、行動パターン、習慣、またはライフスタイルに関する知識を推論する可能性を提供します;しかし、低いフレームレートと自由なカメラ運動のため、時間的に隣接する画像はしばしば急激な外観変化を示し、運動特徴が信頼できなくなります;
ビデオカメラ（例: Google GlassやGoPro）は、通常頭部に装着され、従来のビデオ（毎秒約35フレーム）を捉え、相互作用の微細な時間的詳細を可能にします;これらは、日常的または特別な活動の詳細な分析の可能性を提供します;しかし、カメラが装着者の頭部とともに動くため、装着者の全体的な運動を推定することはより困難であり、急激な動きは画像のぼやけを引き起こす可能性があります;
どちらの場合でも、カメラが自然な環境設定で装着されているため、視覚データは照明や物体の外観において高い変動性を示します;さらに、カメラ装着者は画像内に表示されないため、その行動は視野から推論されなければならず、姿勢や表情などの重要な情報が利用できないことを意味します;
応用
アメリカ予防医学ジャーナルの特別テーマ号に掲載された一連の研究は、ウェアラブルカメラを通じて捉えられたライフログの可能性を示しました;ライフログは、不健康な傾向やリスクのあるプロファイル（肥満やうつ病など）に関連する非感染性疾患の予防を可能にする、ライフスタイル行動の理解と追跡のためのツールとして機能します;また、再記憶認知トレーニングのツールとして、高齢者の認知および機能的低下を防ぐのに役立つ可能性があります;
より最近では、自己中心カメラは、人間および動物の認知、人間と人間の社会的相互作用、人間とロボットの相互作用、および複雑なタスクにおける人間の専門知識を研究するために使用されています;他の応用には、視覚障害者のためのナビゲーションおよび支援技術、産業ワークフローの監視および支援、および拡張現実インターフェースが含まれます;この分野はまた、自己中心データを分析するためのより広範な深層学習アプローチとも結びつき、活動認識や視線予測などのタスクのためにニューラルネットワークアーキテクチャを活用しています。
関連項目
- コンピュータビジョン
- ウェアラブル技術
- 活動認識
- 視線追跡