以自我为中心的视觉，又称第一人称视觉，是计算机视觉的一个子领域，涉及分析由可穿戴相机（通常佩戴在头部或胸部）拍摄的图像和视频，该相机自然近似于佩戴者的视野。这种视角捕捉了用户为执行任务而关注的场景部分，在自然环境中提供了对用户活动及其背景的宝贵洞察。前向相机通常辅以向内相机来测量眼睛注视，这有助于揭示注意力并更好地理解用户的活动和意图。
该领域已从早期的可穿戴设备发展成为一个独立的计算机视觉研究领域，与人工智能和机器学习交叉，用于开发活动识别、社交互动分析和辅助技术系统。
历史
使用可穿戴相机从第一人称视角收集视觉数据的概念可以追溯到20世纪70年代，当时Steve Mann发明了“数字眼眼镜”，这是一种佩戴后能将人眼有效转变为电子相机和电视显示器的设备。随后，可穿戴相机在人文智能和可穿戴人工智能的背景下被用于健康相关应用。以自我为中心的视觉最好从眼睛视角进行，但当眼镜妨碍时，也可以通过颈部佩戴的相机实现；这种颈部佩戴变体在2006年由微软SenseCam推广用于实验性健康研究。
计算机视觉社区对以自我为中心范式的兴趣在进入2010年代时缓慢增长，近年来迅速加速，得益于可穿戴技术的进步和日益增多的潜在应用。2012年，Kanade和Hebert描述了一个原型第一人称视觉系统，由三个基本组件组成：用于估计周围环境的定位组件、用于识别物体和人的识别组件，以及用于提供用户当前活动信息的行为识别组件。这些组件共同提供完整的情境感知，可用于协助用户或护理人员。遵循这一思路，早期计算技术集中于手部相关活动识别和社交互动分析。鉴于视频的无约束特性和大数据量，时间分割和摘要是最早解决的问题之一。
经过近十年的以自我为中心的视觉研究（2007-2017年），该领域变得多样化。新兴研究主题包括社会显著性估计、多智能体以自我为中心的视觉系统、隐私保护技术、基于注意力的活动分析、社交互动分析、手部姿态分析、自我图形用户界面（EUI）、理解社会动态和注意力、重新审视机器人视觉和机器视觉作为以自我为中心的感知、活动预测和注视预测。
技术挑战
可穿戴相机是小型、轻便的数字记录设备，从第一人称视角捕获图像和视频。根据设备不同，记录可能是自动的，分辨率和帧率可能有所变化。常见区分是照片相机（也称为生活记录相机）和视频相机。
照片相机，如Narrative Clip和微软SenseCam，通常佩戴在胸部，特点是帧率非常低（每分钟最多2帧），允许长时间捕获图像而无需频繁充电。它们提供了推断行为模式、习惯或生活方式知识的潜力。然而，由于低帧率和自由相机运动，时间上相邻的图像往往表现出突然的外观变化，使得运动特征不可靠。
视频相机，如Google Glass和GoPro，通常佩戴在头部，捕获常规视频（约每秒35帧），能够提供交互的精细时间细节。它们提供了深入分析日常或特殊活动的潜力。然而，由于相机随佩戴者头部移动，估计佩戴者的全局运动更加困难，突然的运动可能导致图像模糊。
在两种情况下，由于相机在自然环境中佩戴，视觉数据在光照和物体外观上表现出高变异性。此外，相机佩戴者不在图像中可见，因此其动作必须从视野中推断，这意味着诸如姿态或面部表情等重要信息不可用。
应用
发表在《美国预防医学杂志》特刊上的一系列研究展示了通过可穿戴相机捕获的生活记录的潜力。作为理解和跟踪生活方式行为的工具，生活记录可以预防与不健康趋势和风险特征相关的非传染性疾病，如肥胖和抑郁。作为再记忆认知训练的工具，生活记录可以帮助预防老年人认知和功能衰退。
最近，以自我为中心的相机已被用于研究人类和动物认知、人与人之间的社交互动、人机交互以及复杂任务中的人类专业知识。其他应用包括导航和盲人辅助技术、工业工作流程的监控和辅助，以及增强现实界面。该领域还与更广泛的深度学习方法相连接，用于分析以自我为中心的数据，利用神经网络架构进行活动识别和注视预测等任务。
另见
- 计算机视觉
- 可穿戴技术
- 活动识别
- 注视跟踪