자아중심 시각(第一人称 시각이라고도 함)은 컴퓨터 비전의 하위 분야로, 일반적으로 머리나 가슴에 착용하는 웨어러블 카메라로 촬영된 이미지와 비디오를 분석하는 것을 포함하며, 이는 카메라 착용자의 시야를 자연스럽게 근사합니다. 이 관점은 사용자가 작업을 수행하기 위해 집중하는 장면의 일부를 포착하여, 자연스러운 환경에서 사용자의 활동과 그 맥락에 대한 귀중한 통찰력을 제공합니다. 전방을 향한 카메라는 종종 시선을 측정하는 내부 카메라로 보완되며, 이는 주의를 드러내고 사용자의 활동과 의도를 더 잘 이해하는 데 도움이 됩니다.
이 분야는 초기 웨어러블 장치에서 컴퓨터 비전 내의 독자적인 연구 영역으로 성장했으며, Artificial intelligence 및 Machine learning과 교차하여 활동 인식, 사회적 상호작용 분석, 보조 기술을 위한 시스템을 개발합니다.
역사
1인칭 관점에서 시각 데이터를 수집하기 위해 웨어러블 카메라를 사용하는 개념은 1970년대로 거슬러 올라갑니다. 당시 스티브 만(Steve Mann)은 "디지털 아이 글래스(Digital Eye Glass)"를 발명했는데, 이 장치는 착용 시 인간의 눈을 전자 카메라이자 텔레비전 디스플레이로 효과적으로 변환했습니다. 이후 웨어러블 카메라는 휴머니스틱 인텔리전스(Humanistic Intelligence)와 웨어러블 AI의 맥락에서 건강 관련 응용에 사용되었습니다. 자아중심 시각은 눈의 위치에서 수행하는 것이 가장 좋지만, 안경이 방해가 될 때 목에 착용하는 카메라로도 수행할 수 있습니다. 이 목 착용 변형은 2006년 마이크로소프트 센스캠(Microsoft SenseCam)이 실험적 건강 연구를 위해 대중화했습니다.
컴퓨터 비전 커뮤니티의 자아중심 패러다임에 대한 관심은 2010년대에 접어들면서 천천히 성장했으며, 최근 몇 년간 웨어러블 기술의 발전과 잠재적 응용의 증가로 빠르게 가속화되었습니다. 2012년, 카나데(Kanade)와 헤버트(Hebert)는 주변 환경을 추정하는 위치 파악 구성 요소, 객체와 사람을 식별하는 인식 구성 요소, 사용자의 현재 활동에 대한 정보를 제공하는 활동 인식 구성 요소의 세 가지 기본 구성 요소로 구성된 전형적인 1인칭 비전 시스템을 설명했습니다. 이러한 구성 요소는 함께 완전한 상황 인식을 제공하며, 이는 사용자나 간병인을 지원하는 데 사용될 수 있습니다. 이 아이디어를 따라 초기 계산 기술은 손 관련 활동 인식과 사회적 상호작용 분석에 중점을 두었습니다. 비디오의 제약 없는 특성과 대량의 데이터로 인해 시간적 분할과 요약이 가장 먼저 다루어진 문제 중 하나였습니다.
약 10년간의 자아중심 비전 연구(2007-2017) 이후, 이 분야는 다양화되었습니다. 새로운 연구 주제로는 사회적 현저성 추정, 다중 에이전트 자아중심 비전 시스템, 개인정보 보호 기술, 주의 기반 활동 분석, 사회적 상호작용 분석, 손 자세 분석, 자아 그래픽 사용자 인터페이스(EUI), 사회적 역학과 주의 이해, 로봇 비전과 머신 비전을 자아중심 감지로 재검토, 활동 예측, 시선 예측 등이 있습니다.
기술적 과제
웨어러블 카메라는 1인칭 관점에서 이미지와 비디오를 촬영하는 작고 가벼운 디지털 녹화 장치입니다. 장치에 따라 녹화는 자동일 수 있으며, 해상도와 프레임 속도는 다를 수 있습니다. 일반적으로 사진 카메라(라이프로깅 카메라라고도 함)와 비디오 카메라 사이에 구분이 이루어집니다.
내러티브 클립(Narrative Clip) 및 마이크로소프트 센스캠과 같은 사진 카메라는 일반적으로 가슴에 착용하며, 매우 낮은 프레임 속도(분당 최대 2프레임)가 특징으로, 잦은 배터리 충전 없이 장시간 동안 이미지를 캡처할 수 있습니다. 이는 행동 패턴, 습관 또는 라이프스타일에 대한 지식을 추론할 수 있는 잠재력을 제공합니다. 그러나 낮은 프레임 속도와 자유로운 카메라 움직임으로 인해 시간적으로 인접한 이미지는 종종 급격한 외관 변화를 보여, 모션 특징이 신뢰할 수 없게 됩니다.
구글 글래스(Google Glass) 및 고프로(GoPro)와 같은 비디오 카메라는 일반적으로 머리에 장착되며, 기존 비디오(초당 약 35프레임)를 캡처하여 상호작용의 세밀한 시간적 세부 사항을 가능하게 합니다. 이는 일상 또는 특별 활동의 심층 분석에 잠재력을 제공합니다. 그러나 카메라가 착용자의 머리와 함께 움직이므로 착용자의 전역 움직임을 추정하기가 더 어렵고, 급격한 움직임은 흐릿한 이미지를 유발할 수 있습니다.
두 경우 모두 카메라가 자연스러운 환경에서 착용되므로 시각 데이터는 조명과 객체 외관에서 높은 변동성을 보입니다. 또한 카메라 착용자는 이미지에 보이지 않으므로, 그들의 행동은 시야에서 추론되어야 하며, 이는 자세나 표정과 같은 중요한 정보를 사용할 수 없게 만듭니다.
응용
미국 예방 의학 저널(American Journal of Preventive Medicine)의 특별 주제호에 게재된 일련의 연구는 웨어러블 카메라로 캡처한 라이프로그의 잠재력을 입증했습니다. 라이프로그는 라이프스타일 행동을 이해하고 추적하는 도구로서, 비만 및 우울증과 같은 건강하지 않은 추세와 위험한 프로필과 관련된 비전염성 질병의 예방을 가능하게 할 수 있습니다. 재기억 인지 훈련 도구로서, 라이프로그는 노인의 인지 및 기능 저하를 예방하는 데 도움이 될 수 있습니다.
최근에는 자아중심 카메라가 인간과 동물의 인지, 인간-인간 사회적 상호작용, 인간-로봇 상호작용, 복잡한 작업에서의 인간 전문성을 연구하는 데 사용되었습니다. 다른 응용으로는 시각 장애인을 위한 내비게이션 및 보조 기술, 산업 워크플로우의 모니터링 및 지원, 증강 현실 인터페이스가 포함됩니다. 이 분야는 또한 자아중심 데이터 분석을 위한 광범위한 Deep learning 접근 방식과 연결되며, 활동 인식 및 시선 예측과 같은 작업을 위해 Neural network 아키텍처를 활용합니다.
같이 보기
- 컴퓨터 비전
- wearable-technology
- activity-recognition
- gaze-tracking