Visão egocêntrica, também conhecida como visão em primeira pessoa, é um subcampo da visão computacional que envolve a análise de imagens e vídeos capturados por uma câmera vestível, normalmente usada na cabeça ou no peito, que se aproxima naturalmente do campo visual de quem a usa. Essa perspectiva captura a parte da cena na qual o usuário se concentra para realizar uma tarefa, oferecendo informações valiosas sobre as atividades do usuário e seu contexto em um ambiente naturalista. A câmera voltada para frente é frequentemente complementada por uma câmera voltada para dentro que mede o olhar, o que ajuda a revelar a atenção e a compreender melhor a atividade e as intenções do usuário.
O campo cresceu desde os primeiros dispositivos vestíveis até se tornar uma área de pesquisa distinta dentro da visão computacional, interagindo com inteligência artificial e aprendizado de máquina para desenvolver sistemas de reconhecimento de atividades, análise de interação social e tecnologias assistivas.
História
O conceito de usar uma câmera vestível para coletar dados visuais de uma perspectiva em primeira pessoa remonta à década de 1970, quando Steve Mann inventou o "Digital Eye Glass", um dispositivo que, quando usado, efetivamente transformava o olho humano em uma câmera eletrônica e um display de televisão. Posteriormente, câmeras vestíveis foram usadas para aplicações relacionadas à saúde no contexto da Inteligência Humanística e IA Vestível. A visão egocêntrica é melhor realizada a partir do ponto do olho, mas também pode ser feita por uma câmera no pescoço quando os óculos atrapalham; essa variante no pescoço foi popularizada pelo Microsoft SenseCam em 2006 para pesquisa experimental em saúde.
O interesse da comunidade de visão computacional no paradigma egocêntrico cresceu lentamente na década de 2010 e acelerou rapidamente nos últimos anos, impulsionado por avanços em tecnologia vestível e um número crescente de aplicações potenciais. Em 2012, Kanade e Hebert descreveram um sistema prototípico de visão em primeira pessoa composto por três componentes básicos: um componente de localização para estimar o ambiente, um componente de reconhecimento para identificar objetos e pessoas, e um componente de reconhecimento de atividades para fornecer informações sobre a atividade atual do usuário. Juntos, esses componentes fornecem consciência situacional completa, que pode ser usada para auxiliar o usuário ou um cuidador. Seguindo essa ideia, as primeiras técnicas computacionais focaram no reconhecimento de atividades relacionadas às mãos e na análise de interação social. Devido à natureza não restrita do vídeo e aos grandes volumes de dados, a segmentação temporal e a sumarização foram alguns dos primeiros problemas abordados.
Após quase dez anos de pesquisa em visão egocêntrica (2007-2017), o campo se diversificou. Tópicos de pesquisa emergentes incluem estimativa de saliência social, sistemas de visão egocêntrica multiagente, técnicas de preservação de privacidade, análise de atividades baseada em atenção, análise de interação social, análise de pose das mãos, interfaces gráficas de usuário egocêntricas (EUI), compreensão da dinâmica social e atenção, revisão da visão robótica e visão de máquina como sensoriamento egocêntrico, previsão de atividades e previsão de olhar.
Desafios Técnicos
Câmeras vestíveis são dispositivos de gravação digital pequenos e leves que capturam imagens e vídeos de uma perspectiva em primeira pessoa. Dependendo do dispositivo, a gravação pode ser automática, e a resolução e a taxa de quadros podem variar. Uma distinção comum é feita entre câmeras fotográficas (também chamadas de câmeras de lifelogging) e câmeras de vídeo.
Câmeras fotográficas, como a Narrative Clip e o Microsoft SenseCam, são comumente usadas no peito e caracterizadas por uma taxa de quadros muito baixa (até 2 quadros por minuto), permitindo a captura de imagens por longos períodos sem recarga frequente da bateria. Elas oferecem potencial para inferir conhecimento sobre padrões de comportamento, hábitos ou estilo de vida. No entanto, devido à baixa taxa de quadros e ao movimento livre da câmera, imagens temporalmente adjacentes frequentemente mostram mudanças abruptas de aparência, tornando as características de movimento não confiáveis.
Câmeras de vídeo, como Google Glass e GoPro, são comumente montadas na cabeça e capturam vídeo convencional (cerca de 35 quadros por segundo), permitindo detalhes temporais finos das interações. Elas oferecem potencial para análise aprofundada de atividades diárias ou especiais. No entanto, como a câmera se move com a cabeça do usuário, estimar o movimento global do usuário é mais difícil, e movimentos abruptos podem causar imagens borradas.
Em ambos os casos, como a câmera é usada em um ambiente naturalista, os dados visuais exibem alta variabilidade na iluminação e na aparência dos objetos. Além disso, o usuário da câmera não é visível na imagem, então suas ações devem ser inferidas do campo visual, o que significa que informações importantes como pose ou expressão facial não estão disponíveis.
Aplicações
Uma coleção de estudos publicada em uma edição especial temática do American Journal of Preventive Medicine demonstrou o potencial dos lifelogs capturados por câmeras vestíveis. Como ferramenta para entender e rastrear o comportamento de estilo de vida, os lifelogs poderiam permitir a prevenção de doenças não transmissíveis associadas a tendências não saudáveis e perfis de risco, como obesidade e depressão. Como ferramenta para treinamento cognitivo de rememoração, os lifelogs poderiam ajudar a prevenir o declínio cognitivo e funcional em idosos.
Mais recentemente, câmeras egocêntricas têm sido usadas para estudar a cognição humana e animal, interação social humano-humano, interação humano-robô e expertise humana em tarefas complexas. Outras aplicações incluem navegação e tecnologias assistivas para cegos, monitoramento e assistência de fluxos de trabalho industriais e interfaces de realidade aumentada. O campo também se conecta a abordagens mais amplas de aprendizado profundo para analisar dados egocêntricos, aproveitando arquiteturas de redes neurais para tarefas como reconhecimento de atividades e previsão de olhar.
Ver Também
- visão computacional
- tecnologia vestível
- reconhecimento de atividades
- rastreamento de olhar