La visión egocéntrica, también conocida como visión en primera persona, es un subcampo de la visión por computadora que implica analizar imágenes y videos capturados por una cámara portátil, típicamente usada en la cabeza o el pecho, que se aproxima naturalmente al campo visual del usuario de la cámara. Esta perspectiva captura la parte de la escena en la que el usuario se enfoca para llevar a cabo una tarea, ofreciendo información valiosa sobre las actividades del usuario y su contexto en un entorno naturalista. La cámara orientada hacia adelante a menudo se complementa con una cámara orientada hacia adentro que mide la mirada ocular, lo que ayuda a revelar la atención y comprender mejor la actividad y las intenciones del usuario.
El campo ha crecido desde los primeros dispositivos portátiles hasta convertirse en un área de investigación distintiva dentro de la visión por computadora, intersectando con la inteligencia artificial y el aprendizaje automático para desarrollar sistemas de reconocimiento de actividades, análisis de interacción social y tecnologías de asistencia.
Historia
El concepto de usar una cámara portátil para recopilar datos visuales desde una perspectiva en primera persona se remonta a los años 1970, cuando Steve Mann inventó "Digital Eye Glass," un dispositivo que, al usarlo, convertía efectivamente el ojo humano tanto en una cámara electrónica como en una pantalla de televisión. Posteriormente, las cámaras portátiles se utilizaron para aplicaciones relacionadas con la salud en el contexto de la Inteligencia Humanística y la IA Portátil. La visión egocéntrica se realiza mejor desde el punto del ojo, pero también puede hacerse mediante una cámara colgada del cuello cuando las gafas serían un obstáculo; esta variante de cuello fue popularizada por el Microsoft SenseCam en 2006 para investigación experimental en salud
El interés de la comunidad de visión por computadora en el paradigma egocéntrico creció lentamente al entrar en los años 2010 y se ha acelerado rápidamente en años recientes, impulsado por avances en tecnología portátil y un número creciente de aplicaciones potenciales. En 2012, Kanade y Hebert describieron un sistema prototípico de visión en primera persona compuesto por tres componentes básicos: un componente de localización para estimar el entorno, un componente de reconocimiento para identificar objetos y personas, y un componente de reconocimiento de actividades para proporcionar información sobre la actividad actual del usuario. Juntos, estos componentes proporcionan una conciencia situacional completa, que puede usarse para asistir al usuario o a un cuidador. Siguiendo esta idea, las primeras técnicas computacionales se centraron en el reconocimiento de actividades relacionadas con las manos y el análisis de interacción social. Dada la naturaleza no restringida del video y los grandes volúmenes de datos, la segmentación temporal y el resumen fueron entre los primeros problemas abordados
Después de casi diez años de investigación en visión egocéntrica (2007-2017), el campo se diversificó. Los temas de investigación emergentes incluyen estimación de saliencia social, sistemas de visión egocéntrica multiagente, técnicas de preservación de privacidad, análisis de actividad basado en atención, análisis de interacción social, análisis de pose de manos, interfaces gráficas de usuario egocéntricas (EUI), comprensión de dinámicas sociales y atención, revisión de visión robótica y visión de máquina como detección egocéntrica, predicción de actividades, y predicción de mirada.
Desafíos Técnicos
Las cámaras portátiles son dispositivos de grabación digital pequeños y ligeros que capturan imágenes y video desde una perspectiva en primera persona. Dependiendo del dispositivo, la grabación puede ser automática, y la resolución y la tasa de fotogramas pueden variar. Se hace una distinción común entre cámaras de fotos (también llamadas cámaras de registro de vida) y cámaras de video. Las cámaras de fotos, como el Narrative Clip y el Microsoft SenseCam, se usan comúnmente en el pecho y se caracterizan por una tasa de fotogramas muy baja (hasta 2 fotogramas por minuto), lo que permite la captura de imágenes durante largos períodos sin recargas frecuentes de batería. Ofrecen potencial para inferir conocimiento sobre patrones de comportamiento, hábitos o estilo de vida. Sin embargo, debido a la baja tasa de fotogramas y al movimiento libre de la cámara, las imágenes temporalmente adyacentes a menudo muestran cambios abruptos de apariencia, lo que hace que las características de movimiento sean poco fiables.
Las cámaras de video, como Google Glass y GoPro, se usan comúnmente montadas en la cabeza y capturan video convencional (alrededor de 35 fotogramas por segundo), lo que permite un detalle temporal fino de las interacciones. Ofrecen potencial para un análisis en profundidad de actividades diarias o especiales. Sin embargo, dado que la cámara se mueve con el movimiento de la cabeza del usuario, estimar el movimiento global del usuario es más difícil, y los movimientos abruptos pueden causar imágenes borrosas
En ambos casos, debido a que la cámara se usa en un entorno naturalista, los datos visuales exhiben una alta variabilidad en iluminación y apariencia de objetos. Además, el usuario de la cámara no es visible en la imagen, por lo que sus acciones deben inferirse del campo visual, lo que significa que información importante como la pose o la expresión facial no está disponible.
Aplicaciones
Una colección de estudios publicados en un número especial temático del American Journal of Preventive Medicine demostró el potencial de los registros de vida capturados mediante cámaras portátiles. Como herramienta para comprender y rastrear el comportamiento de estilo de vida, los registros de vida podrían permitir la prevención de enfermedades no transmisibles asociadas con tendencias no saludables y perfiles de riesgo, como la obesidad y la depresión. Como herramienta para el entrenamiento cognitivo de re-memoria, los registros de vida podrían ayudar a prevenir el deterioro cognitivo y funcional en personas mayores
Más recientemente, las cámaras egocéntricas se han utilizado para estudiar la cognición humana y animal, la interacción social humano-humano, la interacción humano-robot, y la experiencia humana en tareas complejas. Otras aplicaciones incluyen navegación y tecnologías de asistencia para ciegos, monitoreo y asistencia de flujos de trabajo industriales, e interfaces de realidad aumentada. El campo también se conecta con enfoques más amplios de aprendizaje profundo para analizar datos egocéntricos, aprovechando arquitecturas de redes neuronales para tareas como reconocimiento de actividades y predicción de mirada.
Véase también
- Tecnología portátil
- Reconocimiento de actividades
- Seguimiento de mirada