La vision égocentrique, également connue sous le nom de vision à la première personne, est un sous-domaine de la vision par ordinateur qui consiste à analyser des images et des vidéos capturées par une caméra portable, généralement portée sur la tête ou la poitrine, qui se rapproche naturellement du champ visuel de la personne qui la porte. Cette perspective capture la partie de la scène sur laquelle l'utilisateur se concentre pour accomplir une tâche, offrant un aperçu précieux des activités de l'utilisateur et de leur contexte dans un cadre naturaliste. La caméra orientée vers l'avant est souvent complétée par une caméra orientée vers l'intérieur qui mesure le regard, ce qui aide à révéler l'attention et à mieux comprendre l'activité et les intentions de l'utilisateur.
Le domaine est passé des premiers dispositifs portables à un domaine de recherche distinct au sein de la vision par ordinateur, croisant l'intelligence artificielle et l'apprentissage automatique pour développer des systèmes de reconnaissance d'activités, d'analyse des interactions sociales et de technologies d'assistance.
Histoire
Le concept d'utilisation d'une caméra portable pour recueillir des données visuelles depuis une perspective à la première personne remonte aux années 1970, lorsque Steve Mann a inventé le « Digital Eye Glass », un dispositif qui, lorsqu'il est porté, transformait effectivement l'œil humain en une caméra électronique et un écran de télévision. Par la suite, les caméras portables ont été utilisées pour des applications liées à la santé dans le contexte de l'intelligence humaniste et de l'IA portable. La vision égocentrique est mieux réalisée depuis le point de vue de l'œil, mais peut également être effectuée via une caméra portée au cou lorsque des lunettes seraient gênantes ; cette variante portée au cou a été popularisée par le Microsoft SenseCam en 2006 pour la recherche expérimentale en santé.
L'intérêt de la communauté de la vision par ordinateur pour le paradigme égocentrique a progressé lentement à l'entrée des années 2010 et s'est accéléré rapidement ces dernières années, stimulé par les avancées dans les technologies portables et un nombre croissant d'applications potentielles. En 2012, Kanade et Hebert ont décrit un système de vision à la première personne prototype composé de trois composants de base : un composant de localisation pour estimer l'environnement, un composant de reconnaissance pour identifier les objets et les personnes, et un composant de reconnaissance d'activités pour fournir des informations sur l'activité actuelle de l'utilisateur. Ensemble, ces composants fournissent une conscience situationnelle complète, qui peut être utilisée pour assister l'utilisateur ou un soignant. Suivant cette idée, les premières techniques computationnelles se sont concentrées sur la reconnaissance d'activités liées aux mains et l'analyse des interactions sociales. Étant donné la nature non contrainte de la vidéo et les grands volumes de données, la segmentation temporelle et le résumé ont été parmi les premiers problèmes abordés.
Après près de dix ans de recherche en vision égocentrique (2007-2017), le domaine s'est diversifié. Les sujets de recherche émergents incluent l'estimation de la saillance sociale, les systèmes de vision égocentrique multi-agents, les techniques de préservation de la vie privée, l'analyse d'activités basée sur l'attention, l'analyse des interactions sociales, l'analyse de la pose des mains, les interfaces utilisateur graphiques égocentriques (EUI), la compréhension de la dynamique sociale et de l'attention, la révision de la vision robotique et de la vision machine en tant que détection égocentrique, la prévision d'activités et la prédiction du regard.
Défis techniques
Les caméras portables sont de petits dispositifs d'enregistrement numériques légers qui capturent des images et des vidéos depuis une perspective à la première personne. Selon le dispositif, l'enregistrement peut être automatique, et la résolution et la fréquence d'images peuvent varier. Une distinction courante est faite entre les caméras photo (également appelées caméras de lifelogging) et les caméras vidéo.
Les caméras photo, telles que le Narrative Clip et le Microsoft SenseCam, sont généralement portées sur la poitrine et se caractérisent par une très faible fréquence d'images (jusqu'à 2 images par minute), permettant la capture d'images sur de longues périodes sans recharge fréquente de la batterie. Elles offrent un potentiel pour inférer des connaissances sur les modèles de comportement, les habitudes ou le mode de vie. Cependant, en raison de la faible fréquence d'images et du mouvement libre de la caméra, les images temporellement adjacentes montrent souvent des changements d'apparence brusques, rendant les caractéristiques de mouvement peu fiables.
Les caméras vidéo, telles que Google Glass et GoPro, sont généralement montées sur la tête et capturent une vidéo conventionnelle (environ 35 images par seconde), permettant un détail temporel fin des interactions. Elles offrent un potentiel pour une analyse approfondie des activités quotidiennes ou spéciales. Cependant, comme la caméra se déplace avec la tête du porteur, estimer le mouvement global du porteur est plus difficile, et des mouvements brusques peuvent provoquer des images floues.
Dans les deux cas, comme la caméra est portée dans un cadre naturaliste, les données visuelles présentent une grande variabilité dans l'éclairage et l'apparence des objets. De plus, le porteur de la caméra n'est pas visible dans l'image, donc ses actions doivent être déduites du champ visuel, ce qui signifie que des informations importantes telles que la pose ou l'expression faciale ne sont pas disponibles.
Applications
Une collection d'études publiées dans un numéro thématique spécial de l'American Journal of Preventive Medicine a démontré le potentiel des lifelogs capturés via des caméras portables. En tant qu'outil pour comprendre et suivre le comportement de style de vie, les lifelogs pourraient permettre la prévention de maladies non transmissibles associées à des tendances malsaines et des profils à risque, comme l'obésité et la dépression. En tant qu'outil de formation cognitive par la remémoration, les lifelogs pourraient aider à prévenir le déclin cognitif et fonctionnel chez les personnes âgées.
Plus récemment, les caméras égocentriques ont été utilisées pour étudier la cognition humaine et animale, l'interaction sociale entre humains, l'interaction humain-robot et l'expertise humaine dans des tâches complexes. D'autres applications incluent la navigation et les technologies d'assistance pour les aveugles, la surveillance et l'assistance des flux de travail industriels, et les interfaces de réalité augmentée. Le domaine se connecte également à des approches plus larges de apprentissage profond pour analyser les données égocentriques, en tirant parti des architectures de réseaux de neurones pour des tâches comme la reconnaissance d'activités et la prédiction du regard.
Voir aussi
- vision par ordinateur
- technologie portable
- reconnaissance d'activités
- suivi du regard