L'estimation de pose de corps articulé est un domaine de la vision par ordinateur qui s'intéresse à la détermination de la configuration du corps humain à partir de données visuelles. Elle implique l'identification de l'emplacement des articulations anatomiques clés - comme les épaules, les coudes, les poignets, les hanches, les genoux et les chevilles - et l'inférence de l'arrangement spatial des membres qui les relient. Le terme « articulé » fait référence à la représentation du corps comme un ensemble connecté de segments rigides, reflétant la structure squelettique. Cette tâche est fondamentale pour comprendre l'action, l'intention et l'interaction humaines dans une scène, servant de brique de base pour le raisonnement de haut niveau dans les systèmes d'intelligence artificielle.
La sortie de l'estimation de pose de corps articulé est généralement un ensemble de coordonnées 2D ou 3D pour chaque articulation, souvent accompagné d'un score de confiance. Dans l'estimation 2D, les coordonnées correspondent à des emplacements de pixels dans le plan de l'image. Dans l'estimation 3D, le système récupère la profondeur de chaque articulation par rapport à la caméra, produisant un squelette volumétrique. Le problème est difficile en raison des variations de forme corporelle, de vêtements, d'occlusion, d'éclairage et de point de vue. Les approches modernes exploitent les modèles de apprentissage profond, en particulier les architectures de réseaux de neurones, pour apprendre des représentations robustes directement à partir de grands ensembles de données annotés.
Développement historique
Les premiers travaux sur l'estimation de pose reposaient sur des caractéristiques conçues manuellement et des modèles classiques. Dans les années 1970 et 1980, les chercheurs utilisaient des figures en bâtons et des contraintes géométriques pour modéliser le corps, employant souvent la programmation dynamique ou l'optimisation par graphes. Le modèle des structures picturales, introduit au début des années 2000 par Pedro Felzenszwalb et Daniel Huttenlocher, représentait le corps comme un arbre de parties avec des relations spatiales par paires, permettant une inférence efficace. Ces méthodes obtenaient un succès modéré sur des ensembles de données contrôlés mais peinaient face à la variabilité du monde réel.
L'avènement de l'apprentissage profond vers 2012, catalysé par le succès des architectures de réseaux résiduels en classification d'images, a transformé le domaine. Les réseaux de neurones convolutifs (CNN) ont remplacé les caractéristiques conçues manuellement, apprenant des représentations hiérarchiques directement à partir des pixels. Un article fondateur de 2014 par Alexander Toshev et Christian Szegedy, intitulé « DeepPose », a formulé l'estimation de pose comme un problème de régression utilisant une cascade de CNN. Cela a été suivi par des approches basées sur des cartes de chaleur, où le réseau prédit une carte de probabilité pour chaque articulation, ce qui s'est avéré plus précis et est devenu le paradigme dominant.
Approches et architectures clés
Deux paradigmes principaux dominent l'estimation moderne de pose de corps articulé : les méthodes de haut en bas et de bas en haut. Les approches de haut en bas détectent d'abord une personne à l'aide d'un détecteur d'objets, puis recadrent la région et estiment la pose dans ce recadrage. Cette méthode atteint une haute précision mais s'adapte linéairement au nombre de personnes. Les approches de bas en haut détectent toutes les articulations dans l'image simultanément, puis les regroupent en instances individuelles à l'aide d'algorithmes d'association. Elles sont plus rapides pour les scènes multi-personnes mais peuvent rencontrer des difficultés avec les occlusions et les interactions rapprochées.
Dans ces paradigmes, plusieurs innovations architecturales ont été cruciales. Le réseau de sablier empilé, introduit par Alejandro Newell et al. en 2016, utilise un sous-échantillonnage et un sur-échantillonnage répétés pour capturer le contexte à plusieurs échelles. L'architecture U-Net, initialement conçue pour la segmentation d'images biomédicales, a également été adaptée pour l'estimation de pose en raison de sa structure encodeur-décodeur. Plus récemment, les modèles basés sur les transformeurs, exploitant les mécanismes de attention multi-têtes, ont montré des performances de pointe en modélisant les dépendances à longue portée entre les articulations. Ces modèles, comme les architectures TokenPose et TransPose, traitent les articulations comme des jetons et utilisent un encodage positionnel pour conserver l'information spatiale.
Estimation de pose 3D et récupération de profondeur
L'estimation de poses 3D à partir d'images monoculaires est intrinsèquement mal posée car plusieurs configurations 3D peuvent se projeter sur la même image 2D. Les premières méthodes 3D reposaient sur des configurations multi-vues ou des capteurs de profondeur comme le Microsoft Kinect. Avec l'essor de l'apprentissage profond, les chercheurs ont commencé à entraîner des réseaux pour prédire directement les coordonnées articulaires 3D à partir d'images 2D, utilisant souvent un pipeline en deux étapes : d'abord estimer les poses 2D, puis les élever en 3D à l'aide d'un réseau séparé. L'introduction de grands ensembles de données 3D, comme Human3.6M, a permis l'entraînement supervisé de ces modèles.
Un défi important est le manque de données 3D annotées dans le monde réel. Pour y remédier, les chercheurs ont exploré des techniques faiblement supervisées et auto-supervisées. Certaines méthodes utilisent la cohérence multi-vues comme signal de supervision, tandis que d'autres exploitent des priorités de mouvement ou des contraintes basées sur la physique. L'intégration de l'estimation de pose 3D avec les modèles de IA générative a également émergé, où les réseaux antagonistes génératifs (GAN) sont utilisés pour affiner les prédictions ou synthétiser des données d'entraînement.
Applications dans diverses industries
Les applications pratiques de l'estimation de pose de corps articulé sont vastes et en croissance. Dans le domaine de la santé et de la réadaptation, les systèmes suivent les mouvements des patients pendant la physiothérapie, fournissant un retour en temps réel sur la forme et la progression des exercices. Des entreprises comme Intuitive Surgical utilisent une technologie similaire en robotique chirurgicale, bien que leur objectif soit le suivi des instruments plutôt que la pose humaine. Dans l'industrie du divertissement, l'estimation de pose pilote la capture de mouvement pour l'animation et les effets visuels, permettant de transférer les performances des acteurs à des personnages numériques sans combinaisons spécialisées.
Dans l'analyse sportive, l'estimation de pose permet aux entraîneurs d'analyser la biomécanique des athlètes, identifiant les inefficacités dans la foulée de course ou les mécanismes de lancer. Les applications de vente au détail et de fitness l'utilisent pour l'essayage virtuel et le coaching d'exercice. Dans la conduite autonome, la compréhension de la pose des piétons aide à prédire l'intention - par exemple, si une personne s'apprête à traverser la rue. Des entreprises comme Waymo et Tesla intègrent de telles capacités de perception dans leurs systèmes. De plus, l'interaction homme-robot bénéficie de l'estimation de pose, permettant à des robots comme ceux de Figure AI ou Sanctuary AI de répondre de manière appropriée aux gestes humains.
Défis et limites
Malgré des progrès significatifs, l'estimation de pose de corps articulé fait face à plusieurs défis persistants. L'occlusion reste un problème majeur, car les articulations sont fréquemment cachées derrière d'autres parties du corps ou des objets. L'auto-occlusion lors de poses complexes est particulièrement difficile. Les scènes bondées avec plusieurs personnes créent une ambiguïté dans l'association des articulations aux individus. Les techniques de augmentation de données utilisées pendant l'entraînement, comme le recadrage aléatoire et la rotation, aident mais ne résolvent pas entièrement ces problèmes.
Un autre défi est la généralisation à travers des populations diverses. Les modèles entraînés principalement sur des ensembles de données avec une diversité limitée en termes d'origine ethnique, d'âge et de type corporel peuvent performer médiocrement sur des groupes sous-représentés. Ce biais est un problème connu en apprentissage automatique et nécessite une curation minutieuse des ensembles de données. De plus, le coût computationnel des modèles de haute précision peut être prohibitif pour les applications en temps réel sur des appareils périphériques. Des techniques comme le élagage de modèles et la distillation de connaissances sont employées pour créer des versions légères adaptées aux systèmes mobiles et embarqués.
Des préoccupations de confidentialité surgissent également, car l'estimation de pose peut être utilisée pour la surveillance sans consentement explicite. La capacité d'inférer le genre, l'âge ou l'état émotionnel à partir du langage corporel soulève des questions éthiques. Les chercheurs et les décideurs politiques discutent de plus en plus de lignes directrices pour une utilisation responsable, équilibrant l'utilité et les droits individuels.
Métriques d'évaluation et ensembles de données
Le domaine s'appuie sur des références standardisées pour mesurer les progrès. La métrique la plus courante est le pourcentage de points clés corrects (PCK), qui calcule la fraction des articulations prédites se trouvant dans un seuil de distance donné par rapport à la vérité terrain. Une autre métrique largement utilisée est la précision moyenne (AP) basée sur la similarité de points clés d'objets (OKS), qui tient compte de l'échelle et de la difficulté spécifique à chaque articulation. Pour l'estimation 3D, l'erreur moyenne par position articulaire (MPJPE) est standard, mesurant la distance euclidienne moyenne entre les articulations 3D prédites et la vérité terrain.
Les ensembles de données clés incluent MPII Human Pose, contenant plus de 25 000 images avec des poses 2D annotées ; COCO, qui comprend plus de 200 000 images avec des points clés de personnes ; et CrowdPose, spécifiquement conçu pour les scènes bondées. Pour la 3D, Human3.6M fournit des vidéos multi-vues avec une vérité terrain précise de capture de mouvement, tandis que l'ensemble de données 3DPW offre des annotations 3D dans le monde réel. Ces ensembles de données sont continuellement élargis pour couvrir des scénarios plus diversifiés, stimulant le développement de modèles plus robustes.
Directions futures
L'avenir de l'estimation de pose de corps articulé réside dans l'amélioration de la robustesse et de l'efficacité. La recherche se concentre sur l'apprentissage auto-supervisé pour réduire la dépendance aux annotations coûteuses, utilisant des techniques comme l'apprentissage contrastif et la cohérence temporelle dans les vidéos. L'intégration de priorités de grands modèles de langage pourrait permettre aux systèmes de raisonner contextuellement sur l'activité humaine, améliorant les prédictions de pose dans des situations ambiguës. Par exemple, savoir qu'une personne tient une tasse pourrait aider à désambiguïser les positions des poignets.
Les performances en temps réel sur les appareils périphériques sont une autre frontière, avec des accélérateurs matériels comme AWS Trainium et les TPU de Google Cloud permettant une inférence plus rapide. La combinaison de l'estimation de pose avec d'autres modalités, comme les capteurs de profondeur ou les unités de mesure inertielle, promet une précision accrue dans des conditions difficiles. Enfin, le développement de modèles unifiés qui gèrent à la fois l'estimation 2D et 3D, ainsi que plusieurs personnes, continuera probablement, évoluant vers une compréhension holistique du mouvement humain dans le monde réel.
À mesure que le domaine mûrit, l'estimation de pose de corps articulé deviendra un composant invisible mais essentiel de nombreux systèmes intelligents, des assistants de santé aux véhicules autonomes. Sa capacité à traduire des pixels bruts en représentations squelettiques significatives comble le fossé entre la perception et l'action, en faisant une pierre angulaire de la recherche en vision par ordinateur et en intelligence artificielle.