La paramétrisation par profondeur inverse est une méthode utilisée en vision par ordinateur et en localisation et cartographie simultanées (SLAM) pour représenter la position d'un point 3D dans le champ de vision d'une caméra. Au lieu de stocker directement les coordonnées euclidiennes du point (x, y, z), elle stocke la direction du point (angles d'azimut et d'élévation) ainsi que l'inverse de sa profondeur (1/z). Cette représentation est particulièrement précieuse pour les systèmes SLAM monoculaires, où la profondeur n'est pas directement observable et doit être estimée à partir du mouvement au fil du temps.
L'avantage principal de la paramétrisation par profondeur inverse réside dans son traitement de l'incertitude. Pour les points éloignés, une petite erreur de profondeur correspond à une grande erreur sur la coordonnée z euclidienne, ce qui rend les modèles de bruit gaussien en coordonnées cartésiennes standard mal adaptés. En profondeur inverse, la distribution d'incertitude devient plus symétrique et plus proche d'une gaussienne, ce qui s'aligne bien avec le filtre de Kalman et d'autres cadres d'estimation couramment utilisés en SLAM. Cela conduit à une estimation d'état plus stable et plus précise, en particulier pendant les premières images lorsque la profondeur d'une caractéristique est très incertaine.
Contexte historique
La technique a gagné en importance au milieu des années 2000 grâce aux travaux de Javier Civera, Andrew Davison et José María Martínez Montiel, qui ont publié des articles influents sur le SLAM monoculaire avec paramétrisation par profondeur inverse. Leur article de 2008 intitulé « Inverse Depth Parametrization for Monocular SLAM » (publié dans IEEE Transactions on Robotics) a formalisé l'approche et démontré son efficacité dans le suivi en temps réel. Ces travaux se sont appuyés sur des recherches antérieures en Computer vision et Machine learning qui exploraient des paramétrisations alternatives pour la reconstruction 3D, mais la profondeur inverse s'est révélée particulièrement adaptée aux stratégies d'initialisation retardée et non retardée utilisées dans les systèmes monoculaires.
Avant cela, les systèmes SLAM monoculaires rencontraient souvent des difficultés avec les caractéristiques éloignées de la caméra ou présentant une grande incertitude de profondeur. La formulation en profondeur inverse a permis à ces systèmes d'initialiser les caractéristiques avec une variance de profondeur très élevée (modélisant efficacement une profondeur infinie), puis d'affiner l'estimation à mesure que la caméra se déplaçait et fournissait de la parallaxe. Cela représentait une amélioration significative par rapport aux méthodes antérieures qui exigeaient une initialisation des caractéristiques avec une profondeur fixe ou qui écartaient les caractéristiques à forte incertitude.
Formulation mathématique
Dans la paramétrisation par profondeur inverse, un point 3D est représenté comme un vecteur d'état à six dimensions :
- La position de la caméra lors de la première observation (x0, y0, z0)
- L'angle d'azimut (θ) et l'angle d'élévation (φ) définissant la direction du rayon depuis cette position
- La profondeur inverse (ρ = 1/d)
Cette représentation est une paramétrisation minimale de l'emplacement du point, évitant le besoin d'une coordonnée 3D complète avec des informations redondantes. Les coordonnées 3D réelles peuvent être récupérées en se déplaçant depuis la position initiale de la caméra le long de la direction du rayon sur une distance de 1/ρ.
Le choix de la profondeur inverse plutôt que de la profondeur elle-même est motivé par l'observation que, pour une caméra se déplaçant à vitesse constante, la profondeur inverse d'un point statique évolue linéairement en l'absence de bruit. Cette linéarité simplifie l'étape de prédiction dans les algorithmes de filtrage et améliore le conditionnement numérique. De plus, la profondeur inverse peut être initialisée à zéro (représentant un point à l'infini) sans provoquer de singularités, ce qui n'est pas possible avec une paramétrisation standard par profondeur.
Applications en SLAM et odométrie visuelle
La paramétrisation par profondeur inverse est devenue un composant standard dans de nombreux systèmes SLAM monoculaires. Elle est utilisée à la fois dans les approches basées sur le filtrage, comme le système MonoSLAM original développé à l'Université d'Oxford, et dans les méthodes d'optimisation basées sur les images clés. Par exemple, le système PTAM (Parallel Tracking and Mapping), développé par Georg Klein et David Murray, a adopté la profondeur inverse pour son thread de cartographie, et des systèmes ultérieurs comme LSD-SLAM et ORB-SLAM ont intégré des idées similaires dans leurs étapes d'initialisation et de cartographie.
La technique est particulièrement utile dans les scénarios où la caméra subit un mouvement de translation significatif, fournissant la parallaxe nécessaire pour réduire l'incertitude de profondeur. Dans l'odométrie visuelle pour les véhicules autonomes, comme ceux développés par Waymo ou Tesla, la profondeur inverse aide à maintenir des cartes 3D cohérentes à partir de flux de caméra monoculaires, même lorsque les caractéristiques sont à des distances variables. Elle joue également un rôle dans les pipelines de réalité augmentée et de structure par le mouvement, où une estimation précise de la profondeur à partir d'une seule caméra en mouvement est essentielle.
Avantages et limites
Un avantage clé de la paramétrisation par profondeur inverse est sa capacité à gérer des caractéristiques à très grandes distances, y compris des points effectivement à l'infini. Dans une paramétrisation euclidienne standard, de tels points rendent la matrice de covariance mal conditionnée, entraînant une instabilité numérique. La profondeur inverse évite cela en maintenant le paramètre borné et l'incertitude bien modélisée.
Un autre bénéfice est la facilité d'initialisation. Une nouvelle caractéristique peut être initialisée avec une grande variance de profondeur inverse, représentant une ignorance complète de sa distance, puis mise à jour à mesure que davantage d'observations sont faites. Cela contraste avec les méthodes qui exigent une estimation initiale de la profondeur ou qui utilisent une initialisation retardée pour accumuler suffisamment de parallaxe d'abord.
Cependant, la paramétrisation n'est pas sans inconvénients. La représentation nécessite de stocker la position initiale de la caméra pour chaque caractéristique, ce qui augmente l'utilisation de la mémoire. Elle introduit également un couplage entre la pose de la caméra et les paramètres de la caractéristique, ce qui peut compliquer le processus d'optimisation. En pratique, de nombreux systèmes basculent vers une paramétrisation euclidienne une fois que l'incertitude de profondeur d'une caractéristique a été suffisamment réduite, afin de simplifier la représentation d'état et de réduire le coût computationnel.
Relation avec d'autres techniques
La paramétrisation par profondeur inverse est étroitement liée à d'autres techniques en robotique probabiliste et en vision par ordinateur. Elle partage des similitudes conceptuelles avec l'utilisation de la disparité en vision stéréo, où l'inverse de la profondeur est directement proportionnel à la disparité entre les images gauche et droite de la caméra. Dans les approches Deep learning pour l'estimation de profondeur monoculaire, telles que celles utilisant des architectures Neural network, la sortie est souvent représentée comme une profondeur inverse ou une profondeur logarithmique pour améliorer la stabilité et la précision de l'entraînement, reflétant le même raisonnement statistique sous-jacent.
La technique se connecte également à des cadres d'estimation plus larges comme le Kalman Filter et le particle-filter, qui sont utilisés en SLAM et en suivi. Le choix de la paramétrisation est une décision de conception critique dans ces systèmes, et la profondeur inverse s'est révélée être un choix robuste et pratique pour la vision monoculaire, influençant une large gamme de recherches ultérieures et d'implémentations commerciales.