En vision par ordinateur, le terme cuboïde décrit un petit volume spatio-temporel extrait à des fins de reconnaissance de comportements. Il est considéré comme un type de primitive géométrique de base et est utilisé pour représenter des objets tridimensionnels dans une représentation tridimensionnelle d'une image bidimensionnelle plate. Les cuboïdes fournissent une approximation volumétrique simplifiée des objets, permettant aux logiciels d'analyser des scènes à travers des descriptions géométriques plutôt qu'en s'appuyant sur des modèles d'apparence détaillés.
Le concept s'appuie sur l'utilisation plus large des primitives géométriques dans la vision par ordinateur et l'apprentissage automatique, où des formes de base telles que des boîtes, des cylindres et des sphères servent de blocs de construction pour la compréhension de scènes. Les cuboïdes offrent spécifiquement un ajustement de type boîte rectangulaire autour d'un objet ou d'une région d'intérêt, capturant son étendue spatiale à la fois dans l'espace et dans le temps. Cela les rend particulièrement utiles pour les tâches nécessitant le suivi ou la reconnaissance d'actions à travers des images vidéo, car le volume spatio-temporel encode le mouvement et les changements de forme sur de courts intervalles.
Production
Les cuboïdes peuvent être produits à partir d'images bidimensionnelles et tridimensionnelles. Une méthode utilise les bases de données de primitives SUN (scene understanding), qui sont des collections d'images contenant déjà des cuboïdes. En triant ces bases de données avec des outils d'apprentissage automatique, les ordinateurs observent les conditions dans lesquelles les cuboïdes sont produits dans les images et apprennent à générer des cuboïdes à partir d'autres images. Cette approche repose sur l'apprentissage supervisé, où des exemples étiquetés enseignent aux algorithmes à identifier et à ajuster des cuboïdes sur de nouvelles données.
Les images RGB-D, qui sont des images RVB enregistrant également la profondeur de chaque pixel, sont parfois utilisées pour produire des cuboïdes. Comme la profondeur est déjà enregistrée, les ordinateurs n'ont plus besoin d'estimer la distance d'un objet par rapport à la caméra, ce qui simplifie le processus d'ajustement. Cela est particulièrement avantageux dans les environnements intérieurs où les capteurs de profondeur sont courants, comme dans les applications de robotique et de réalité augmentée.
La production de cuboïdes est sensible aux changements de couleur et d'illumination, aux occlusions et à l'encombrement de l'arrière-plan. Cela signifie qu'il est difficile pour les ordinateurs de produire des cuboïdes d'objets multicolores, irrégulièrement éclairés ou partiellement couverts, ou lorsque de nombreux objets apparaissent en arrière-plan. Cette limitation est en partie due au fait que les algorithmes de production de cuboïdes sont encore relativement simples, s'appuyant souvent sur la détection de contours et la segmentation par couleur qui peuvent être perturbées par le bruit visuel.
Utilisation
Les cuboïdes sont créés pour des cartes tridimensionnelles basées sur des nuages de points et peuvent être utilisés dans diverses situations telles que la réalité augmentée, le contrôle automatisé de voitures, de drones et de robots, et la détection d'objets. Dans ces contextes, les cuboïdes servent de représentations compactes qui réduisent la complexité des données brutes de nuages de points, permettant aux systèmes de raisonner efficacement sur les relations spatiales.
Les cuboïdes permettent aux logiciels d'identifier une scène à travers des descriptions géométriques de manière « agnostique aux objets ». Cela signifie que plutôt que de reconnaître des catégories d'objets spécifiques, le système se concentre sur la disposition spatiale et l'occupation volumétrique, ce qui peut être appliqué à différents types d'objets et d'environnements. Cette propriété est précieuse pour la navigation et la cartographie, où l'objectif est de comprendre l'espace libre et les obstacles plutôt que d'identifier chaque élément.
Les points d'intérêt, des emplacements dans les images qu'un ordinateur identifie comme essentiels pour reconnaître l'image, créés à partir d'images bidimensionnelles peuvent être utilisés avec des cuboïdes pour la correspondance d'images, l'identification d'une pièce ou d'une scène, et la reconnaissance d'instances. Les points d'intérêt créés à partir d'images tridimensionnelles peuvent être utilisés avec des cuboïdes pour reconnaître des activités. Cela est possible car les points d'intérêt aident les logiciels à se concentrer uniquement sur les aspects les plus importants des images, réduisant la charge de calcul et améliorant la robustesse.
Intégration avec SLAM et CAO
Les images RGB-D et les systèmes de localisation et cartographie simultanées (SLAM) sont utilisés ensemble dans les systèmes RGB-D SLAM, qui sont employés par les systèmes de conception assistée par ordinateur (CAO) pour générer des cartes tridimensionnelles basées sur des nuages de points. Dans de tels systèmes, les cuboïdes peuvent être extraits des nuages de points reconstruits pour fournir des ancres sémantiques ou géométriques, facilitant des tâches comme le placement d'objets et l'édition de scènes.
La plupart des outils industriels d'usinage multi-axes utilisent la fabrication assistée par ordinateur et travaillent ensuite dans des espaces de travail cuboïdes. C'est une utilisation distincte mais connexe du terme, où le volume physique disponible pour l'usinage est souvent approximé comme un cuboïde pour la planification des trajectoires d'outils et l'évitement de collisions. La simplicité géométrique des cuboïdes les rend calculatoirement traitables pour ces applications industrielles.
Défis et orientations futures
Malgré leur utilité, les méthodes basées sur les cuboïdes rencontrent des défis dans les scènes complexes. La sensibilité à l'illumination et à l'occlusion limite leur fiabilité dans les environnements extérieurs ou dynamiques. Les chercheurs explorent des algorithmes plus robustes, y compris ceux basés sur l'apprentissage profond et les réseaux de neurones, pour améliorer la détection et l'ajustement des cuboïdes. Par exemple, les réseaux résiduels et les architectures U-Net ont été appliqués à des tâches de segmentation sémantique qui peuvent produire des propositions de cuboïdes.
Une autre direction implique l'intégration des cuboïdes avec des techniques de augmentation de données pour entraîner des modèles qui généralisent mieux à travers les conditions d'éclairage et les apparences d'objets. De plus, l'utilisation de la normalisation par lots et du dropout dans les pipelines d'entraînement aide à stabiliser l'apprentissage lorsqu'on traite des données de profondeur bruitées.
Concepts connexes
Les cuboïdes sont étroitement liés à d'autres primitives géométriques utilisées en vision par ordinateur, telles que les boîtes englobantes et les boîtes englobantes orientées. Alors que les boîtes englobantes sont alignées sur les axes et souvent utilisées pour la détection d'objets en 2D, les cuboïdes étendent cela à l'espace 3D et au temps. Dans la reconnaissance d'activités, les cuboïdes peuvent être considérés comme une forme d'extraction de caractéristiques spatio-temporelles, similaire aux détecteurs de points d'intérêt comme Harris3D ou la transformée de caractéristiques invariantes à l'échelle (SIFT) adaptée à la vidéo.
La production de cuboïdes emploie souvent des techniques d'apprentissage automatique, y compris des méthodes d'apprentissage supervisé et d'apprentissage non supervisé. En particulier, les réseaux de neurones convolutifs ont été utilisés pour prédire directement les paramètres des cuboïdes à partir d'images, contournant les caractéristiques artisanales traditionnelles. Cela s'aligne avec les tendances plus larges de l'intelligence artificielle où les modèles d'apprentissage profond remplacent les pipelines manuels.
Voir aussi
- Vision par ordinateur
- Apprentissage automatique
- Apprentissage profond
- Réseau de neurones
- Augmentation de données
- Réseau résiduel
- U-Net