L'enregistrement d'images est le processus computationnel de transformation de différents ensembles de données en un système de coordonnées unique. Les données peuvent être de multiples photographies, des données provenant de différents capteurs, de différentes périodes ou de différents points de vue. Il est utilisé en vision par ordinateur, en imagerie médicale, en reconnaissance automatique de cibles militaires, ainsi que pour compiler et analyser des images et des données provenant de satellites. L'enregistrement est nécessaire pour permettre la comparaison ou l'intégration de données obtenues à partir de différentes mesures, telles que différents types de capteurs, différentes périodes ou différents points de vue.
L'objectif de l'enregistrement d'images est d'aligner géométriquement deux ou plusieurs images, généralement une image de référence et une image mobile (ou perçue), afin que les caractéristiques ou structures correspondantes coïncident. Le processus implique la détermination d'une transformation spatiale qui mappe les points de l'image mobile vers l'image de référence. Cette transformation peut être rigide (translation et rotation), affine (incluant mise à l'échelle et cisaillement) ou non rigide (déformable), selon l'application et la nature du désalignement.
Étapes principales et méthodes
L'enregistrement d'images suit généralement un pipeline général. Premièrement, la détection de caractéristiques identifie des points saillants, des contours ou des régions dans les deux images. Les détecteurs de caractéristiques courants incluent les détecteurs de coins comme les coins de Harris ou les points clés de la transformée en caractéristiques invariantes à l'échelle (SIFT). Deuxièmement, la mise en correspondance des caractéristiques établit des correspondances entre les caractéristiques détectées, souvent à l'aide de descripteurs invariants aux changements d'échelle, de rotation ou d'illumination. Troisièmement, l'estimation du modèle de transformation calcule les paramètres de la transformation spatiale choisie en utilisant les correspondances appariées, souvent avec des méthodes robustes comme le consensus d'échantillons aléatoires (RANSAC) pour gérer les valeurs aberrantes. Enfin, la transformation d'image et le rééchantillonnage appliquent la transformation estimée à l'image mobile, en utilisant des techniques d'interpolation telles que l'interpolation bilinéaire ou cubique pour produire la sortie alignée.
Des approches alternatives incluent les méthodes basées sur l'intensité (ou basées sur les zones), qui optimisent directement une métrique de similarité sur les paramètres de transformation sans extraction explicite de caractéristiques. Des métriques comme la corrélation croisée normalisée, l'information mutuelle ou la somme des carrés des différences sont utilisées. Ces méthodes sont particulièrement utiles lorsque les caractéristiques sont rares ou lorsque les images ont des modalités différentes, comme l'alignement d'une scanographie par imagerie par résonance magnétique (IRM) avec une scanographie par tomodensitométrie (TDM).
Applications en imagerie médicale
En imagerie médicale, l'enregistrement d'images est essentiel pour combiner des images de différentes modalités (par exemple, TEP et TDM), suivre la croissance tumorale au fil du temps ou aligner des images préopératoires et peropératoires pour la navigation chirurgicale. Par exemple, en radiothérapie, l'enregistrement des images de planification TDM avec les images quotidiennes de TDM à faisceau conique garantit une administration précise des radiations à la cible tout en préservant les tissus sains. L'enregistrement non rigide est souvent nécessaire pour tenir compte de la déformation des organes, du mouvement respiratoire ou des mouvements du patient. Des techniques comme l'architecture U-Net, initialement développée pour la segmentation d'images biomédicales, ont été adaptées pour l'enregistrement basé sur l'apprentissage profond, où les réseaux neuronaux apprennent à prédire directement les champs de déformation à partir de paires d'images.
Applications en télédétection et vision par ordinateur
En télédétection, l'enregistrement aligne des images satellites ou aériennes prises à différentes périodes, provenant de différents capteurs ou sous différents angles de vue. Cela permet la détection de changements, comme le suivi du développement urbain ou de la déforestation, et la création de mosaïques de grandes zones géographiques. L'enregistrement multimodal, comme l'alignement d'images optiques avec des images de radar à synthèse d'ouverture (RSO), pose des défis en raison des caractéristiques d'image différentes. En vision par ordinateur, l'enregistrement est utilisé dans l'assemblage de panoramas, où plusieurs photographies se chevauchant sont alignées pour créer une vue grand angle, et dans la réalité augmentée, où des objets virtuels sont alignés avec la scène du monde réel. Il sous-tend également les systèmes de conduite autonome, où les images de plusieurs caméras et capteurs doivent être fusionnées en une représentation spatiale cohérente.
Approches d'apprentissage profond
Avec l'essor de l'apprentissage profond, les réseaux de neurones convolutifs (CNN) ont été appliqués à l'enregistrement d'images. Les méthodes supervisées entraînent des réseaux à prédire les paramètres de transformation ou les champs de déformation à partir de paires d'images, nécessitant des alignements de vérité terrain pour l'entraînement. Les méthodes non supervisées, inspirées des réseaux de transformateurs spatiaux, utilisent un échantillonneur d'image différenciable pour déformer l'image mobile et minimiser une perte de similarité, comme la corrélation croisée normalisée, sans avoir besoin d'étiquettes de vérité terrain. Ces approches peuvent être plus rapides au moment de l'inférence et peuvent gérer des déformations non rigides complexes. Cependant, elles nécessitent souvent de grandes quantités de données d'entraînement et peuvent ne pas bien généraliser à des anatomies ou types de capteurs non vus. Les méthodes hybrides combinent l'optimisation classique avec l'apprentissage profond, par exemple, en utilisant un réseau pour initialiser la transformation ou pour régulariser le champ de déformation.
Défis et orientations futures
L'enregistrement d'images reste difficile en raison de facteurs tels que les grandes déformations, les occlusions, les variations d'intensité et les différences multimodales. La robustesse au bruit et aux valeurs aberrantes est une préoccupation constante. Les orientations futures incluent l'utilisation d'architectures basées sur les transformeurs pour capturer les dépendances à longue portée, et l'intégration de l'enregistrement avec d'autres tâches comme la segmentation ou la classification dans un cadre conjoint. Le développement de jeux de données à grande échelle et de métriques d'évaluation standardisées continue de stimuler les progrès. Au milieu des années 2020, les méthodes basées sur l'apprentissage profond sont de plus en plus adoptées dans les contextes cliniques et industriels, bien que les méthodes classiques restent précieuses pour leur interprétabilité et leurs faibles besoins en données.
Voir aussi
- vision par ordinateur
- imagerie médicale
- télédétection
- réseau de transformateur spatial