U-Net est une architecture de réseau de neurones convolutif conçue pour la segmentation d'images, introduite par Olaf Ronneberger, Philipp Fischer et Thomas Brox en 2015. L'architecture présente une structure symétrique encodeur-décodeur avec des connexions de saut, ce qui permet une localisation précise tout en préservant les informations contextuelles. U-Net a été initialement développé pour la segmentation d'images biomédicales, mais a depuis été largement adopté dans divers domaines, notamment la vision par ordinateur et la modélisation générative. Sa conception a influencé de nombreuses architectures ultérieures et reste une référence dans les tâches de segmentation.
Architecture
L'architecture U-Net se compose de deux chemins principaux : un chemin de contraction (encodeur) et un chemin d'expansion (décodeur), qui forment ensemble une structure en forme de U. Le chemin de contraction suit la disposition typique d'un réseau convolutif, avec des applications répétées de deux convolutions 3x3, chacune suivie d'une unité linéaire rectifiée (ReLU) et d'une opération de max pooling 2x2 avec un pas de 2 pour le sous-échantillonnage. À chaque étape de sous-échantillonnage, le nombre de canaux de caractéristiques est doublé, permettant au réseau de capturer des caractéristiques de plus en plus abstraites tout en réduisant la résolution spatiale.
Le chemin d'expansion, en revanche, effectue un suréchantillonnage de la carte de caractéristiques, suivi d'une convolution 2x2 qui réduit de moitié le nombre de canaux de caractéristiques. Cette carte est ensuite concaténée avec la carte de caractéristiques correspondante, rognée, provenant du chemin de contraction, formant ainsi des connexions de saut. La concaténation combine les caractéristiques haute résolution de l'encodeur avec les caractéristiques suréchantillonnées du décodeur, permettant une localisation précise. Deux convolutions 3x3, chacune suivie d'une ReLU, sont ensuite appliquées. À la dernière couche, une convolution 1x1 mappe le vecteur de caractéristiques au nombre souhaité de classes.
Une modification clé dans U-Net est le grand nombre de canaux de caractéristiques dans la partie de suréchantillonnage, ce qui permet au réseau de propager les informations contextuelles vers les couches de plus haute résolution. Le chemin d'expansion est plus ou moins symétrique au chemin de contraction, résultant en l'architecture caractéristique en forme de U. Le réseau n'utilise que la partie valide de chaque convolution, ce qui signifie qu'aucun remplissage n'est appliqué, entraînant une légère réduction des dimensions spatiales à chaque étape. Pour gérer les régions de bord, le contexte manquant est extrapolé en reflétant l'image d'entrée aux limites. L'article original suggérait également une stratégie de tuilage pour les grandes images, où des tuiles qui se chevauchent sont traitées indépendamment puis assemblées, permettant de traiter des images haute résolution qui dépasseraient autrement la mémoire GPU.
Entraînement et augmentation de données
U-Net est entraîné à l'aide de la descente de gradient stochastique, avec une fonction de perte qui combine l'entropie croisée avec un schéma de pondération pour mettre l'accent sur les pixels de bord. La carte de poids est précalculée pour séparer les objets qui se touchent de la même classe, ce qui est particulièrement utile en segmentation biomédicale où les cellules se chevauchent souvent. L'augmentation de données est employée pour augmenter la taille effective de l'ensemble d'entraînement, y compris les déformations élastiques et les rotations, qui sont particulièrement pertinentes pour les images biomédicales où de telles variations sont courantes. Cette approche permet à U-Net d'atteindre une grande précision même avec relativement peu d'échantillons d'entraînement, comme démontré dans l'article original avec la segmentation de structures neuronales dans des images de microscopie électronique.
Applications
U-Net a été largement appliqué en segmentation d'images biomédicales, y compris la segmentation d'organes et de systèmes corporels dans les scans de tomodensitométrie (CT) et d'imagerie par résonance magnétique (IRM). Des exemples spécifiques incluent la segmentation d'images cérébrales dans le défi BRATS et la segmentation du foie. Au-delà de l'imagerie biomédicale, U-Net a été utilisé pour des tâches telles que la régression pixel par pixel dans le pansharpening, où il améliore la résolution spatiale des images satellitaires multispectrales. Il a également été employé dans l'analyse de micrographies de matériaux en sciences physiques. Des variantes de U-Net ont été développées pour la reconstruction d'images médicales, et l'architecture a été adaptée pour des données 3D, comme le 3D U-Net pour la segmentation volumétrique à partir d'annotations éparses. Une autre variante notable est TernausNet, qui utilise un encodeur VGG11 pré-entraîné sur ImageNet pour améliorer les performances sur les tâches de segmentation.
Influence sur les modèles génératifs
L'architecture U-Net a également trouvé une utilisation significative dans les modèles génératifs, en particulier dans les modèles de diffusion. Dans ces modèles, U-Net sert de colonne vertébrale pour le débruitage itératif d'images, où il apprend à prédire le bruit ajouté à une image à chaque étape du processus de diffusion. Cette technologie sous-tend de nombreux systèmes modernes de génération d'images, notamment DALL-E, Midjourney et Stable Diffusion. La capacité de U-Net à préserver les détails fins tout en capturant le contexte global le rend bien adapté à cette tâche. Dans ce contexte, U-Net est souvent modifié pour incorporer des intégrations temporelles et des mécanismes d'attention afin de gérer les niveaux de bruit variables et de modéliser les dépendances à longue portée.
Développements récents et extensions
U-Net a inspiré de nombreuses extensions et améliorations architecturales. Attention U-Net introduit des portes d'attention pour se concentrer sur les caractéristiques pertinentes, tandis que U-Net++ (U-Net imbriqué) ajoute des connexions de saut denses pour améliorer le flux de gradient. Residual U-Net incorpore des blocs résiduels pour faciliter l'entraînement de réseaux plus profonds. L'architecture a également été combinée avec des transformeurs, comme dans TransUNet, qui intègre un encodeur transformeur pour capturer le contexte global. Dans le contexte des modèles de diffusion, les variantes de U-Net avec des couches d'attention sont devenues standard. De plus, il y a eu un intérêt pour les modèles U-Net basés sur le champ réceptif pour la segmentation d'images médicales, visant à optimiser le compromis entre informations locales et globales. L'architecture continue d'être un sujet de recherche active, avec des efforts continus pour améliorer l'efficacité, la précision et l'adaptabilité à de nouveaux domaines.
Voir aussi
- Réseau de neurones convolutif
- Segmentation d'images
- Modèle de diffusion
- Encodeur-décodeur
- Connexion de saut
- Imagerie biomédicale
- Réseau antagoniste génératif
- Apprentissage profond
Références
- Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. In Medical Image Computing and Computer-Assisted Intervention (MICCAI).
- Shelhamer, E., Long, J., & Darrell, T. (2014). Fully Convolutional Networks for Semantic Segmentation. In CVPR.
- Çiçek, Ö., Abdulkadir, A., Lienkamp, S. S., Brox, T., & Ronneberger, O. (2016). 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. In MICCAI.
- Iglovikov, V., & Shvets, A. (2018). TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation. arXiv preprint.
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. In NeurIPS.