Deep image prior est une technique en apprentissage automatique et apprentissage profond qui utilise un réseau de neurones initialisé aléatoirement comme a priori artisanal pour résoudre des problèmes inverses en traitement d'images. Contrairement aux approches conventionnelles d'apprentissage profond qui nécessitent de grands ensembles de données pour l'entraînement, le deep image prior exploite le biais inductif intrinsèque de l'architecture d'un réseau convolutif pour capturer les statistiques d'images de bas niveau. En ajustant le réseau à une seule image corrompue, il peut effectuer des tâches telles que le débruitage, la super-résolution et l'inpainting sans aucun poids pré-entraîné ni données externes.
La méthode a été introduite en 2017 par Dmitry Ulyanov, Andrea Vedaldi et Victor Lempitsky, et publiée dans un article intitulé « Deep Image Prior » à la conférence IEEE sur la vision par ordinateur et la reconnaissance de formes (CVPR) en 2018. L'observation centrale est qu'un réseau convolutif, lorsqu'il est initialisé aléatoirement, a une forte préférence pour les signaux d'images naturels par rapport au bruit. Cette préférence permet au réseau d'agir comme un régularisateur, séparant efficacement le signal du bruit pendant le processus d'optimisation.
Comment cela fonctionne
L'approche du deep image prior consiste à initialiser un réseau convolutif avec des poids aléatoires, puis à optimiser ces poids pour reconstruire une image cible à partir d'une entrée corrompue. Le réseau prend un tenseur de bruit aléatoire fixe comme entrée et produit une image de sortie. La fonction de perte mesure la différence entre la sortie du réseau et l'observation corrompue, généralement en utilisant l'erreur quadratique moyenne (MSE) ou d'autres métriques au niveau des pixels.
Pendant l'optimisation, le réseau est entraîné à l'aide de méthodes basées sur le gradient telles que optimiseur Adam ou variantes de SGD. L'idée clé est que l'architecture du réseau impose un a priori de lissage qui favorise les images naturelles. En conséquence, le réseau apprend d'abord à s'adapter au signal propre sous-jacent, tout en ne s'adaptant au bruit ou à la corruption que plus tard dans le processus d'optimisation. En arrêtant l'optimisation tôt, on peut obtenir une version débruitée ou restaurée de l'image.
Applications
Le deep image prior a été appliqué avec succès à plusieurs tâches de restauration d'images. En débruitage, la méthode élimine le bruit gaussien additif des images sans nécessiter un ensemble de données d'entraînement de paires bruitées-propres. Pour la super-résolution, le réseau suréchantillonne des images basse résolution à des résolutions plus élevées tout en préservant les bords nets et les textures. En inpainting, il remplit les régions manquantes ou corrompues d'une image en propageant les informations des zones environnantes.
Au-delà de ces tâches classiques, le deep image prior a été étendu à d'autres problèmes inverses, notamment le débruitage de flou, l'élimination d'artefacts et même la reconstruction en imagerie médicale. Sa capacité à fonctionner avec une seule image le rend particulièrement précieux dans les domaines où les données d'entraînement appariées sont rares ou indisponibles, comme dans les contextes de recherche atomique Bhabha ou recherche Samsung où les données propriétaires ou sensibles ne peuvent pas être partagées.
Avantages et limites
Un avantage majeur du deep image prior est son efficacité en termes de données. Comme il ne nécessite aucun pré-entraînement, il peut être appliqué à n'importe quelle image sans avoir besoin d'un grand corpus d'exemples. Cela le rend utile pour des tâches de restauration ponctuelles ou pour des images hors distribution par rapport aux ensembles d'entraînement typiques. De plus, la méthode est non supervisée, car elle n'utilise que l'image corrompue elle-même pendant l'optimisation.
Cependant, l'approche présente des limites. Le processus d'optimisation est intensif en calcul, nécessitant souvent des milliers d'itérations et des ressources GPU importantes. Le choix de l'architecture du réseau, comme le nombre de couches et de canaux, peut affecter considérablement les performances, et il n'existe pas de configuration universelle qui fonctionne de manière optimale pour toutes les tâches. De plus, la méthode peut avoir du mal avec une corruption sévère ou lorsque la corruption n'est pas bien modélisée par l'a priori implicite.
Relation avec d'autres techniques
Le deep image prior est conceptuellement lié à d'autres méthodes d'apprentissage non supervisé et auto-supervisé. Il partage des similitudes avec les techniques de augmentation de données qui exploitent la structure des images naturelles. Il se connecte également au domaine plus large de la IA générative, bien qu'il ne génère pas de nouvelles images mais reconstruise des images existantes. La méthode a inspiré des travaux ultérieurs sur les modèles génératifs profonds et sur la compréhension des biais inductifs des architectures de réseaux convolutifs (bien que le slug pour réseau de neurones convolutif ne soit pas dans la liste fournie, aucun lien n'est donc utilisé).
La recherche a également exploré la combinaison du deep image prior avec des structures de réseaux résiduels pour améliorer la convergence et la stabilité. La technique a été analysée dans le contexte des fonctions de perte et de l'initialisation des poids, où l'initialisation aléatoire joue un rôle critique dans l'efficacité de l'a priori.
Recherche actuelle et orientations futures
Depuis son introduction, le deep image prior a été étendu dans diverses directions. Les chercheurs ont étudié des moyens de réduire le coût de calcul, comme l'utilisation de élagage de modèles pour créer des réseaux plus efficaces. D'autres ont exploré des critères d'arrêt adaptatifs pour déterminer automatiquement le nombre optimal d'itérations. La méthode a également été combinée avec la normalisation par lots et la normalisation de couche pour améliorer la dynamique d'entraînement.
Les travaux futurs pourraient se concentrer sur l'extension de l'approche aux données vidéo, où la cohérence temporelle est importante, ou sur son intégration avec des architectures basées sur transformers. Au début des années 2020, le deep image prior reste un domaine de recherche actif, avec des études en cours sur ses fondements théoriques et ses applications pratiques dans des domaines comme Google Cloud et Amazon Web Services, où les services de traitement d'images basés sur le cloud pourraient bénéficier de telles techniques non supervisées.