L'inpainting est un processus de conservation dans lequel les parties endommagées, détériorées ou manquantes d'une œuvre d'art sont comblées afin de présenter une image complète. Ce processus est couramment utilisé en restauration d'images. Il peut être appliqué à des supports artistiques physiques et numériques, tels que les peintures à l'huile ou acryliques, les tirages photographiques chimiques, les sculptures, ou les images et vidéos numériques. Avec ses racines dans l'art physique, comme la peinture et la sculpture, l'inpainting traditionnel est réalisé par un restaurateur d'art formé qui a soigneusement étudié l'œuvre pour déterminer les médiums et techniques utilisés dans la pièce, les risques potentiels des traitements, et la pertinence éthique du traitement.
Dans le contexte de l'IA générative, l'inpainting est devenu une technique largement utilisée où des modèles de apprentissage automatique, en particulier des réseaux de neurones profonds, comblent les régions manquantes ou corrompues d'une image en fonction du contexte environnant. Cette approche moderne étend la pratique historique à des outils automatisés capables de supprimer des objets, de restaurer d'anciennes photographies ou de modifier du contenu visuel à partir de prompts textuels.
Histoire
L'utilisation moderne de l'inpainting remonte à Pietro Edwards (1744-1821), directeur de la restauration des peintures publiques à Venise, en Italie. Adoptant une approche scientifique, Edwards a concentré ses efforts de restauration sur les intentions de l'artiste. C'est lors de la Conférence internationale de 1930 pour l'étude des méthodes scientifiques d'examen et de préservation des œuvres d'art que l'approche moderne de l'inpainting a été établie. Helmut Ruhemann (1891-1973), restaurateur et conservateur allemand, a mené les discussions sur l'utilisation de l'inpainting en conservation. Ruhemann était une figure de proue de la modernisation de la restauration et de la conservation, et sa plus grande contribution fut son insistance à suivre exactement les méthodes du peintre original et à comprendre l'intention artistique du peintre. Après une carrière de plus de 40 ans, il a publié The Cleaning of Paintings: Problems & Potentialities en 1968, décrivant des méthodes où la surface du comblement doit être légèrement plus basse que la peinture environnante et où le médium d'inpainting ne doit pas s'assombrir avec l'âge. Cesare Brandi (1906-1988) a développé la teoria del restauro, une approche combinant esthétique et psychologie, principalement utilisée par les restaurateurs italiens, avec une terminologie qui s'est répandue dans les années 1990.
Les avancées technologiques ont conduit à de nouvelles applications. Depuis le milieu des années 1990, l'inpainting numérique a évolué pour inclure des logiciels informatiques reposant sur des algorithmes sophistiqués pour remplacer les parties perdues ou corrompues des données d'image. Cela est plus communément appelé interpolation d'image ou de vidéo, une forme d'estimation.
Éthique
Pour préserver l'intégrité d'une œuvre d'art originale, toute technique ou traitement d'inpainting appliqué à une œuvre physique ou numérique doit être réversible ou distinguable du contenu original. Avant les traitements, les restaurateurs procèdent conformément à l'American Institute of Conservation of Historical and Artistic Works. Les considérations éthiques reposent principalement sur l'authenticité, la réversibilité et la documentation. Toute intervention visant à compenser une perte doit être documentée dans les dossiers et rapports de traitement et doit être détectable par des méthodes d'examen courantes. Une telle compensation doit être réversible et ne doit pas modifier faussement les caractéristiques esthétiques, conceptuelles et physiques connues du bien culturel, en particulier en supprimant ou en masquant le matériau original. Les nouvelles technologies et la demande esthétique d'images parfaites sans imperfections mettent au défi les pratiques éthiques des restaurateurs pour protéger l'intégrité des originaux.
Inpainting physique
L'inpainting est ancré dans la conservation et la restauration des peintures. Il peut viser à apporter une amélioration visuelle à l'œuvre dans son ensemble en réparant les parties manquantes ou endommagées à l'aide de méthodes et de matériaux équivalents au travail de l'artiste original. En étudiant les méthodes de peinture de divers artistes et la composition des peintures utilisées historiquement, les restaurateurs peuvent restaurer les œuvres très près de leur apparence visuelle originale. L'image dans son ensemble détermine comment combler le vide. Les techniques de Ruhemann incluent des procédures pour préserver la qualité des peintures à l'huile et à la tempera.
Inpainting numérique
De nombreux programmes peuvent reconstruire les zones manquantes ou endommagées de photographies et de vidéos numériques. Le plus connu pour une utilisation avec des images numériques est Adobe Photoshop. Compte tenu des diverses capacités de l'appareil photo numérique et de la numérisation des anciennes photos, l'inpainting est devenu un processus automatique. Les techniques peuvent être appliquées à la suppression d'objets, à la suppression de texte et à d'autres modifications automatiques d'images et de vidéos. Dans les effets spéciaux vidéo, l'inpainting est généralement effectué après le matting vidéo. Il est également utilisé dans des applications comme la compression d'images et la super-résolution. En photographie et au cinéma, il est utilisé pour la restauration de films afin d'inverser, de réparer ou d'atténuer la détérioration, comme les dommages physiques (fissures, rayures, taches de poussière) ou les dommages chimiques ; cela peut inclure le nettoyage infrarouge. Il peut également supprimer les yeux rouges, les dates tamponnées, les logos ou les filigranes, et remplacer les blocs perdus lors du codage et de la transmission, par exemple dans la vidéo en streaming.
Approches par apprentissage profond
L'inpainting basé sur des réseaux de neurones à apprentissage profond peut être utilisé pour décensurer des images. Les techniques basées sur le prior d'image profond peuvent être utilisées lorsqu'un modèle d'apprentissage profond entraîné est indisponible ou irréalisable. Les modèles profonds pour la génération de contenu visuel, comme le texte-à-image ou le texte-à-vidéo, apprennent des priors complexes sur la distribution du contenu visuel et peuvent être utilisés pour combler les parties manquantes. Par exemple, les vidéos peuvent être séparées en couches à l'aide d'une technique appelée omnimatte, qui soit pré-entraîne un modèle omnimatte, soit utilise un modèle omnimatte-zero sans aucun entraînement.
Trois principaux groupes d'algorithmes d'inpainting d'images 2D existent dans la littérature : l'inpainting structurel (ou géométrique), l'inpainting de texture, et une combinaison des deux. Les méthodes structurelles se concentrent sur la propagation d'informations géométriques, tandis que les méthodes de texture reproduisent des motifs répétitifs.
Utilisation dans l'IA générative et le prompting
Dans l'IA générative, l'inpainting est une capacité centrale de nombreux systèmes de génération d'images basés sur des grands modèles de langage et sur la diffusion. Les utilisateurs fournissent un prompt décrivant le contenu souhaité pour une région masquée ou sélectionnée, et le modèle génère des pixels qui se fondent de manière transparente avec l'image environnante. Cela est distinct de l'outpainting, qui étend le canevas au-delà de ses frontières originales. L'inpainting est couramment disponible via des plateformes comme Replicate, qui hébergent des modèles pour l'édition d'images, et est intégré dans des outils provenant d'entreprises telles que OpenAI, Anthropic et les efforts de recherche de Google DeepMind.
Pour les rédacteurs de prompts, un inpainting efficace nécessite de spécifier le sujet, le style, l'éclairage et la perspective pour correspondre à l'image existante. Les modèles utilisent souvent des mécanismes de attention croisée pour aligner les prompts textuels avec les régions d'image, et des techniques comme le échantillonnage top-k ou le échantillonnage top-p peuvent influencer la diversité de la sortie. Le processus implique généralement une architecture encodeur-décodeur, telle qu'un U-Net, qui traite l'image masquée et génère la région comblée.
Applications pratiques
Les utilisations pratiques de l'inpainting incluent la restauration de photographies historiques, la suppression d'objets ou de personnes indésirables dans des images, la réparation de séquences de films endommagées et la création de composites sans couture dans la publicité et le divertissement. En imagerie médicale, l'inpainting peut combler les données manquantes des scans. En conduite autonome, il peut supprimer les obstacles des données d'entraînement pour améliorer la robustesse du modèle. La technique est également utilisée dans l'inpainting audio pour combler les lacunes dans les enregistrements sonores, bien qu'il s'agisse d'un domaine distinct de l'inpainting visuel.
Défis et limites
Les défis de l'inpainting numérique incluent le maintien de la cohérence avec l'éclairage et la texture de l'image originale, l'évitement des artefacts et la garantie que le contenu généré n'introduit pas de fausses informations, en particulier dans des contextes documentaires ou médico-légaux. Les modèles d'apprentissage profond peuvent halluciner des détails qui n'étaient pas présents à l'origine, soulevant des préoccupations éthiques similaires à celles de la conservation physique. Au début des années 2020, les modèles continuent de s'améliorer pour gérer des scènes complexes, mais la reconstruction parfaite reste un problème ouvert dans la recherche en intelligence artificielle.