Inpainting ist ein Konservierungsprozess, bei dem beschädigte, verfallene oder fehlende Teile eines Kunstwerks aufgefüllt werden, um ein vollständiges Bild zu präsentieren. Dieser Prozess wird häufig bei der Bildrestaurierung eingesetzt. Er kann sowohl auf physische als auch auf digitale Kunstmedien angewendet werden, wie Öl- oder Acrylbilder, chemische Fotodrucke, Skulpturen oder digitale Bilder und Videos. Mit seinen Wurzeln in physischen Kunstwerken, wie Malerei und Skulptur, wird traditionelles Inpainting von einem ausgebildeten Kunstrestaurator durchgeführt, der das Kunstwerk sorgfältig untersucht hat, um die verwendeten Medien und Techniken, potenzielle Risiken der Behandlungen und die ethische Angemessenheit der Behandlung zu bestimmen.
Im Kontext von generativer KI ist Inpainting zu einer weit verbreiteten Technik geworden, bei der maschinelle Lern-Modelle, insbesondere Deep-Learning-neuronale Netze, fehlende oder beschädigte Regionen eines Bildes basierend auf dem umgebenden Kontext auffüllen. Dieser moderne Ansatz erweitert die historische Praxis auf automatisierte Werkzeuge, die Objekte entfernen, alte Fotos restaurieren oder visuelle Inhalte basierend auf Textaufforderungen bearbeiten können.
Geschichte
Die moderne Nutzung von Inpainting lässt sich auf Pietro Edwards (1744-1821), Direktor der Restaurierung der öffentlichen Bilder in Venedig, Italien, zurückführen. Mit einem wissenschaftlichen Ansatz konzentrierte Edwards seine Restaurierungsbemühungen auf die Absichten des Künstlers. Es war während der Internationalen Konferenz von 1930 für das Studium wissenschaftlicher Methoden zur Untersuchung und Erhaltung von Kunstwerken, dass der moderne Ansatz zum Inpainting etabliert wurde. Helmut Ruhemann (1891-1973), ein deutscher Restaurator und Konservator, leitete die Diskussionen über die Verwendung von Inpainting in der Konservierung. Ruhemann war eine führende Figur bei der Modernisierung von Restaurierung und Konservierung, und sein größter Beitrag war sein Beharren darauf, die Methoden des ursprünglichen Malers genau zu befolgen und die künstlerische Absicht des Malers zu verstehen. Nach einer Karriere von über 40 Jahren veröffentlichte er 1968 The Cleaning of Paintings: Problems & Potentialities, in dem er Methoden beschrieb, bei denen die Oberfläche der Füllung leicht unter der umgebenden Farbe liegen sollte und das Inpainting-Medium mit dem Alter nicht nachdunkeln sollte. Cesare Brandi (1906-1988) entwickelte die teoria del restauro, einen Ansatz, der Ästhetik und Psychologie kombiniert, hauptsächlich von italienischen Restauratoren verwendet, wobei die Terminologie in den 1990er Jahren weit verbreitet wurde.
Technologische Fortschritte führten zu neuen Anwendungen. Seit Mitte der 1990er Jahre hat sich digitales Inpainting weiterentwickelt und umfasst Computersoftware, die auf hochentwickelten Algorithmen basiert, um verlorene oder beschädigte Teile von Bilddaten zu ersetzen. Dies ist allgemein als Bild- oder Videointerpolation bekannt, eine Form der Schätzung.
Ethik
Um die Integrität eines Originalkunstwerks zu bewahren, sollte jede Inpainting-Technik oder -Behandlung, die auf physische oder digitale Werke angewendet wird, reversibel oder vom Originalinhalt unterscheidbar sein. Vor Behandlungen gehen Restauratoren gemäß dem American Institute of Conservation of Historical and Artistic Works vor. Ethische Überlegungen betreffen hauptsächlich Authentizität, Reversibilität und Dokumentation. Jeder Eingriff zum Ausgleich von Verlusten sollte in Behandlungsunterlagen und -berichten dokumentiert werden und durch gängige Untersuchungsmethoden nachweisbar sein. Ein solcher Ausgleich sollte reversibel sein und die bekannten ästhetischen, konzeptionellen und physischen Eigenschaften des Kulturguts nicht fälschlich verändern, insbesondere durch Entfernen oder Verdecken von Originalmaterial. Neue Technologien und die ästhetische Nachfrage nach perfekten Bildern ohne Makel fordern die ethischen Praktiken der Restauratoren heraus, um die Integrität von Originalen zu schützen.
Physisches Inpainting
Inpainting ist in der Konservierung und Restaurierung von Gemälden verwurzelt. Es kann darauf abzielen, eine visuelle Verbesserung des Kunstwerks als Ganzes zu erreichen, indem fehlende oder beschädigte Teile mit Methoden und Materialien repariert werden, die denen der ursprünglichen Künstlerarbeit entsprechen. Durch das Studium der Malmethoden verschiedener Künstler und der historisch verwendeten Farbzusammensetzungen können Restauratoren Werke sehr nahe an ihrem ursprünglichen visuellen Erscheinungsbild wiederherstellen. Das Bild als Ganzes bestimmt, wie die Lücke gefüllt wird. Ruhemanns Techniken umfassen Verfahren zur Erhaltung der Qualität von Öl- und Temperamalereien.
Digitales Inpainting
Viele Programme können fehlende oder beschädigte Bereiche digitaler Fotos und Videos rekonstruieren. Am bekanntesten für die Verwendung mit digitalen Bildern ist Adobe Photoshop. Angesichts der verschiedenen Fähigkeiten der Digitalkamera und der Digitalisierung alter Fotos ist Inpainting zu einem automatischen Prozess geworden. Techniken können auf Objektentfernung, Textentfernung und andere automatische Modifikationen von Bildern und Videos angewendet werden. Bei Video-Spezialeffekten wird Inpainting normalerweise nach dem Video-Matting durchgeführt. Es wird auch in Anwendungen wie Bildkompression und Super-Resolution verwendet. In Fotografie und Kino wird es für die Filmrestaurierung eingesetzt, um Verschlechterungen zu beheben, zu reparieren oder zu mildern, wie physische Schäden wie Risse, Kratzer und Staubflecken oder chemische Schäden; dies kann Infrarotreinigung umfassen. Es kann auch Rote-Augen-Effekte, gestempelte Daten, Logos oder Wasserzeichen entfernen und verlorene Blöcke bei Kodierung und Übertragung ersetzen, beispielsweise bei Streaming-Videos.
Deep-Learning-Ansätze
Auf Deep-Learning-Neuronalen-Netzen basierendes Inpainting kann zur Entschärfung von Bildern verwendet werden. Techniken basierend auf Deep-Image-Prior können eingesetzt werden, wenn ein trainiertes Deep-Learning-Modell nicht verfügbar oder nicht durchführbar ist. Deep-Modelle für die Generierung visueller Inhalte, wie Text-zu-Bild oder Text-zu-Video, lernen komplexe Priors über die Verteilung visueller Inhalte und können verwendet werden, um fehlende Teile zu inpaintieren. Beispielsweise können Videos mit einer Technik namens Omnimatte in Schichten getrennt werden, die entweder ein Omnimatte-Modell vortrainiert oder ein Omnimatte-Zero-Modell ohne Training verwendet.
In der Literatur existieren drei Hauptgruppen von 2D-Bild-Inpainting-Algorithmen: strukturelles (oder geometrisches) Inpainting, Textur-Inpainting und eine Kombination aus beiden. Strukturelle Methoden konzentrieren sich auf die Ausbreitung geometrischer Informationen, während Texturmethoden repetitive Muster replizieren.
Verwendung in generativer KI und Prompting
In generativer KI ist Inpainting eine Kernfunktion vieler Large-Language-Modell-basierter und diffusionsbasierter Bildgenerierungssysteme. Benutzer geben einen Prompt an, der den gewünschten Inhalt für eine maskierte oder ausgewählte Region beschreibt, und das Modell generiert Pixel, die nahtlos mit dem umgebenden Bild verschmelzen. Dies unterscheidet sich vom Outpainting, das die Leinwand über ihre ursprünglichen Grenzen hinaus erweitert. Inpainting ist häufig über Plattformen wie Replicate verfügbar, die Modelle für die Bildbearbeitung hosten, und ist in Tools von Unternehmen wie OpenAI, Anthropic und Forschungsbemühungen von Google DeepMind integriert.
Für Prompt-Autoren erfordert effektives Inpainting die Angabe von Motiv, Stil, Beleuchtung und Perspektive, um zum vorhandenen Bild zu passen. Modelle verwenden oft Cross-Attention-Mechanismen, um Text-Prompts mit Bildregionen abzugleichen, und Techniken wie Top-k-Sampling oder Top-p-Sampling können die Ausgabevielfalt beeinflussen. Der Prozess umfasst typischerweise eine Encoder-Decoder-Architektur, wie ein U-Net, das das maskierte Bild verarbeitet und die gefüllte Region generiert.
Praktische Anwendungen
Praktische Anwendungen von Inpainting umfassen die Restaurierung historischer Fotos, das Entfernen unerwünschter Objekte oder Personen aus Bildern, die Reparatur beschädigten Filmmaterials und die Erstellung nahtloser Composings in Werbung und Unterhaltung. In der medizinischen Bildgebung kann Inpainting fehlende Daten aus Scans auffüllen. Im autonomen Fahren kann es Hindernisse aus Trainingsdaten entfernen, um die Robustheit des Modells zu verbessern. Die Technik wird auch in Audio-Inpainting verwendet, um Lücken in Tonaufnahmen zu füllen, obwohl dies ein separates Gebiet vom visuellen Inpainting ist.
Herausforderungen und Einschränkungen
Herausforderungen beim digitalen Inpainting umfassen die Aufrechterhaltung der Konsistenz mit der Beleuchtung und Textur des Originalbilds, die Vermeidung von Artefakten und die Sicherstellung, dass generierte Inhalte keine falschen Informationen einführen, insbesondere in dokumentarischen oder forensischen Kontexten. Deep-Learning-Modelle können Details halluzinieren, die ursprünglich nicht vorhanden waren, was ethische Bedenken ähnlich denen in der physischen Konservierung aufwirft. Bis Anfang der 2020er Jahre verbessern sich Modelle weiterhin bei der Handhabung komplexer Szenen, aber die perfekte Rekonstruktion bleibt ein offenes Problem in der Forschung zur künstlichen Intelligenz.