Neural Style Transfer (NST) ist eine Klasse von Software-Algorithmen, die digitale Bilder oder Videos manipulieren, um das Erscheinungsbild oder den visuellen Stil eines anderen Bildes anzunehmen. NST-Algorithmen zeichnen sich durch ihre Verwendung von tiefen neuronalen Netzen zur Bildtransformation aus. Häufige Anwendungen umfassen die Erstellung künstlicher Kunstwerke aus Fotografien, wie etwa die Übertragung des Erscheinungsbilds berühmter Gemälde auf benutzergelieferte Fotos. Bekannte mobile Apps wie DeepArt und Prisma verwenden NST-Techniken, und Künstler und Designer weltweit nutzen die Methode, um neue Kunstwerke auf der Grundlage bestehender Stile zu entwickeln.
NST ist ein Beispiel für Bildstilisierung, ein Problem, das seit über zwei Jahrzehnten in der nicht-fotorealistischen Bildsynthese untersucht wird. Die ersten beiden beispielbasierten Stilübertragungsalgorithmen waren Bildanalogien und Bildquiltung, beide basierend auf patchbasierter Textursynthese. Bildanalogien benötigten ein Trainingspaar von Bildern (ein Foto und ein Kunstwerk, das es darstellt), um eine Transformation zu lernen, während Bildquiltung diesen Verarbeitungsschritt nicht benötigte, aber nur mit einem einzigen Stil demonstriert wurde.
Geschichte
Die erste NST-Methode wurde in dem Papier „A Neural Algorithm of Artistic Style“ von Leon Gatys et al. veröffentlicht, ursprünglich 2015 auf ArXiv veröffentlicht und 2016 auf der CVPR-Konferenz angenommen. Das ursprüngliche Papier verwendete eine VGG-19-Architektur, die für die Objekterkennung auf dem ImageNet-Datensatz vortrainiert war. 2017 führte Google AI eine Methode ein, die es einem einzelnen tiefen konvolutionalen Stilübertragungsnetz ermöglicht, mehrere Stile gleichzeitig zu lernen, was Echtzeit-Stilinterpolation sogar bei Videomedien ermöglicht.
Mathematik
Die Idee von NST besteht darin, zwei Bilder zu nehmen: ein Inhaltsbild \(\vec{p}\) und ein Stilbild \(\vec{a}\), und ein drittes Bild \(\vec{x}\) zu erzeugen, das eine gewichtete Kombination zweier Verlustfunktionen minimiert: einen Inhaltsverlust \(\mathcal{L}_{\text{content}}(\vec{p}, \vec{x})\) und einen Stilverlust \(\mathcal{L}_{\text{style}}(\vec{a}, \vec{x})\). Der Gesamtverlust ist eine lineare Summe: \(\mathcal{L}_{\text{NST}}(\vec{p}, \vec{a}, \vec{x}) = \alpha \mathcal{L}_{\text{content}}(\vec{p}, \vec{x}) + \beta \mathcal{L}_{\text{style}}(\vec{a}, \vec{x})\). Durch die gemeinsame Minimierung dieser Verluste erzeugt NST ein Bild, das den Inhalt des Inhaltsbildes mit dem Stil des Stilbildes vermischt.
Beide Verluste messen die Ähnlichkeit zwischen Bildern. Die Inhaltsähnlichkeit ist die gewichtete Summe der quadratischen Differenzen zwischen neuronalen Aktivierungen eines einzelnen konvolutionalen neuronalen Netzes (CNN) auf zwei Bildern. Die Stilähnlichkeit ist die gewichtete Summe der Gram-Matrizen innerhalb jeder Schicht. Das ursprüngliche Papier verwendete ein VGG-19-CNN, aber die Methode funktioniert mit jedem CNN.
Symbole
Sei \(\vec{x}\) ein Bild, das in ein CNN eingegeben wird. Sei \(F^l \in \mathbb{R}^{N_l \times M_l}\) die Matrix der Filterantworten in Schicht \(l\) auf das Bild, wobei \(N_l\) die Anzahl der Filter in Schicht \(l\) ist und \(M_l\) die Höhe mal Breite (Anzahl der Pixel) jeder Filterantwort ist.
Anwendungen und Auswirkungen
NST hat weit verbreitete Verwendung in Verbraucheranwendungen gefunden, insbesondere in mobilen Apps, die es Benutzern ermöglichen, künstlerische Stile auf ihre Fotos in Echtzeit anzuwenden. DeepArt und Prisma gehören zu den bekanntesten und haben die Technik einem breiten Publikum zugänglich gemacht. Über Verbraucher-Apps hinaus wurde NST von digitalen Künstlern und Designern übernommen, um neuartige Kunstwerke zu schaffen, und es hat nachfolgende Forschung in Generative AI und Bildgenerierung beeinflusst. Die Fähigkeit der Technik, Inhalt von Stil in neuronalen Darstellungen zu trennen, hat auch Arbeiten in anderen Bereichen des Deep learning informiert, wie etwa stilbasierte Generatoren und Domänenanpassung.
Verwandte Techniken und Entwicklung
NST ist Teil einer breiteren Familie von Bildstilisierungsmethoden, die vor Deep Learning existierten, einschließlich patchbasierter Ansätze wie Bildanalogien und Bildquiltung. Die Einführung tiefer neuronaler Netze markierte einen bedeutenden Fortschritt und ermöglichte flexiblere und qualitativ hochwertigere Stilübertragung. Spätere Entwicklungen, wie die Google-AI-Methode von 2017 für Multistil-Lernen, verbesserten die Effizienz und Echtzeitleistung. NST steht auch in Beziehung zu anderen Neural network-basierten Bildmanipulationstechniken, und seine Prinzipien wurden in moderne Generative AI-Systeme integriert, obwohl diese oft andere Architekturen wie Transformer-Modelle anstelle von konvolutionalen Netzen verwenden.
Einschränkungen und Überlegungen
Frühe NST-Methoden waren rechenintensiv und erforderten eine iterative Optimierung für jedes Ausgabebild, obwohl spätere Ansätze mit Feed-Forward-Netzen diese Kosten reduzierten. Die Qualität der Ergebnisse hängt von der Wahl der Schichten und Verlustgewichte ab, und die Methode kann manchmal Artefakte erzeugen oder feine Details nicht bewahren. Wie bei vielen Techniken der künstlichen Intelligenz wirft NST Fragen zu Urheberschaft und Originalität auf, wenn abgeleitete Kunstwerke erstellt werden, obwohl diese nicht einzigartig für NST sind.