StyleGAN (Style Generative Adversarial Network) ist eine generative Modell-Architektur, die im Dezember 2018 von NVIDIA-Forschern eingeführt wurde. Sie ist eine Erweiterung des GAN-Frameworks und wurde entwickelt, um hochauflösende, fotorealistische Bilder zu erzeugen, insbesondere menschliche Gesichter. Die Architektur ermöglicht eine feinkörnige Kontrolle über Bildmerkmale durch einen stilbasierten Mechanismus, und ihr Quellcode wurde im Februar 2019 öffentlich zugänglich gemacht.
StyleGAN baut auf dem Progressive-GAN-Ansatz auf, bei dem Generator und Diskriminator während des Trainings von niedriger zu hoher Auflösung wachsen. Die wichtigste Innovation ist die Einführung von Stilvektoren auf mehreren Skalen, die es dem Modell ermöglicht, grobe und feine Details unabhängig voneinander zu steuern. Die ursprüngliche Implementierung basierte auf TensorFlow und der CUDA-Software von NVIDIA, spätere Versionen übernahmen jedoch PyTorch als offizielle Bibliothek.
Geschichte
Der direkte Vorgänger von StyleGAN ist das Progressive GAN, das 2017 veröffentlicht wurde. Im Dezember 2018 veröffentlichten NVIDIA-Forscher einen Preprint und die zugehörige Software für StyleGAN, das in der Lage war, überzeugende Porträts von künstlichen menschlichen Gesichtern auf handelsüblichen GPUs zu erzeugen. Im Februar 2019 nutzte der Uber-Ingenieur Phillip Wang die Software, um die Website „This Person Does Not Exist“ zu erstellen, die bei jedem Seitenaufruf ein neues Gesicht anzeigte. Wang zeigte sich erstaunt darüber, dass StyleGAN trotz der evolutionären Anpassung des Menschen an das Erkennen von Gesichtern relevante Gesichtsmerkmale zerlegen und kohärent neu zusammensetzen konnte.
Im September 2019 veröffentlichte die Website „Generated Photos“ eine Sammlung von 100.000 mit StyleGAN erzeugten Stockfotos, die auf einem privaten Datensatz mit kontrollierter Beleuchtung und konsistenten Kamerawinkeln basierten. Etwa zur gleichen Zeit erstellten zwei Fakultätsmitglieder der Information School der University of Washington das interaktive Tool „Which Face is Real?“, das Besucher herausforderte, echte von künstlichen Gesichtern zu unterscheiden. Ihr Ziel war es, die Öffentlichkeit über die Existenz dieser Technologie aufzuklären, damit diese sich ihrer bewusst wird – ähnlich wie bei der weit verbreiteten Kenntnis über Bildbearbeitung mit Photoshop.
StyleGAN2 wurde am 5. Februar 2020 veröffentlicht und beseitigte charakteristische Artefakte, während die Bildqualität weiter verbessert wurde. StyleGAN3, das als „aliasfreie“ Version beschrieben wurde, erschien am 23. Juni 2021; der Quellcode wurde am 12. Oktober 2021 veröffentlicht. Es verbesserte die Konsistenz zwischen feinen und groben Details und wurde mit PyTorch implementiert.
Architektur
Progressive GAN
Progressive GAN ist eine Trainingsmethode für stabile, hochauflösende Bilderzeugung. Sie zerlegt den Generator als \(G = G_1 \circ G_2 \circ \cdots \circ G_N\) und den Diskriminator als \(D = D_N \circ D_{N-1} \circ \cdots \circ D_1\). Zunächst werden nur \(G_N\) und \(D_N\) verwendet, um 4x4-Bilder zu erzeugen. Anschließend werden \(G_{N-1}\) und \(D_{N-1}\) hinzugefügt, was die Erzeugung von 8x8-Bildern ermöglicht, und so weiter bis zu 1024x1024. Um Diskontinuitäten zu vermeiden, werden neue Schichten mithilfe eines Alpha-Faktors „eingeblendet“, der sanft von 0 auf 1 übergeht, zusammen mit Hoch- und Herunterabtastungsfunktionen.
StyleGAN
StyleGAN kombiniert Progressive GAN mit neuralem Stiltransfer. Jedes erzeugte Bild beginnt als konstantes 4x4x512-Array und durchläuft Stilblöcke. Jeder Stilblock wendet einen Stil-Latentvektor über eine affine Transformation an (adaptive Instanznormalisierung), ähnlich wie beim neuronalen Stiltransfer mit Gram-Matrizen. Anschließend wird Rauschen hinzugefügt und normalisiert, indem der Mittelwert subtrahiert und durch die Varianz dividiert wird. Während des Trainings wird typischerweise ein Stil-Latentvektor pro Bild verwendet, gelegentlich jedoch auch zwei (Mischungsregularisierung), um jeden Stilblock zu ermutigen, unabhängig zu arbeiten.
Anwendungen und Auswirkungen
StyleGAN wurde in der KI-Forschung und in kreativen Anwendungen weit verbreitet eingesetzt. Es ermöglichte die realistische Erzeugung von Gesichtern für Kunst, Design und synthetische Daten. Die Fähigkeit, Stil auf verschiedenen Ebenen zu kontrollieren, inspirierte nachfolgende Modelle in der generativen KI. Allerdings warf es auch Bedenken hinsichtlich Missbrauchs auf, etwa bei der Erstellung gefälschter Profile oder irreführender Inhalte.
Illegale Nutzung
Im Dezember 2019 entfernte Facebook (nicht in den bereitgestellten Slugs enthalten, daher weggelassen) ein Netzwerk von Konten mit falschen Identitäten und stellte fest, dass einige davon Profilbilder verwendeten, die mit maschinellen Lerntechniken erstellt worden waren. Dies verdeutlichte das Potenzial von StyleGAN für Desinformation oder Identitätstäuschung und führte zu Diskussionen über Erkennungsmethoden und ethische Schutzmaßnahmen.
Vermächtnis
Der Einfluss von StyleGAN reicht über die Gesichtserzeugung hinaus. Seine architektonischen Prinzipien, wie progressives Wachstum und Stilmodulation, wurden in verschiedenen Deep-Learning-Modellen übernommen. Die Veröffentlichung des Quellcodes und der nachfolgenden Versionen (StyleGAN2 und StyleGAN3) machte es zu einem Standard-Benchmark in der Maschinenlern-Forschung, mit Implementierungen in wichtigen Frameworks wie PyTorch und TensorFlow.