Ein generatives adversaryisches Netzwerk, oder GAN, ist eine Klasse von maschinellen Lernmodellen, bei der zwei neuronale Netze, ein Generator und ein Diskriminator, gemeinsam in Opposition trainiert werden: Der Generator versucht, synthetische Daten zu erzeugen, die realistisch genug sind, um den Diskriminator zu täuschen, während der Diskriminator versucht, die gefälschten Ausgaben des Generators korrekt von echten Beispielen zu unterscheiden. Das Training verläuft als ein adversaryisches Spiel, bei dem Verbesserungen in einem Netzwerk das andere dazu anregen, sich ebenfalls zu verbessern, idealerweise konvergierend zu einem Generator, der in der Lage ist, hochrealistische synthetische Daten zu erzeugen.
Geschichte
GANs wurden in einem Papier von 2014 von Ian Goodfellow und Kollegen an der Universität Montreal eingeführt, Berichten zufolge nach einer nächtlichen Debatte über generatives Modellieren konzipiert. Die ursprüngliche Formulierung trainierte relativ kleine Netzwerke auf einfachen Bilddatensätzen, aber die Architektur verbesserte sich schnell: DCGAN im Jahr 2015 etablierte stabile konvolutionäre Architekturen für die Bildgenerierung, und Progressive GAN im Jahr 2017 sowie StyleGAN, das 2018 von NVIDIA-Forschern veröffentlicht und durch StyleGAN2 und StyleGAN3 verfeinert wurde, erzeugten fotorealistische menschliche Gesichter, die überzeugend genug waren, um öffentliche Demonstrationen vom Typ "diese Person existiert nicht" zu betreiben und einen Großteil der Technologie, die später für Deepfake-Medien verwendet wurde.
So funktioniert das Training
Der Generator nimmt zufälliges Rauschen als Eingabe und transformiert es in eine synthetische Stichprobe, während der Diskriminator, ein Standardklassifikator, eine Mischung aus echten und generierten Stichproben erhält und darauf trainiert wird, jede korrekt zu kennzeichnen. Die Verlustfunktion des Generators belohnt ihn für Ausgaben, die der Diskriminator als echt fehlklassifiziert, und beide Netzwerke werden in abwechselnden Schritten über Gradientenabstieg aktualisiert. Im Prinzip treibt dieser adversaryische Prozess die Ausgabeverteilung des Generators dahin, mit der echten Datenverteilung übereinzustimmen, aber in der Praxis ist das GAN-Training bekanntermaßen instabil und anfällig für Moduskollaps, bei dem der Generator lernt, nur eine schmale Bandbreite überzeugender Ausgaben zu erzeugen, anstatt der vollen Vielfalt der echten Daten, ein Problem, das jahrelange Forschung an Architektur und Verlustfunktionen motivierte.
Anwendungen
Über die fotorealistische Gesichts- und Bildsynthese hinaus wurden GANs für die Bild-zu-Bild-Übersetzung verwendet, wie die Umwandlung von Skizzen in Fotos oder Tagesfotos in Nachtfotos, Super-Resolution-Hochskalierung, Datenaugmentation für das Training anderer Modelle sowie Sprachkonvertierung. Sie waren auch eine frühe Architektur hinter praktischen Text-zu-Bild-Systemen, bevor sie weitgehend von Diffusionsmodellen überholt wurden. GAN-basierte Synthese steht im Zentrum von Bedenken hinsichtlich Deepfake-Medien, da dieselbe Generator-Technologie, die überzeugende synthetische Gesichter erzeugt, darauf abzielen kann, reale Personen in Fotos und Videos zu imitieren, was Forschung zur Erkennung von GAN-Ausgaben und KI-Wasserzeichen anregt.
Rückgang gegenüber Diffusionsmodellen
Seit etwa 2021 haben Diffusionsmodelle GANs als dominierenden Ansatz für qualitativ hochwertige Bild- und Videoerzeugung verdrängt, einschließlich in Systemen wie DALL-E, Stable Diffusion und Midjourney, da das Diffusionstraining im Allgemeinen stabiler ist, Moduskollaps vermeidet und eine größere Ausgabevielfalt erzeugt, obwohl GANs typischerweise eine Stichprobe in einem einzigen schnellen Vorwärtsdurchgang generieren, verglichen mit den vielen iterativen Denoising-Schritten eines Diffusionsmodells. GANs bleiben dort aktiv im Einsatz, wo dieser Inferenzgeschwindigkeitsvorteil wichtig ist, und ihr Kernprinzip des adversaryischen Trainings beeinflusst weiterhin das Design von Verlustfunktionen weit über die reine Bildgenerierung hinaus.