Generative Adversarial Networks

Ein generatives adversarielles Netzwerk (GAN) ist eine Klasse von Frameworks des maschinellen Lernens und ein prominenter Ansatz für generative KI. Das Konzept wurde ursprünglich im Juni 2014 von Ian Goodfellow und seinen Kollegen entwickelt. In einem GAN konkurrieren zwei neuronale Netze in einem Nullsummenspiel, bei dem der Gewinn des einen Akteurs der Verlust des anderen ist. Gegeben eine Trainingsmenge lernt die Technik, neue Daten mit denselben Statistiken wie die Trainingsmenge zu erzeugen. Beispielsweise kann ein mit Fotografien trainiertes GAN neue Fotografien erzeugen, die zumindest oberflächlich für menschliche Betrachter authentisch wirken. Obwohl ursprünglich als eine Form generativer Modelle für unüberwachtes Lernen vorgeschlagen, haben sich GANs auch für halbüberwachtes Lernen, vollständig überwachtes Lernen und bestärkendes Lernen als nützlich erwiesen.

Die Kernidee eines GAN basiert auf indirektem Training durch einen Diskriminator, ein weiteres neuronales Netz, das bewertet, wie realistisch eine Eingabe erscheint, und das selbst dynamisch aktualisiert wird. Der Generator wird nicht darauf trainiert, den Abstand zu einem bestimmten Bild zu minimieren, sondern den Diskriminator zu täuschen, was es dem Modell ermöglicht, auf unüberwachte Weise zu lernen. GANs ähneln der Mimikry in der Evolutionsbiologie, mit einem evolutionären Wettrüsten zwischen den beiden Netzen.

Definition

Das ursprüngliche GAN ist als ein Spiel zwischen zwei Spielern definiert: dem Generator und dem Diskriminator. Die Strategiemenge des Generators ist die Menge aller Wahrscheinlichkeitsmaße auf einem gegebenen Raum, während die Strategiemenge des Diskriminators die Menge aller Markov-Kerne ist, die Eingaben auf Wahrscheinlichkeiten abbilden. Die Zielfunktion ist ein Nullsummenspiel: Der Generator versucht, sie zu minimieren, und der Diskriminator versucht, sie zu maximieren. Die Aufgabe des Generators besteht darin, seine Ausgabeverteilung so nah wie möglich an die Referenzverteilung anzugleichen, während die Aufgabe des Diskriminators darin besteht, für echte Daten einen Wert nahe 1 und für erzeugte Daten einen Wert nahe 0 auszugeben.

In der Praxis erzeugt das generative Netzwerk Kandidaten, während das diskriminative Netzwerk diese bewertet. Dies erzeugt einen Wettbewerb, der auf Datenverteilungen basiert. Der Generator lernt, von einem latenten Raum auf die wahre Datenverteilung abzubilden, mit dem Ziel, Kandidaten zu erzeugen, die der Diskriminator nicht von echten Daten unterscheiden kann. Das Ziel des Diskriminators ist es, diese Kandidaten korrekt zu identifizieren, aber mit zunehmender Verbesserung des Generators wird die Aufgabe des Diskriminators anspruchsvoller, was seine Fehlerrate erhöht.

Ein bekannter Datensatz dient als anfängliche Trainingsdaten für den Diskriminator. Das Training umfasst das Präsentieren von Stichproben aus dem Trainingsdatensatz, bis der Diskriminator eine akzeptable Genauigkeit erreicht. Der Generator wird basierend darauf trainiert, ob es ihm gelingt, den Diskriminator zu täuschen. Typischerweise wird der Generator mit zufälligem Eingang aus einem vordefinierten latenten Raum, wie einer multivariaten Normalverteilung, initialisiert. Danach werden die vom Generator erzeugten Kandidaten vom Diskriminator bewertet. Unabhängige Backpropagation-Verfahren werden auf beide Netze angewendet, sodass der Generator bessere Stichproben erzeugt, während der Diskriminator geschickter darin wird, synthetische Stichproben zu kennzeichnen. Bei der Bilderzeugung ist der Generator typischerweise ein dekonvolutionales neuronales Netz, und der Diskriminator ist ein konvolutionales neuronales Netz.

Beziehung zu anderen statistischen Methoden des maschinellen Lernens

GANs sind implizite generative Modelle, das heißt, sie modellieren die Wahrscheinlichkeitsfunktion nicht explizit und bieten auch keine Möglichkeit, die latente Variable zu finden, die einer gegebenen Stichprobe entspricht, im Gegensatz zu Alternativen wie flussbasierten generativen Modellen. Im Vergleich zu vollständig sichtbaren Belief-Netzen wie WaveNet und PixelRNN sowie allgemein zu autoregressiven Modellen können GANs eine vollständige Stichprobe in einem einzigen Durchgang erzeugen, anstatt mehrere Durchgänge durch das Netz zu benötigen. Im Vergleich zu Boltzmann-Maschinen und linearer ICA gibt es keine Einschränkung hinsichtlich der Art der Funktion, die vom Netz verwendet wird. Da neuronale Netze universelle Approximatoren sind, sind GANs asymptotisch konsistent. Bis 2026 wurde nachgewiesen, dass auch variational autoencoder universelle Approximatoren sind, aber GANs bleiben durch ihr adversarielles Trainingsparadigma besonders.

Trainingsdynamik und Herausforderungen

Das Training von GANs erfordert ein empfindliches Gleichgewicht. Der Generator und der Diskriminator werden abwechselnd trainiert, was häufig zu Problemen wie Moduskollaps führt, bei dem der Generator nur eine begrenzte Vielfalt an Ausgaben erzeugt, oder zu Nichtkonvergenz, bei der die beiden Netze oszillieren, ohne ein Gleichgewicht zu erreichen. Es wurden verschiedene Techniken entwickelt, um das Training zu stabilisieren, darunter modifizierte Zielfunktionen, architektonische Änderungen und Regularisierungsmethoden. Die adversarielle Natur von GANs macht sie empfindlich gegenüber Hyperparametern, und das Training erfordert sorgfältige Abstimmung.

Anwendungen

GANs wurden umfassend in der Bilderzeugung, Stilübertragung, Datenaugmentierung und Superauflösung eingesetzt. Sie werden auch verwendet, um realistische synthetische Daten für das Training anderer Modelle zu erzeugen, in der medizinischen Bildgebung sowie in kreativen Bereichen wie Kunst- und Musikgenerierung. GANs wurden in der Deep-Learning-Forschung eingesetzt, und ihre Prinzipien haben andere Bereiche der generativen KI beeinflusst.

Auswirkungen und zukünftige Richtungen

Die Einführung von GANs hatte tiefgreifende Auswirkungen auf maschinelles Lernen und künstliche Intelligenz. Sie haben zahlreiche Varianten und Verbesserungen inspiriert, wie bedingte GANs, zykluskonsistente GANs und progressive GANs. Die Forschung befasst sich weiterhin mit Herausforderungen wie Trainingsstabilität und Bewertungsmetriken. GANs bleiben ein grundlegendes Werkzeug im Werkzeugkasten der generativen KI, neben anderen Modellen wie Large-Language-Modellen und Transformern, unterscheiden sich jedoch durch ihren adversariellen Rahmen.