VQGAN (Vector Quantized Generative Adversarial Network) ist eine Klasse von generativen neuralen Netzwerk-Architekturen, die für die Erzeugung hochauflösender Bilder entwickelt wurden. Sie kombiniert das Lernen diskreter latenter Repräsentationen durch Vektorquantisierung (VQ) mit den wahrnehmungsbezogenen Qualitätsverbesserungen eines generativen adversarialen Netzwerks (GAN). VQGAN wurde in einem Paper von Patrick Esser, Robin Rombach und Björn Ommer an der Universität Heidelberg und dem IWR im Jahr 2021 eingeführt und wurde zu einem grundlegenden Baustein für spätere Text-zu-Bild-Modelle, einschließlich der latenten Diffusionsmodelle, die in Stable Diffusion verwendet werden.
Die Kernidee von VQGAN besteht darin, ein komprimiertes, diskretes Codebuch visueller Merkmale aus Trainingsbildern zu lernen. Ein Encoder-Netzwerk bildet ein Eingabebild auf eine Sequenz von Indizes in dieses Codebuch ab, und ein Decoder rekonstruiert das Bild aus diesen Indizes. Ein GAN-Diskriminator wird zusammen mit dem Encoder und Decoder trainiert, um sicherzustellen, dass rekonstruierte Bilder von echten wahrnehmungsmäßig nicht zu unterscheiden sind, während ein wahrnehmungsbezogener Verlust, der auf einem vortrainierten Netzwerk (wie VGG) basiert, die Wiedergabetreue weiter verbessert. Dieser Ansatz ermöglicht es VQGAN, Bilder mit Auflösungen von 1024x1024 Pixeln und darüber zu erzeugen, was für frühere Modelle wie VQ-VAE eine Herausforderung darstellte.
Architektur und Training
Die VQGAN-Architektur besteht aus drei Hauptkomponenten: einem Encoder, einem Decoder und einem Codebuch lernbarer Vektoren. Der Encoder reduziert das Eingabebild auf ein räumliches Gitter latenter Codes, die jeweils auf den nächsten Codebucheintrag quantisiert werden. Der Decoder skaliert diese Codes zurück in den Bildraum. Das Training minimiert eine Kombination aus Rekonstruktionsverlust (L2), wahrnehmungsbezogenem Verlust und einem Commitment-Verlust, der die Encoder-Ausgaben dazu anregt, nahe an den Codebucheinträgen zu bleiben. Der GAN-Diskriminator, typischerweise ein PatchGAN, wird adversarial trainiert, um echte von rekonstruierten Bildern zu unterscheiden, was den Decoder dazu drängt, schärfere Details zu erzeugen.
Eine wichtige Neuerung war die Verwendung eines Transformer-Modells, wie eines Transformers, um die Sequenz quantisierter Codes zu modellieren. Durch die Behandlung der diskreten Codes als Token konnte der Transformer globale Abhängigkeiten lernen und Bilder autoregressiv neu erzeugen, was eine kohärente großflächige Struktur ermöglichte. Dieser hybride Ansatz - konvolutionaler Encoder/Decoder mit einer Transformer-Prior - erlaubte es VQGAN, sowohl lokale Texturen als auch globalen Kontext zu erfassen.
Anwendungen in der latenten Diffusion
Die einflussreichste Anwendung von VQGAN kam durch seine Integration in latente Diffusionsmodelle. In dem Paper "High-Resolution Image Synthesis with Latent Diffusion Models" aus dem Jahr 2022 verwendeten Rombach und Kollegen einen VQGAN-artigen Autoencoder, um Bilder in einen niedrigdimensionalen latenten Raum zu komprimieren. Das Diffusionsmodell operierte dann auf diesen Latenten anstelle von rohen Pixeln, was die Rechenkosten drastisch reduzierte und gleichzeitig die Bildqualität bewahrte. Diese Architektur wurde zur Grundlage von Stable Diffusion, einem weit verbreiteten Open-Source-Text-zu-Bild-System. Die VQGAN-Komponente in diesen Modellen wird im Stable-Diffusion-Ökosystem oft als "VAE" (variational autoencoder) bezeichnet, behält jedoch das vektorquantisierte Design bei.
Vergleich mit anderen generativen Modellen
Im Gegensatz zu reinen GANs wie StyleGAN, die Bilder direkt aus einem Rauschvektor erzeugen, produziert VQGAN eine diskrete latente Repräsentation, die manipuliert und bearbeitet werden kann. Diese Eigenschaft macht es für Aufgaben wie Bildinpainting, Super-Resolution und semantische Synthese geeignet. Im Vergleich zu VQ-VAE fügt VQGAN adversarial und wahrnehmungsbezogene Verluste hinzu, die die Schärfe und Realismus der Ausgaben erheblich verbessern. Allerdings macht die Abhängigkeit von einem Codebuch und einer Transformer-Prior das Training komplexer und rechenintensiver als bei einfacheren Autoencodern.
Vermächtnis und Einfluss
VQGAN beeinflusste die spätere Forschung im Bereich Deep Learning und künstlicher Intelligenz, insbesondere im Bereich der generativen Modellierung. Das Konzept des diskreten latenten Raums wurde in verschiedenen multimodalen Modellen übernommen und trug zur Entwicklung von großen Sprachmodellen bei, die visuelle Token integrieren. Der Code und die vortrainierten Modelle wurden öffentlich veröffentlicht, was weitreichende Experimente ermöglichte. Stand 2025 bleibt VQGAN ein Referenzpunkt für das Verständnis der Abwägungen zwischen diskreten und kontinuierlichen latenten Repräsentationen in der Bildgenerierung, und seine Prinzipien fließen weiterhin in neuere Architekturen in der breiteren Machine-Learning-Gemeinschaft ein.
Einschränkungen
Trotz seiner Stärken hat VQGAN bekannte Einschränkungen. Die Größe und Dimension des Codebuchs erfordern eine sorgfältige Abstimmung; ein zu kleines Codebuch führt zu Detailverlust, während ein zu großes den Speicherverbrauch erhöht. Die Transformer-Prior kann langsam beim Sampling sein, insbesondere bei hochauflösenden Bildern. Darüber hinaus kann das Modell Artefakte wie Unschärfe in gleichmäßigen Bereichen oder repetitive Muster aufweisen, insbesondere wenn das Codebuch nicht ausdrucksstark genug ist. Diese Probleme motivierten spätere Ansätze, die zu kontinuierlichen latenten Repräsentationen übergingen, wie sie in einigen Diffusionsmodellen zu sehen sind.