Muse ist ein von Google entwickeltes Text-zu-Bild-Modell, das erstmals in einem Forschungspapier im Januar 2023 angekündigt wurde. Es gehört zur Familie der auf Transformer (architecture) basierenden Modelle und wurde entwickelt, um hochauflösende Bilder aus Textbeschreibungen zu erzeugen. Im Gegensatz zu Diffusionsmodellen wie Stable Diffusion oder DALL-E arbeitet Muse mit diskreten Tokens in einem komprimierten Bildraum und verwendet einen maskierten generativen Ansatz, der von der maskierten Sprachmodellierung in Large language models inspiriert ist.
Das Modell wurde von Forschern bei Google und Google DeepMind entwickelt und baut auf früheren Arbeiten zu Vektorquantisierung und Transformer-Architekturen auf. Es wurde im Detail in dem Papier „Muse: Text-To-Image Generation via Masked Generative Transformers" beschrieben, das modernste Ergebnisse bei Benchmarks wie MS-COCO sowie Zero-Shot-Fähigkeiten demonstrierte. Google positionierte Muse als effizientere Alternative zu Diffusionsmodellen und beanspruchte schnellere Inferenzzeiten bei gleichbleibend hoher Bildqualität.
Architektur
Muse verwendet eine zweistufige Pipeline. Zunächst komprimiert ein vortrainierter variational autoencoder (VAE) Bilder in ein diskretes Token-Raster, ähnlich dem Ansatz von VQGAN oder VQ-VAE. Anschließend wird ein Transformer-Modell darauf trainiert, maskierte Tokens in diesem Raster vorherzusagen, wobei es durch Texteinbettungen eines eingefrorenen Large language models (insbesondere T5) konditioniert wird. Während der Generierung startet das Modell mit allen Tokens maskiert und sagt iterativ die sichersten Tokens voraus, wobei es die restlichen über mehrere Schritte ausfüllt. Diese maskierte Modellierungstechnik ermöglicht paralleles Decodieren, was die Generierung im Vergleich zu autoregressiven Modellen beschleunigt.
Der Text-Encoder ist ein eingefrorenes T5-XXL-Modell, das reichhaltige semantische Repräsentationen liefert. Der Bild-Tokenizer ist ein VAE, der auf einem großen Bilddatensatz trainiert wurde und je nach Konfiguration ein 256x256- oder 512x512-Token-Raster erzeugt. Der Transformer selbst ist eine Standard-Encoder-Decoder-Architektur, wobei die Texteinbettungen als Encoder-Eingabe und die maskierten Bild-Tokens als Decoder-Eingabe dienen.
Training und Daten
Muse wurde auf einem großen Korpus von Bild-Text-Paaren trainiert, einschließlich des öffentlich verfügbaren LAION-5B-Datensatzes und interner Google-Datensätze. Der Trainingsprozess umfasste zwei Phasen: Zuerst wurde der VAE separat nur mit Bildern trainiert; dann wurde der Transformer darauf trainiert, maskierte Tokens anhand von Text und nicht maskiertem Kontext vorherzusagen. Das Modell wurde auf TPU-v4-Pods trainiert, wobei die größte Variante 3 Milliarden Parameter aufwies. Das Papier berichtete, dass Muse einen Zero-Shot-FID-Score von 7,9 auf MS-COCO erreichte und damit frühere Diffusionsmodelle wie GLIDE und DALL-E 2 zum damaligen Zeitpunkt übertraf.
Fähigkeiten
Das Modell unterstützt mehrere Aufgaben über die reine Text-zu-Bild-Generierung hinaus. Es kann Bildbearbeitung durchführen, indem ein Eingabebild teilweise maskiert und eine Textaufforderung bereitgestellt wird, was lokalisierte Änderungen ermöglicht. Es unterstützt auch Outpainting (Erweiterung eines Bildes über seine Grenzen hinaus) und Inpainting (Auffüllen fehlender Regionen). Darüber hinaus kann Muse Bilder mit variablem Seitenverhältnis erzeugen und für spezifische Stile oder Domänen feinabgestimmt werden. Das Papier zeigte, dass Muse hochwertige 512x512-Bilder in etwa 1,5 Sekunden auf einer einzelnen TPU erzeugen konnte, was deutlich schneller ist als Diffusionsmodelle, die viele Denoising-Schritte benötigen.
Vergleich mit anderen Modellen
Muse wird oft mit DALL-E 2 und Imagen verglichen, die beide Diffusionsprozesse verwenden. Diffusionsmodelle fügen schrittweise Rauschen hinzu und entfernen es wieder, was hunderte von Schritten erfordert. Muse hingegen verwendet einen diskreten Token-Ansatz mit iterativem Entmaskieren, der typischerweise nur 10-20 Schritte benötigt. Dies macht es während der Inferenz rechnerisch effizienter. Allerdings wurden Diffusionsmodelle in Produktionssystemen breiter übernommen, teilweise wegen ihrer Einfachheit und Robustheit. Muses Abhängigkeit von einem diskreten Token-Raum kann manchmal zu Artefakten führen, insbesondere bei komplexen Texturen oder feinen Details.
Rezeption und Auswirkungen
Muse wurde in der Forschungsgemeinschaft gut aufgenommen für seine innovative Verwendung von maskierter Modellierung im Bildbereich. Es beeinflusste nachfolgende Arbeiten zu diskreter Diffusion und token-basierter Generierung. Allerdings veröffentlichte Google Muse nicht als öffentliches Produkt oder API, anders als spätere Modelle wie Imagen oder Gemini. Der Code und die Gewichte wurden nicht veröffentlicht, was die Reproduzierbarkeit einschränkte. Dennoch wurden die Ideen von Muse in spätere Google-Modelle integriert und inspirierten Open-Source-Bemühungen wie Parti und MuseGAN.
Siehe auch
Referenzen
- Chang, H., et al. (2023). „Muse: Text-To-Image Generation via Masked Generative Transformers." arXiv:2301.00704.
- Google AI Blog. (2023). „Muse: A New Text-to-Image Model."