Parti ist ein autoregressives Text-zu-Bild-Modell, das von Google DeepMind entwickelt wurde. Es erzeugt Bilder aus Textbeschreibungen, indem es die Bilderzeugung als Sequenz-zu-Sequenz-Problem behandelt, ähnlich wie große Sprachmodelle Text generieren. Parti wurde 2022 eingeführt und ist bekannt für seine Fähigkeit, hochwertige, fotorealistische Bilder aus komplexen Aufforderungen zu erzeugen, einschließlich Szenen mit mehreren Objekten und spezifischen Attributen.
Das Modell funktioniert, indem es zunächst eine eingegebene Textaufforderung mithilfe eines Encoders in eine Sequenz von Tokens umwandelt und dann autoregressiv eine Sequenz von Bild-Tokens vorhersagt. Diese Bild-Tokens stammen aus einem diskreten visuellen Codebuch, das separat gelernt wird. Dieser Ansatz ermöglicht es Parti, effektiv mit der Modellgröße und den Trainingsdaten zu skalieren, was zu Verbesserungen bei der Bildqualität und der semantischen Ausrichtung führt.
Architektur
Die Architektur von Parti basiert auf dem Transformer-Modell. Es verwendet eine Encoder-Decoder-Struktur, bei der der Encoder die Textaufforderung verarbeitet und der Decoder die Bild-Token-Sequenz erzeugt. Die visuellen Tokens werden aus einem vortrainierten Vision Transformer (ViT)-Modell gewonnen, das als Tokenizer fungiert. Der Decoder wird trainiert, das nächste Bild-Token basierend auf dem Text und den zuvor generierten Tokens vorherzusagen, ein Prozess, der analog zur maschinellen Lern-Sequenzmodellierung ist.
Das Modell wurde in verschiedenen Größen trainiert, von 350 Millionen bis zu 20 Milliarden Parametern. Die größte Variante, Parti-20B, zeigte auf Benchmarks wie MS-COCO und Localized Narratives eine Spitzenleistung und erreichte hohe FID-Werte (Fréchet Inception Distance), die die Ähnlichkeit zwischen generierten und realen Bildverteilungen messen.
Training und Daten
Parti wurde auf einem großen Datensatz von Bild-Text-Paaren trainiert, der öffentlich verfügbare Webdaten und proprietäre Datensätze umfasste. Der Trainingsprozess umfasste zwei Phasen: Zuerst wurde das visuelle Codebuch mithilfe eines ViT-basierten Tokenizers gelernt, und zweitens wurde der autoregressive Transformer trainiert, um Bild-Tokens aus Text vorherzusagen. Das Modell wurde mit einem standardmäßigen Kreuzentropieverlust über die diskreten Bild-Tokens optimiert.
Google berichtete, dass die Skalierung der Modellgröße und der Trainingsdaten zu konsistenten Verbesserungen der Bildqualität führte, insbesondere bei komplexen Aufforderungen, die kompositorisches Denken erfordern. Das Modell zeigte auch eine Fähigkeit, Aufforderungen mit mehreren Objekten, räumlichen Beziehungen und stilistischen Attributen zu verarbeiten.
Fähigkeiten und Einschränkungen
Parti zeichnet sich durch die Erzeugung von Bildern mit hoher Wiedergabetreue und semantischer Genauigkeit aus. Es kann Bilder aus Aufforderungen erzeugen, die spezifische Szenen beschreiben, wie "ein Foto einer Katze mit Hut" oder "ein Gemälde einer futuristischen Stadt bei Sonnenuntergang". Das Modell unterstützt auch die Textdarstellung, eine herausfordernde Aufgabe für viele Bilderzeugungsmodelle. Parti hat jedoch Einschränkungen, einschließlich gelegentlicher Fehler bei feinen Details, wie falscher Objektanzahl oder geringfügiger Attributabweichungen. Es erfordert auch erhebliche Rechenressourcen für Training und Inferenz.
Vergleich mit anderen Modellen
Parti wurde gleichzeitig mit anderen Text-zu-Bild-Modellen wie DALL-E 2 und Imagen entwickelt. Während Imagen einen diffusionsbasierten Ansatz verwendet, ist Parti autoregressiv, was es ermöglicht, Fortschritte in der Sequenzmodellierung zu nutzen. In Bewertungen erzielte Parti-20B auf Benchmarks wie MS-COCO im Vergleich zu DALL-E 2 und Imagen wettbewerbsfähige oder überlegene Ergebnisse, insbesondere bei FID-Werten und menschlichen Bewertungen. Diffusionsmodelle wie Imagen wurden jedoch für ihre starke Leistung bei bestimmten ästhetischen Qualitäten bemerkt, während Parti in der semantischen Ausrichtung und komplexen Argumentation herausragte.
Auswirkungen und Vermächtnis
Parti trug zum schnellen Fortschritt der generativen KI in der Bildsynthese bei. Sein autoregressiver Ansatz beeinflusste die spätere Forschung an vereinheitlichten multimodalen Modellen, bei denen Text und Bilder in einem gemeinsamen Token-Raum verarbeitet werden. Partis Codebuch und Skalierungserkenntnisse wurden später in andere Google-Modelle integriert, wie die Gemini-Familie, die Text-, Bild- und Audiogenerierung integriert. Das Modell hob auch die Bedeutung von Skalierungsgesetzen in Vision-Language-Aufgaben hervor, was mit Erkenntnissen in der Deep-Learning-Forschung übereinstimmt.