Das Text-zu-Text-Framework ist eine Methodik in der Verarbeitung natürlicher Sprache, die alle Aufgaben in ein einheitliches Format umformuliert: Bei einem gegebenen Eingabetext erzeugt das Modell einen Ausgabetext. Dieser Ansatz wurde durch das T5-Modell (Text-to-Text Transfer Transformer) bekannt gemacht, das 2019 von Google AI eingeführt wurde. Durch die Vereinheitlichung von Aufgaben wie Übersetzung, Zusammenfassung und Beantwortung von Fragen in ein einziges Text-zu-Text-Paradigma vereinfacht das Framework das Modelldesign und ermöglicht Transferlernen über verschiedene Aufgaben hinweg.
T5-Modelle sind Encoder-Decoder Architecture-Transformer-Architekturen, bei denen der Encoder den Eingabetext verarbeitet und der Decoder den Ausgabetext erzeugt. Dieses Design folgt dem ursprünglichen Transformer-Modell, enthält jedoch Modifikationen wie relative Positions-Einbettungen und Schichtnormalisierung außerhalb des Residualpfads. Die Flexibilität des Frameworks ermöglicht es, eine breite Palette von Aufgaben zu bewältigen, von der Korrektur grammatikalischer Fehler bis zur Codegenerierung.
Training
Die ursprünglichen T5-Modelle wurden auf dem Colossal Clean Crawled Corpus (C4), einem massiven Datensatz von Text und Code, der aus dem Internet gesammelt wurde, vortrainiert. Das Vortraining umfasste eine Denoising-Zielsetzung, bei der das Modell lernte, korrupten Text zu rekonstruieren, wobei Sentinel-Tokens verwendet wurden, um fehlende Abschnitte zu markieren. Beispielsweise lernt das Modell bei der Eingabe „Thank you <X> me to your party <Y> week.“, „<X> for inviting <Y> last <Z>“ auszugeben, wobei <Z> das Ende der Ausgabe anzeigt.
Nach dem Vortraining können T5-Modelle für spezifische nachgelagerte Aufgaben feinabgestimmt werden. Die Feinabstimmung passt das allgemeine Sprachverständnis des Modells an, um in Anwendungen wie Chatbots, maschineller Übersetzung und Textzusammenfassung gut abzuschneiden. Das einheitliche Format des Frameworks bedeutet, dass Feinabstimmungsdaten ebenfalls als Eingabe-Ausgabe-Textpaare strukturiert sind, was die Anwendung auf neue Aufgaben unkompliziert macht.
Architektur
Die T5-Serie umfasst Modelle verschiedener Größen, die alle die Encoder-Decoder-Struktur teilen. Das ursprüngliche Papier berichtete fünf Konfigurationen: small (60M Parameter), base (220M), large (770M), 3B und 11B. Jedes Modell hat die gleiche Anzahl von Schichten im Encoder und Decoder; zum Beispiel hat T5-small 6 Schichten in beiden. Wichtige architektonische Dimensionen umfassen die Anzahl der Aufmerksamkeitsköpfe, die Einbettungsdimension, die Größe des Feedforward-Netzwerks und die Schlüssel/Wert-Dimension. Bemerkenswerterweise weichen die 3B- und 11B-Modelle von der typischen Beziehung ab, bei der die Einbettungsdimension dem Produkt aus Schlüssel/Wert-Dimension und Anzahl der Köpfe entspricht.
Im Vergleich zum ursprünglichen Transformer verwendet T5 Schichtnormalisierung ohne additiven Bias, platziert die Normalisierung außerhalb des Residualpfads und verwendet relative Positions-Einbettungen. Ein WordPiece-Tokenizer mit einer Vokabulargröße von 32.000 wird für Eingabe und Ausgabe gemeinsam genutzt und auf einer Mischung aus englischen, deutschen, französischen und rumänischen Daten aus C4 trainiert.
Varianten
Mehrere nachfolgende Modelle bauten auf der T5-Architektur auf, oft mit nicht standardisierten Namen. Die ursprünglichen Modelle (2019) wurden von T5 1.1 (verbesserte Versionen mit GEGLU-Aktivierung und umbenannten XL/XXL-Größen für die größeren Varianten) gefolgt. LM-adapted T5 (2021) setzte das Training mit zusätzlichen C4-Tokens fort. Switch Transformer (2021) führte eine Variante mit Expertenmischung ein. T0 (2021) konzentrierte sich auf Zero-Shot-Anweisungsbefolgung. ByT5 (2021) arbeitete auf Byte-Ebene ohne Tokenizer. Flan-T5 (2022) fügte Anweisungsabstimmung hinzu. UL2 20B (2022) skalierte auf 20B Parameter und verwendete eine Mischung aus Denoiser-Zielsetzungen. Pile-T5 (2024) verwendete den Llama-Tokenizer und wurde auf The Pile trainiert.
Anwendungen
Das Encoder-Decoder-Design des T5-Frameworks ermöglicht Anweisungsbefolgung: Der Encoder verarbeitet die Anweisung, und der Decoder erzeugt autoregressiv die Antwort. Der T5-Encoder kann auch als Text-Encoder für andere Modelle dienen, indem er Vektorrepräsentationen zur Konditionierung erzeugt. Zum Beispiel verwendet Google Imagen T5-XXL als seinen Text-Encoder, und AuraFlow verwendet Pile-T5-XL. Diese Anwendungen zeigen die Vielseitigkeit des Frameworks über traditionelle NLP-Aufgaben hinaus.
Das Text-zu-Text-Paradigma hat die Entwicklung nachfolgender großer Sprachmodelle beeinflusst, wobei die Vorteile eines einheitlichen Eingabe-Ausgabe-Formats für Transferlernen und Multi-Task-Training betont werden.