T5 (Text-to-Text Transfer Transformer) ist eine Serie von großen Sprachmodellen, die von Google AI entwickelt und 2019 eingeführt wurde. Das zentrale Designprinzip von T5 besteht darin, alle Verarbeitungsaufgaben natürlicher Sprache in ein einziges Text-zu-Text-Format zu vereinheitlichen: Jede Aufgabe, sei es Übersetzung, Zusammenfassung oder Fragenbeantwortung, wird so formuliert, dass Eingabetext verarbeitet und Ausgabetext erzeugt wird. Dies steht im Gegensatz zu früheren Modellen, die häufig aufgabenspezifische Ausgabeköpfe oder Architekturen verwendeten. Wie das ursprüngliche Transformer-Modell verwenden T5-Modelle eine Encoder-Decoder-Struktur, bei der der Encoder den Eingabetext verarbeitet und der Decoder den Ausgabetext erzeugt.
Die ursprünglichen T5-Modelle werden auf dem Colossal Clean Crawled Corpus (C4) vortrainiert, einem Datensatz, der aus dem Web gescrapten Text und Code enthält. Dieses Vortraining ermöglicht es den Modellen, allgemeine Sprachverständnis- und Generierungsfähigkeiten zu erwerben. Nach dem Vortraining können T5-Modelle auf spezifische nachgelagerte Aufgaben feinabgestimmt werden, wobei sie ihre gelernten Darstellungen anpassen, um in einer Vielzahl von Anwendungen gut abzuschneiden, darunter Chatbots, Codegenerierung und Robotik.
Vortrainingsaufgaben
Das Vortraining von T5-Modellen erfolgt auf einer Vielzahl von Aufgaben, die alle als Eingabetext gefolgt von Ausgabetext formatiert sind. Eine primäre Aufgabe ist die Textwiederherstellung, bei der Teile des Eingabetexts durch Sentinel-Tokens (wie <X> und <Y>) ersetzt werden und das Modell den ursprünglichen Text rekonstruieren muss. Beispielsweise würde die Eingabe "Thank you <X> me to your party <Y> week." voraussichtlich "<X> for inviting <Y>" erzeugen, wobei die Sentinel-Tokens fehlende Textabschnitte anzeigen. Eine weitere Aufgabe ist die maschinelle Übersetzung, bei der das Modell Text in einer Ausgangssprache erhält und eine Übersetzung in einer Zielsprache erzeugen muss. Darüber hinaus wird T5 auf Aufgaben wie grammatikalische Akzeptanzurteile trainiert, bei denen das Modell bestimmen muss, ob ein Satz sprachlich wohlgeformt ist.
Architektur
Die T5-Serie umfasst mehrere Modelle unterschiedlicher Größen, die alle Encoder-Decoder-Transformer sind. Der Encoder verarbeitet den Eingabetext, und der Decoder erzeugt den Ausgabetext, wobei beide Komponenten in allen veröffentlichten Konfigurationen die gleiche Anzahl von Schichten teilen. Die ursprüngliche Veröffentlichung aus dem Jahr 2019 berichtete über fünf Modellvarianten: T5-small, T5-base, T5-large, T5-3B und T5-11B. Diese Modelle unterscheiden sich in der Anzahl der Schichten, Aufmerksamkeitsköpfe, Einbettungsdimensionen und Größen der Feedforward-Netzwerke, wobei die Parameteranzahl von etwa 60 Millionen für T5-small bis zu 11 Milliarden für T5-11B reicht.
Im Vergleich zur ursprünglichen Transformer-Architektur führte T5 mehrere Änderungen ein: Die Schichtnormalisierung wird ohne additiven Bias angewendet, die Schichtnormalisierung wird außerhalb des Residualpfads platziert, und es werden relative Positions-Einbettungen verwendet. Die Modelle verwenden außerdem einen gemeinsamen WordPiece-Tokenizer mit einer Vokabulargröße von 32.000, der auf einer Mischung aus englischem, deutschem, französischem und rumänischem Text im Verhältnis 10:1:1:1 trainiert wurde.
Architekturdetails
Die T5-Serie basiert ausschließlich auf der Encoder-Decoder-Transformer (architecture)-Architektur. In diesem Design nimmt der Encoder den Eingabetext auf und erzeugt eine Sequenz von verborgenen Darstellungen, die der Decoder dann verwendet, um den Ausgabetext autoregressiv Token für Token zu erzeugen. Jede Encoder- und Decoder-Schicht enthält Selbstaufmerksamkeitsmechanismen, Kreuzaufmerksamkeit (im Decoder) und Feedforward-Netzwerke. Die Modelle unterscheiden sich vom ursprünglichen Transformer durch die Verwendung relativer Positions-Einbettungen und die Entfernung des Bias-Terms in der Schichtnormalisierung.
Für die größeren Varianten (3B und 11B Parameter) folgen die Dimensionen des Modells nicht der üblichen Beziehung d_model = d_kv * n_heads, wobei d_model die Einbettungsdimension, d_kv die Schlüssel-/Wert-Dimension und n_heads die Anzahl der Aufmerksamkeitsköpfe ist. Diese Designentscheidung ermöglichte mehr Flexibilität bei der Skalierung der Modelle. Alle T5-Varianten teilen denselben Tokenizer, der zwischen Encoder und Decoder gemeinsam genutzt wird.
Varianten und nachfolgende Modelle
Nach der ursprünglichen T5-Veröffentlichung wurden mehrere Varianten und abgeleitete Modelle entwickelt, die häufig nicht standardisierte Namenskonventionen verwenden. T5 1.1 führte verbesserte Versionen mit GEGLU-Aktivierungen anstelle des ursprünglichen ReLU ein und benannte die 3B- und 11B-Modelle in XL beziehungsweise XXL um. Die XL- und XXL-Formen wurden in dieser Version ebenfalls modifiziert.
Die LM-adaptierten T5-Modelle, die 2021 veröffentlicht wurden, wurden aus den ursprünglichen T5-Checkpoints initialisiert und mit weiteren 100 Milliarden Tokens aus C4 nachtrainiert. Der Switch Transformer, ebenfalls 2021 eingeführt, wandte einen Mixture-of-Experts-Ansatz auf T5 an und ersetzte standardmäßige Feedforward-Schichten durch expertenbasierte. T0-Modelle, die 2021 veröffentlicht wurden, wurden aus LM-adaptierten T5-Checkpoints feinabgestimmt, um Aufgaben in einer Zero-Shot-Umgebung nur anhand von Task-Anweisungen auszuführen. ByT5, ebenfalls aus dem Jahr 2021, arbeitet auf UTF-8-Bytes statt auf tokenisiertem Text und wurde auf dem mehrsprachigen C4 trainiert.
Flan-T5-XL, eingeführt 2022, wurde durch Instruction-Tuning eines T5-XL-Checkpoints auf dem FLAN-Datensatz erstellt. UL2, ebenfalls aus 2022, verwendet die T5-Architektur, skaliert jedoch auf 20 Milliarden Parameter und wird mit einem Mixture-of-Denoisers-Ziel auf C4 trainiert; es wurde versehentlich auf einem TPU-Cluster trainiert. T5X, veröffentlicht 2022, ist eine Neuimplementierung des T5-Codebases in JAX, während die ursprüngliche Implementierung TensorFlow und MeshTF verwendete.
Anwendungen und Auswirkungen
T5-Modelle wurden aufgrund ihrer flexiblen Text-zu-Text-Schnittstelle weitgehend für verschiedene Aufgaben der natürlichen Sprachverarbeitung übernommen. Sie wurden unter anderem für maschinelle Übersetzung, Zusammenfassung, Fragenbeantwortung und grammatikalische Fehlerkorrektur eingesetzt. Die Fähigkeit der Modelle, mehrere Aufgaben innerhalb eines einzigen Frameworks zu bewältigen, vereinfachte Bereitstellung und Experimente. Die Modelle beeinflussten auch nachfolgende Modellfamilien im maschinellen Lernen, insbesondere bei der Entwicklung von instruktionsabgestimmten Modellen und Expertenmischungs-Architekturen. Seine Encoder-Decoder-Architektur bleibt einflussreich für das Design späterer Modelle, obwohl viele nachfolgende große Sprachmodelle, wie die von OpenAI und Anthropic, auf reine Decoder-Architekturen umgestellt haben.
Die ursprüngliche T5-Veröffentlichung berichtete von starker Leistung bei einer Reihe von Benchmarks, darunter GLUE und SuperGLUE, und zeigte, dass der Text-zu-Text-Ansatz bei unterschiedlichen Aufgaben mit minimaler aufgabenspezifischer Anpassung modernste Ergebnisse erzielen kann. Die Veröffentlichung des T5-Codebasis und der vortrainierten Checkpoints erleichterte die Übernahme in akademischen und industriellen Umgebungen.
Anwendungen und Auswirkungen
T5-Modelle wurden aufgrund ihrer flexiblen Text-zu-Text-Schnittstelle für verschiedene Aufgaben der Verarbeitung natürlicher Sprache weitgehend übernommen. Sie wurden unter anderem auf maschinelle Übersetzung, Zusammenfassung, Fragenbeantwortung und grammatikalische Fehlerkorrektur angewendet. Die Fähigkeit der Modelle, mehrere Aufgaben innerhalb eines einzigen Frameworks zu bewältigen, erleichterte Bereitstellung und Experimente. T5 beeinflusste auch nachfolgende Modellfamilien im maschinellen Lernen, insbesondere bei der Entwicklung von instruktionsabgestimmten Modellen und Mixture-of-Experts-Architekturen. Sein Encoder-Decoder-Design bleibt einflussreich für das Design späterer Modelle, obwohl viele nachfolgende große Sprachmodelle, wie die von OpenAI und Anthropic, auf Decoder-Only-Architekturen setzten.
Das ursprüngliche T5-Papier berichtete über Spitzenleistungen bei einer Reihe von Benchmarks, einschließlich GLUE und SuperGLUE, und zeigte, dass der Text-zu-Text-Ansatz mit minimalem aufgabenspezifischem Ingenieursaufwand hochmoderne Ergebnisse erzielen konnte. Die Veröffentlichung des T5-Codebasis und der vortrainierten Checkpoints erleichterte die Übernahme in akademischen und industriellen Umgebungen.
Wirkung und Vermächtnis
T5 trug dazu bei, das Konzept zu etablieren, alle NLP-Aufgaben als Text-zu-Text-Probleme zu formulieren, was spätere instrukttionsgetunte Modelle und den breiteren Trend zu einheitlichen Modellarchitekturen beeinflusste. Die Veröffentlichung von T5 trug auch zum breiteren Trend der Skalierung transformerbasierter Sprachmodelle bei, wobei Varianten bis zu 11 Milliarden Parameter erreichten. Die Verfügbarkeit des C4-Datensatzes und des T5-Codebasis stellte eine grundlegende Ressource für nachfolgende Forschung dar. Obwohl inzwischen neuere Architekturen entstanden sind, beeinflussen T5s Designprinzipien und Erkenntnisse weiterhin die laufende Arbeit in maschinellem Lernen und deep learning.