Der Transformer ist eine neuronale Netzwerkarchitektur, die 2017 eingeführt wurde und sequenzielle Daten wie Text mithilfe von Aufmerksamkeitsmechanismen verarbeitet, anstatt der schrittweisen Rekurrenz früherer Modelle, wodurch eine gesamte Sequenz parallel verarbeitet werden kann. Er ist zur Grundlage fast aller modernen großen Sprachmodelle geworden und wurde auch für Bilder, Audio und andere Datentypen angepasst.
Geschichte
Vor dem Transformer stützte sich die Sequenzmodellierung für Aufgaben wie maschinelle Übersetzung hauptsächlich auf rekurrente neuronale Netze, einschließlich Seq2seq-Encoder-Decoder-Modellen, die Eingabetokens einzeln verarbeiten und daher Schwierigkeiten haben, zu parallelisieren und Informationen über lange Sequenzen zu behalten. Der Transformer wurde im 2017 erschienenen Paper Attention Is All You Need von einem Forscherteam eingeführt, darunter Ashish Vaswani und Noam Shazeer, die vorschlugen, vollständig auf Rekurrenz zu verzichten und stattdessen Selbstaufmerksamkeit zu verwenden. Alle acht Autoren des Papers verließen anschließend das Unternehmen, in dem die Arbeit entstand, um andere KI-Unternehmen zu gründen oder ihnen beizutreten, ein ungewöhnliches Ergebnis für ein einzelnes Forschungspapier.
Architektur
Ein Transformer verarbeitet eine Eingabesequenz, die zunächst durch Tokenisierung und Einbettung in Vektordarstellungen umgewandelt wird, indem er wiederholt Selbstaufmerksamkeitsschichten anwendet, die es jeder Position in der Sequenz ermöglichen, die Relevanz jeder anderen Position zu gewichten, zusammen mit einfachen Feed-Forward-Schichten. Da Selbstaufmerksamkeit keine inhärente Vorstellung von Sequenzreihenfolge hat, fügen Transformer ihren Eingabedarstellungen Positionsinformationen hinzu. Mehrere parallel laufende Aufmerksamkeits-"Köpfe" ermöglichen es dem Modell, verschiedene Arten von Beziehungen gleichzeitig zu erfassen. Die ursprüngliche Architektur verwendete einen separaten Encoder und Decoder; die meisten modernen großen Sprachmodelle verwenden eine Decoder-only-Variante, die Text Token für Token basierend auf allen zuvor generierten Tokens erzeugt.
Auswirkungen
Die Parallelisierbarkeit des Transformers ermöglichte es, Modelle auf weitaus größeren Datensätzen und mit weitaus mehr Parametern zu trainieren, als es rekurrente Architekturen erlaubten, was direkt den skalengetriebenen Fortschritt von Modellen von BERT im Jahr 2018 über GPT-3 und darüber hinaus ermöglichte. Sein Selbstaufmerksamkeitsmechanismus, der prinzipiell auf alle Daten anwendbar ist, die als Sequenz dargestellt werden können, wurde auch für Bilder angepasst, was zu Vision-Transformern führte, sowie für kombinierte Text-und-Bild-Systeme, die in modernen Vision-Sprach-Modellen verwendet werden.
Varianten und Alternativen
Die Rechenkosten der Selbstaufmerksamkeit wachsen quadratisch mit der Sequenzlänge, was sowohl effizienzorientierte Varianten als auch völlig andere Architekturen motiviert. Mixture-of-Experts-Modelle aktivieren für jede Eingabe nur eine Teilmenge der Parameter eines Transformers, wodurch die Rechenkosten relativ zur Modellgröße reduziert werden. State-Space-Modelle, wie die 2023 eingeführte Mamba-Architektur, bieten eine Alternative, die linear mit der Sequenzlänge skaliert statt quadratisch, obwohl sie Mitte der 2020er Jahre den Transformer nicht als dominante Architektur für führende Sprachmodelle verdrängt hatten.