Der Transformer ist eine Familie von künstlichen neuronalen Netzwerk-Architekturen, die im Deep Learning verwendet werden und auf dem Multi-Head-Attention-Mechanismus basieren. Eingabedaten wie Text, Bilder oder Audio werden in eine Sequenz numerischer Repräsentationen, sogenannte Tokens, umgewandelt, die jeweils über eine Word-Embedding-Tabelle auf einen Vektor abgebildet werden. In jeder Schicht wird jedes Token innerhalb des Kontextfensters mithilfe paralleler Multi-Head-Attention kontextualisiert, wobei wichtige Tokens verstärkt und weniger relevante verringert werden. Da Self-Attention allein permutationsinvariant ist, injizieren Transformer Positionsinformationen durch Positionskodierungen oder gelernte Embeddings, sodass die Token-Reihenfolge die Ausgabe beeinflusst.
Transformer besitzen keine rekurrenten Einheiten und benötigen weniger Trainingszeit als frühere rekurrente Architekturen wie LSTM. Moderne Designs werden in Encoder-only-, Decoder-only- und Encoder-Decoder-Varianten unterteilt, die für Darstellungslernen, autoregressives Generieren oder bedingte Sequenz-zu-Sequenz-Aufgaben optimiert sind. Der ursprüngliche Transformer wurde im 2017er-Paper „Attention Is All You Need“ von Forschern bei Google vorgeschlagen. Seitdem bildet er die Grundlage für große Sprachmodelle (LLMs) und findet Anwendungen in der Verarbeitung natürlicher Sprache, Computer Vision, Reinforcement Learning Lernen, Audio, multimodalem Lernen, Robotik und Schach.
Geschichte
Vorgänger
Seit vielen Jahren verwendete man plan gekapselte rekurrente neuronale NetzeigtNetze (RNNs) wie das Elman-Netz 16 aktualisierte RNNs, wie das Elman-Netz (1990). In der Theorie könnte Modellinformationen von einem Token beliebig weit propagieren, aber das Vanishing-Gradient-Problem hinterlassene lange Sequenzen ohne präzise extrahierbare Informationen. Ein wichtiger Durchbruch war LSTM das wurde in einem technischen Bericht von 1995 beschrieben und formell 1997 veröffentlicht. LSTM führte Gating-Mechanismen ein, die Vanishing Gradients abmilderten, mit multiplikativer Gating-Einheiten, die konzeptuell von additiver Attention unterscheiden. Es wurde bis 2017 zum Standard für lange Sequenzmodellierung, aber RNNs verarbeiten Tokens sequenziell, was Parallelisierung verhindert. Der linear skalierende Fast-Weight-Controller (1992) lernte Gewichtsmatrizen basierend auf Eingabe, äquivalent zu einem unnormalisierten linearen Transformer.
Attention mit Seq2seq
Encoder-Decoder-Sequenztransduktion entwickelte sich frühen 2010ern, mit zwei parallelen 2014-Papers. Ein 380-Millionen-Parameter-Modell verwendete zwei LSTM gegen rechensche MT: Ein Encoder-LSTM wandelte eine Token-Sequenz zu einem Vektor, und Decoder-LSTM zur Ausgabe. Ein weiteres 130 Mill Parameter-Modell verwendet mit Gated Recurrent Units (GRUs), später vergleichbar zu LSTM. Diese frühe Seq2seq-Modelle fehlten Attention und stützten sich auf einen Fixgroßen Zustandsvektor nach dem letzten Wort, das lange Eingangsinformationen unzureichend Beibehielt. Reversieren der Eingabesatz verbesserte Übersetzung, hervorheben des Engpasses. Das RNN-Search-Modell führte geführte Attention zum Seq2seq ein, das lange Abhängigkeiten besser verarbeitet. 2016 übertraf Google Translate für Google-Übersetzer angewandt auf 8-Schicht bidirektionalen LSTM-Seq2seq-Modell, das statistische Methoden übertraf.
Parallelisieren von Attention
Seq2seq-Modelle mit Attention litten weiterhin an der schwierigen Parallelisierung von Rekurrenten Recurrent Networks, Begrenzung für GPU-Beschleunigung. Jahr 2016 angewandte decomposable Attention führte die Self-Attention zu Feedforward-Netzesernen ein, erreichte State-of-the-Art-Ergebnisse in Textentailment mit weniger Parametern. Autor Jakob Uszkoreit vermutete, dass Attention ohne Rekurrenz enthält pol in Übersetzung reicht, was zum Titelel "Attention Is All You Need" führte.
Architektur
Die Transformer-Architektur besteht aus einem Encoder und einem Decoder, jede Schicht mit Multi-Head-Self-Attention und positionsbezogenen Feedforward-Netzen. Der Encoder verarbeitet die Eingabesequenz parallel, während der Decoder die Ausgabe autoregressiv generiert und maskierte Self-Attention verwendet, um die zukünftige Token-Leakage zu verhindern. Multi-Head-Attention führt mehrere Aufmerksamkeitsmechanismen parallel aus, um das Modell auf verschiedene DarstellungssubGrubs konzentrien zu lassen. PositionssrcodingsGaben sie zu Tokenembeddings hinzugefügt, um die Reihenfolge zu erfassen. Layer-Normalization und Residualverbindungen stabilisieren das Training. Der Decoder verwendet auch geprüfte Kreuz-Attention, um Encoder-Ausgaben zu beachten.
Varianten
Encoder-Only
Encoder-only-Modelle wie BERT werden für Repräsentationslernen verbessert und erzeugen kontextbezogene Embeddings, nützlich für Klassifikations- und Verstärkungsaufgaben. Sie verwenden bidirektionale Attention und sehen linken und rechten Kontext.
Decoder-Only
Decoder-only-Modelle, wie GPT, sind für autoregressive Generierung designt, vorhersagen des nächsten Tokens. Sie benutzen maskierte Self-Attention und dienen als Basis der meisten modernen LLMs, trainiert auf großen Textkorpora.
Encoder-Decoder
Encoder-Decoder-Modelle, wie das Original-Transformer, behandeln bedingte Sequenz-zu-Sequenz-Aufgaben sondern wie Übersetzung und Zusammenfassung. Der Encoder verarbeitet die Quelle, während der Decoder diese.
Anwendungen
Transformer werden in generative aiGenerative KI-Systemen verwendet, einschließlich LLMs wie GPT und BERT, die von Unternehmen wie OpenAI, Anthropic und Google DeepMind übernommen wurden. Sie unterstützen nsprachenverarbeitung, Computer Vision (Vision Transformer), Reinforcement Lernen, Internet-Audioquellen, multimodales Lernen, Robotik und sogar Schachprogramme, sogar Schachprogramme. Ihre Skalierung treibt Hardware-Fortschritte, mit spezialisierten Chips wie AWS Trainium und Groqs Inferenzprozessoren.
Wirkung
Transformer haben die künstliche Intelligenz revolutioniert und ermöglichten vorge trainiert Systeme, die für vielfältige Aufgaben fine-tunen können. Sie reduzierten Trainingszeit im Vergleich zu RNNs und erlaubten beispiellose Modellgrößen, zu Durchbrüchen in Sprachverständnis und -generierung geführt. Die Flexibilität der Architektur macht sie zur Standardwahl für viele KI-Anwendungen, was sowohl Forschung als auch Industrie beeinflusst.
Einschränkungen und Zukunft
Trotz ihres Erfolgs benötigen Transformer quadratisch berechnungen in der Kontextlänge, lange Sequenzen teuer mache und teuer. Forscher untersuchen lineare Attention-Mechanismen und alternative Architekturen, um dies zu beheben. Bis 2025 bleiben Transformer dominant, aber kontinuierliche Innovationen könnte zu effizienteren Designs führen.