"Attention Is All You Need" ist ein Forschungsartikel aus dem Jahr 2017 zum Thema maschinelles Lernen, verfasst von acht Wissenschaftlern und Ingenieuren, die bei Google arbeiteten. Der Artikel stellte eine neue Deep-Learning-Architektur vor, die als Transformer bekannt wurde und auf dem Aufmerksamkeitsmechanismus basiert, der 2014 von Bahdanau et al. vorgeschlagen wurde. Der darin beschriebene Transformer-Ansatz ist zur Hauptarchitektur einer Vielzahl von Systemen der künstlichen Intelligenz geworden, darunter große Sprachmodelle. Zum Zeitpunkt der Veröffentlichung lag der Forschungsschwerpunkt auf der Verbesserung von Seq2seq-Techniken für die maschinelle Übersetzung, doch die Autoren gingen im Artikel weiter und sahen das Potenzial der Technik für andere Aufgaben wie die Beantwortung von Fragen und das, was heute als multimodale generative KI bekannt ist.
Zu den ersten Beispielen, an denen das Team seine Transformer-Architektur erprobte, gehörten die Übersetzung von Englisch ins Deutsche, die Erstellung von Wikipedia-Artikeln über „The Transformer" und das Parsen. Diese Versuche überzeugten das Team davon, dass der Transformer ein universelles Sprachmodell ist und nicht nur für die Übersetzung geeignet. Bis 2026 wurde der Artikel mehr als 250.000-mal zitiert, was ihn zu einem der zehn meistzitierten Artikel des 21. Jahrhunderts macht. Nachdem der Artikel von Google veröffentlicht worden war, verließen alle acht Autoren das Unternehmen, um anderen Firmen beizutreten oder Start-ups zu gründen.
Hintergrund
Die Autoren des Artikels sind Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser und Illia Polosukhin. Alle acht Autoren waren „gleichberechtigte Mitwirkende" an dem Artikel; die Reihenfolge der Nennung wurde randomisiert (laut dem Artikel selbst). Nach dem Artikel verließen alle Autoren Google, um anderen Unternehmen beizutreten oder Start-ups zu gründen.
Der Titel des Artikels ist eine Anspielung auf das Lied „All You Need Is Love" der Beatles. Der Name „Transformer" wurde gewählt, weil Jakob Uszkoreit, einer der Autoren des Artikels, den Klang dieses Wortes mochte. Ein frühes Designdokument trug den Titel „Transformers: Iterative Self-Attention and Processing for Various Tasks" und enthielt eine Illustration von sechs Charakteren aus dem Transformers-Franchise. Das Team wurde Team Transformer genannt.
Behandelte und eingeführte Methoden
Der Artikel ist vor allem für die Einführung der Transformer-Architektur bekannt, die den meisten modernen großen Sprachmodellen (LLMs) zugrunde liegt. Ein Hauptgrund, warum diese Architektur von den meisten modernen LLMs bevorzugt wird, ist die Parallelisierbarkeit der Architektur im Vergleich zu ihren Vorgängern. Dies stellt sicher, dass die für das Training notwendigen Operationen auf einer GPU beschleunigt werden können, was sowohl schnellere Trainingszeiten als auch das Training größerer Modelle ermöglicht.
Der Artikel führte die folgenden Mechanismen als Teil der Entwicklung der Transformer-Architektur ein.
Skaliertes Punktprodukt-Attention und Self-Attention
Die Verwendung des skalierten Punktprodukt-Attention- und Self-Attention-Mechanismus anstelle eines rekurrenten neuronalen Netzes (RNN) oder eines Long Short-Term Memory (die auf Rekurrenz basieren) ermöglicht eine bessere Leistung, wie im folgenden Absatz beschrieben. Der Artikel beschrieb das skalierte Punktprodukt-Attention wie folgt:
Attention(Query, Key, Value) := softmax(Query × Key^T / sqrt(d_k)) × Value
wobei Query, Key, Value die jeweiligen Query-, Key- und Value-Matrizen sind und d_k die Dimension der Werte ist. Da das Modell auf Query-, Key- und Value-Matrizen angewiesen ist, die aus derselben Quelle stammen (d. h. der Eingabesequenz oder dem Kontextfenster), entfällt die Notwendigkeit von RNNs, was die Parallelisierbarkeit der Architektur vollständig gewährleistet. Dies unterscheidet sich von der ursprünglichen Form des Attention-Mechanismus, der 2014 eingeführt wurde. Zusätzlich diskutiert der Artikel die Verwendung eines zusätzlichen Skalierungsfaktors, der in Bezug auf die Dimension der Key-Vektoren (dargestellt als d_k und im Artikel zunächst auf 64 gesetzt) in der oben gezeigten Weise als am effektivsten befunden wurde. Im spezifischen Kontext der Übersetzung, auf den sich der Artikel konzentrierte, werden die Query- und Key-Matrizen normalerweise in Einbettungen dargestellt, die der Ausgangssprache entsprechen, während die Value-Matrix der Zielsprache entspricht.
Multi-Head-Attention
Im Self-Attention-Mechanismus werden Queries (Q), Keys (K) und Values (V) dynamisch für jede Eingabesequenz generiert (typischerweise begrenzt durch die Größe des Kontextfensters), sodass das Modell sich in verschiedenen Schritten auf verschiedene Teile der Eingabesequenz konzentrieren kann. Multi-Head-Attention verbessert diesen Prozess durch die Einführung mehrerer paralleler Attention-Köpfe. Jeder Attention-Kopf lernt unterschiedliche lineare Projektionen der Q-, K- und V-Matrizen. Dies ermöglicht es dem Modell, gleichzeitig verschiedene Aspekte der Beziehungen zwischen Wörtern in der Sequenz zu erfassen, anstatt sich auf einen einzelnen Aspekt zu konzentrieren. Dadurch kann das Modell Informationen aus verschiedenen Repräsentations-Unterräumen an verschiedenen Positionen berücksichtigen, was seine Fähigkeit verbessert, komplexe Sprachmuster zu verarbeiten.
Positionelle Kodierung
Der Artikel führte positionelle Kodierung ein, um Informationen über die Position von Token in der Sequenz zu injizieren, da die Architektur Token nicht von Natur aus in der richtigen Reihenfolge verarbeitet. Die Autoren schlugen vor, Sinus- und Kosinusfunktionen mit unterschiedlichen Frequenzen zu verwenden, um Positionen zu kodieren, sodass das Modell relative Positionen lernen kann. Dieser Mechanismus ist in Transformer-basierten Modellen zum Standard geworden, obwohl spätere Varianten gelernte Einbettungen oder andere Ansätze untersucht haben.
Weitere Neuerungen
Der Artikel diskutierte auch die Verwendung von Schichtnormalisierung und Residualverbindungen zur Stabilisierung des Trainings sowie Dropout zur Regularisierung. Diese Komponenten bildeten zusammen mit den Attention-Mechanismen die Grundlage des Transformer-Blocks. Die Autoren trainierten ihre Modelle auf maschinellen Übersetzungsaufgaben und erzielten mit schnelleren Trainingszeiten im Vergleich zu rekurrenten Modellen Ergebnisse auf dem neuesten Stand der Technik.
Auswirkungen und Vermächtnis
Nach seiner Veröffentlichung wurde die Transformer-Architektur schnell zum dominierenden Ansatz in der Verarbeitung natürlicher Sprache. Sie bildet die Grundlage für große Systeme, die von Organisationen wie OpenAI, Google DeepMind und Anthropic entwickelt wurden, darunter große Sprachmodelle wie GPT und BERT. Die Architektur wurde auch über Text hinaus angewendet und beeinflusst Bereiche wie Computer Vision und Audioverarbeitung. Der Einfluss des Artikels spiegelt sich in seiner Zitationszahl wider, die bis 2026 250.000 übersteigt, was ihn zu einem der meistzitierten Werke der Informatik macht.
Das Ausscheiden aller acht Autoren aus Google kurz nach der Veröffentlichung führte zur Gründung mehrerer KI-Start-ups, darunter Cohere und Inceptive, und trug zur breiteren Kommerzialisierung Transformer-basierter Technologien bei. Der Titel des Artikels, der auf das Beatles-Lied anspielt, und die verspielten Namenskonventionen des Teams sind Teil der KI-Überlieferung geworden.