„Attention Is All You Need“ ist das Forschungspapier aus dem Jahr 2017, das die Transformer-Architektur einführte – ein neuronales Netzwerkdesign, das vollständig auf Aufmerksamkeitsmechanismen basiert und nicht auf Rekurrenz oder Faltung. Es wurde am 12. Juni 2017 als arXiv-Preprint veröffentlicht und später im selben Jahr auf der NeurIPS-Konferenz präsentiert. Verfasst wurde es von acht Forschern bei Google: Ashish Vaswani, Noam Shazeer, Aidan Gomez, Illia Polosukhin, Jakob Uszkoreit, Llion Jones, Lukasz Kaiser und Niki Parmar. Es gehört zu den am häufigsten zitierten Arbeiten in der Informatik und gilt weithin als die einflussreichste Veröffentlichung in der Entwicklung moderner großer Sprachmodelle.
Hintergrund
Vor dem Transformer basierten hochmoderne Systeme zur Verarbeitung natürlicher Sprache für Aufgaben wie maschinelle Übersetzung auf rekurrenten Architekturen, oft LSTMs, die Text sequenziell verarbeiteten und mit Aufmerksamkeitsschichten aus früheren Sequenz-zu-Sequenz-Arbeiten ergänzt wurden. Die sequenzielle Verarbeitung war langsam im Training und hatte Schwierigkeiten, langreichweitige Abhängigkeiten zu erfassen. Die Autoren schlugen vor, Rekurrenz vollständig durch Selbstaufmerksamkeit zu ersetzen, sodass das Modell die Relevanz jedes Tokens in einer Sequenz zu jedem anderen Token parallel gewichten kann. Dies beschleunigte das Training auf GPUs und verbesserte die Modellierung langreichweitiger Strukturen.
Architektur und Auswirkungen
Das Design des Papiers – ein Encoder-Decoder-Stapel aus Selbstaufmerksamkeits- und Feed-Forward-Schichten mit Positionskodierungen als Ersatz für Rekurrenz – wurde zur Vorlage für nahezu jedes bedeutende nachfolgende Modell. BERT übernahm die Encoder-Seite für Sprachverständnis, während GPT-artige Modelle Decoder-only-Varianten übernahmen, die durch Vorhersage des nächsten Tokens trainiert wurden. Die Architektur erwies sich als ungewöhnlich gut skalierbar und führte direkt in die Skalierungsgesetze-Forschung, die vorhersehbare Leistungssteigerungen durch mehr Daten, Parameter und Rechenleistung zeigte. Später bildete sie die Grundlage für Foundation-Modelle in Text, Vision, Audio und multimodalen Bereichen.
Vermächtnis
Eine häufig wiederholte Tatsache über das Papier ist, dass alle acht ursprünglichen Autoren Google schließlich verließen, um andere KI-Unternehmen zu gründen oder ihnen beizutreten. Noam Shazeer gründete Character.AI mit, bevor er zu Google zurückkehrte, und Aidan Gomez wurde Geschäftsführer von Cohere. Die Zitationszahl des Papiers wuchs innerhalb von weniger als einem Jahrzehnt nach der Veröffentlichung auf Zehntausende an, und der Transformer bleibt, Stand Mitte der 2020er Jahre, die dominierende Architektur hinter Frontier-Modellen, auch wenn Forscher weiterhin Alternativen wie State-Space-Modelle für bestimmte Effizienzabwägungen erkunden.