Ein Aufmerksamkeitsmechanismus ist eine Komponente neuronaler Netze, die eine gewichtete Kombination von Elementen ihrer Eingabe basierend auf deren Relevanz für einen gegebenen Kontext berechnet. Dies ermöglicht es einem Modell, sich dynamisch auf die wichtigsten Teile dieser Eingabe zu konzentrieren, anstatt jedes Element gleich zu behandeln. Aufmerksamkeit ist die zentrale Rechenidee hinter der Transformer-Architektur und damit auch der meisten modernen Großsprachmodelle.
Geschichte
Aufmerksamkeit wurde um 2014 und 2015 im Zusammenhang mit Seq2seq-Modellen für maschinelle Übersetzung eingeführt, als eine Möglichkeit, es einem auf rekurrenten neuronalen Netzen basierenden Decoder zu ermöglichen, bei der Erzeugung jedes Ausgabeworts auf alle versteckten Zustände des Encoders zurückzublicken, anstatt sich auf einen einzigen Vektor fester Länge zu verlassen, der den gesamten Eingabesatz zusammenfasst. Dies ging auf eine spezifische Schwäche früherer Encoder-Decoder-Modelle ein, die dazu neigten, Informationen aus langen Eingabesequenzen zu verlieren. Das Papier Attention Is All You Need aus dem Jahr 2017 unter der Leitung von Ashish Vaswani und Kollegen zeigte, dass ein Modell, das vollständig aus Aufmerksamkeitsebenen ohne jegliche Rekurrenz besteht, rekurrente Architekturen übertreffen kann und gleichzeitig weitaus besser parallelisierbar ist, was zur Entstehung des Transformers führte.
Selbstaufmerksamkeit
Die zentrale Neuerung von Transformatoren ist die Selbstaufmerksamkeit, bei der jedes Element einer Sequenz jedem anderen Element derselben Sequenz Aufmerksamkeit schenkt, anstatt dass ein Decoder einem separaten Encoder Aufmerksamkeit schenkt. Für jede Position berechnet das Modell drei Vektoren, üblicherweise Query, Key und Value genannt, die aus dem Embedding dieser Position abgeleitet werden. Die Ähnlichkeit zwischen der Query einer Position und den Keys aller anderen Positionen bestimmt, wie stark der Value der anderen Position zum Ausgang der aktuellen Position beiträgt. Dies ermöglicht es einem Modell, das einen Satz verarbeitet, weit voneinander entfernte Wörter direkt zueinander in Beziehung zu setzen, wie zum Beispiel ein Pronomen und das Nomen, auf das es sich bezieht, ohne dass die Informationen viele Zwischenschritte durchlaufen müssen, wie es bei einem rekurrenten Netzwerk der Fall wäre.
Varianten
Transformatoren verwenden typischerweise Mehrkopfaufmerksamkeit, bei der mehrere Aufmerksamkeitsberechnungen parallel mit unterschiedlichen gelernten Projektionen durchgeführt werden. Dies ermöglicht es dem Modell, verschiedene Arten von Beziehungen gleichzeitig zu erfassen, wie syntaktische Strukturen und thematische Ähnlichkeiten. Kreuzaufmerksamkeit, bei der eine Sequenz einer separaten Sequenz Aufmerksamkeit schenkt, wird in Encoder-Decoder-Transformatoren und in einigen multimodalen Systemen verwendet, beispielsweise um einem Decoder, der eine Bildunterschrift erzeugt, zu ermöglichen, den codierten Regionen eines Bildes Aufmerksamkeit zu schenken.
Praktische Bedeutung
Die Rechenkosten der Aufmerksamkeit wachsen quadratisch mit der Länge der Eingabesequenz, da jede Position mit jeder anderen Position verglichen werden muss. Dies hat die Verarbeitung sehr langer Eingaben teuer gemacht und sowohl effizienzorientierte Aufmerksamkeitsvarianten als auch alternative Architekturen wie Zustandsraummodelle motiviert. Trotz dieser Kosten hat die Fähigkeit der Aufmerksamkeit, entfernte Elemente einer Eingabe direkt zueinander in Beziehung zu setzen, in Kombination mit ihrer Parallelisierbarkeit im Vergleich zur Rekurrenz, sie zu dem Mechanismus gemacht, der den Umfang ermöglicht hat, in dem große Sprachmodelle trainiert werden, einschließlich des Wachstums des Kontextfensters, das bestimmt, wie viel Text ein Modell in einer einzigen Interaktion berücksichtigen kann.