Sequence-to-Sequence (Seq2Seq) ist eine neuronale Netzwerkarchitektur, die 2014 eingeführt wurde und eine Eingabesequenz auf eine Ausgabesequenz potenziell unterschiedlicher Länge abbildet, indem sie ein Paar gekoppelter Netzwerke verwendet: einen Encoder, der die Eingabe in eine Darstellung fester Länge komprimiert, und einen Decoder, der die Ausgabesequenz aus dieser Darstellung Element für Element erzeugt. Seq2Seq etablierte das Encoder-Decoder-Muster, das grundlegend für neuronale maschinelle Übersetzung wurde und direkt die Entwicklung des Aufmerksamkeitsmechanismus sowie später der Transformer-Architektur motivierte.
Architektur
In der ursprünglichen Formulierung sind sowohl der Encoder als auch der Decoder als rekurrente neuronale Netzwerke implementiert, wobei am häufigsten LSTM-Einheiten verwendet werden, um die Probleme verschwindender Gradienten einfacherer rekurrenter Designs zu mildern. Der Encoder verarbeitet eine Eingabesequenz, wie etwa einen Satz in einer Ausgangssprache, einen Token nach dem anderen, aktualisiert dabei einen internen verborgenen Zustand und übergibt seinen finalen verborgenen Zustand an den Decoder als Zusammenfassung der gesamten Eingabe. Der Decoder erzeugt dann Ausgabetokens nacheinander in einer autoregressiven Weise, wobei er seine eigene vorherige Ausgabe als Eingabe verwendet, um das nächste Token vorherzusagen, und fährt fort, bis er ein festgelegtes End-of-Sequence-Marker produziert.
Ursprünge
Die Architektur wurde in dem 2014 erschienenen Paper „Sequence to Sequence Learning with Neural Networks" von Ilya Sutskever zusammen mit Oriol Vinyals und Quoc Le bei Google eingeführt und zeigte starke Ergebnisse bei der englisch-französischen maschinellen Übersetzung unter Verwendung eines mehrschichtigen LSTM-Encoder-Decoders. Eine eng verwandte Formulierung wurde etwa zur gleichen Zeit von Kyunghyun Cho und Kollegen veröffentlicht, die auch die Gated Recurrent Unit als vereinfachte Alternative zum LSTM innerhalb desselben Encoder-Decoder-Rahmens einführten.
Integration des Aufmerksamkeitsmechanismus
Eine zentrale Einschränkung des ursprünglichen Seq2Seq-Designs war seine Abhängigkeit von einem einzigen Vektor fester Länge zur Zusammenfassung der gesamten Eingabesequenz, was die Leistung bei längeren Sätzen verschlechterte, da Informationen komprimiert und verloren gingen. Dieser Engpass motivierte Dzmitry Bahdanau und Kollegen, 2015 den Aufmerksamkeitsmechanismus einzuführen, der es dem Decoder ermöglicht, auf alle verborgenen Zustände des Encoders zurückzublicken und dynamisch zu gewichten, welche Teile der Eingabe bei der Erzeugung jedes Ausgabetokens am relevantesten sind. Dies verbesserte die Übersetzungsqualität bei langen Sequenzen erheblich und etablierte Aufmerksamkeit als Standardkomponente von Sequenzmodellen.
Vermächtnis
Seq2Seq mit Aufmerksamkeit wurde zur dominierenden Architektur für neuronale maschinelle Übersetzungssysteme, einschließlich der Umstellung von Google Translate auf ein vollständig neuronales System im Jahr 2016, bevor rekurrente Komponenten schließlich in der 2017er Transformer-Architektur vollständig entfernt wurden, deren Titel „Attention Is All You Need" direkt auf den Mechanismus verweist, den die Seq2Seq-Forschung als so effektiv gezeigt hatte. Der allgemeine Encoder-Decoder-Rahmen, den Seq2Seq etablierte und der eine Sequenz auf eine andere abbildet, bleibt konzeptionell zentral für die moderne Verarbeitung natürlicher Sprache und liegt Aufgaben von der Zusammenfassung bis zur Codegenerierung zugrunde, auch wenn die rekurrenten Bausteine der ursprünglichen Architektur fast vollständig durch auf Aufmerksamkeit basierende Deep-Learning-Designs ersetzt wurden.