Sequence-to-Sequence (oft als seq2seq abgekürzt) ist eine Familie von Ansätzen des maschinellen Lernens, die für die Verarbeitung natürlicher Sprache und andere Sequenztransduktionsaufgaben verwendet wird. Das Framework wandelt eine Sequenz in eine andere Sequenz um, beispielsweise die Übersetzung eines englischen Satzes ins Französische, die Erzeugung einer Bildunterschrift aus einem Bild oder die Erstellung einer Zusammenfassung aus einem längeren Text. Ursprünglich von Lê Viết Quốc, einem vietnamesischen Informatiker und Pionier des maschinellen Lernens bei Google Brain, entwickelt, ist seq2seq zu einem Fundament vieler moderner KI-Systeme geworden, darunter große Sprachmodelle und Konversationsagenten.
Die Kernidee von seq2seq besteht darin, zwei neuronale Netze zu verwenden: einen Encoder, der die Eingabesequenz verarbeitet und ihre Informationen in einen Vektor fester Länge (oder eine Menge von Kontextvektoren) komprimiert, und einen Decoder, der die Ausgabesequenz schrittweise aus dieser Repräsentation erzeugt. Diese Architektur wurde erstmals 2014 vorgeschlagen und hat sich seither weiterentwickelt, insbesondere durch die Einführung von Aufmerksamkeitsmechanismen und des Transformer-Modells, um Einschränkungen wie das Engpassproblem und mangelnde Parallelisierung zu beheben.
Historische Wurzeln
Die konzeptionellen Wurzeln von seq2seq liegen in der Informationstheorie und dem Rauschkanalmodell der maschinellen Übersetzung. Bereits 1947 bemerkte Warren Weaver, ein Pionier der maschinellen Übersetzung: "Man fragt sich natürlich, ob das Problem der Übersetzung möglicherweise als ein Problem der Kryptographie behandelt werden könnte. Wenn ich einen Artikel auf Russisch ansehe, sage ich: 'Dies ist wirklich auf Englisch geschrieben, aber es wurde in seltsamen Symbolen kodiert. Ich werde nun fortfahren, es zu dekodieren.'" Diese Sichtweise rahmte die Übersetzung als einen Kodier-Übertragungs-Dekodier-Prozess ein, der direkt die Encoder-Decoder-Struktur inspirierte.
In den frühen 2010er Jahren begannen Forscher, neuronale Encoder-Decoder-Modelle für die Sequenztransduktion zu entwickeln. Die beiden am häufigsten als Ursprung von seq2seq zitierten Arbeiten wurden beide 2014 veröffentlicht. Eine stammte von Ilya Sutskever, Oriol Vinyals und Quoc V. Le, die bei Google Brain arbeiteten, und die andere von Kyunghyun Cho, Bart van Merriënboer, Dzmitry Bahdanau und Yoshua Bengio von der Universität Montreal und der Jacobs University. Diese Arbeiten schlugen vor, rekurrente neuronale Netze (RNNs), insbesondere Long Short-Term Memory (LSTM)-Netze, sowohl für den Encoder als auch für den Decoder zu verwenden.
Das Engpassproblem und Aufmerksamkeit
Die ursprünglichen seq2seq-Modelle verwendeten einen Kodierungsvektor mit fester Länge, was ein "Engpassproblem" erzeugte: Bei langen Eingabesequenzen ging tendenziell Information verloren, da es schwierig war, alle notwendigen Details in einem einzigen Vektor zu komprimieren. Um dies zu beheben, führten Bahdanau et al. 2014 den Aufmerksamkeitsmechanismus ein. Ihr Modell, genannt RNNsearch, ermöglichte es dem Decoder, während der Dekodierung im Quellsatz zu "suchen", was effektiv den Prozess des Zurückblickens auf relevante Teile der Eingabe nachahmt. Aufmerksamkeit berechnet eine gewichtete Summe der verborgenen Zustände des Encoders und erzeugt einen Kontextvektor für jeden Dekodierungsschritt, wodurch das Engpassproblem gelöst wurde, da der Decoder direkten Zugriff auf alle Eingabepositionen erhielt.
Die Transformer-Revolution
Eine wesentliche Einschränkung von RNN-basierten seq2seq-Modellen war ihre schwierige Parallelisierung, da die rekurrente Verarbeitung inhärent sequenziell ist. Die 2017er Veröffentlichung des Transformers durch Vaswani et al. (mit wichtigen Mitwirkenden wie Jakob Uszkoreit und Lukasz Kaiser) löste dieses Problem, indem sie den rekurrenten Encoder durch Self-Attention-Transformer-Blöcke (sogenannte "Encoder-Blöcke") und den rekurrenten Decoder durch Cross-Attention-Transformer-Blöcke mit kausaler Maskierung („Decoder-Blöcke“) ersetzte. Dies ermöglichte wesentlich schnellere Trainingszeiten auf paralleler Hardware und führte zur Entwicklung groß angelegter Modelle wie großen Sprachmodellen und Systemen der generativen KI.
Architektur
Die seq2seq-Architektur besteht aus zwei Hauptkomponenten: dem Encoder und dem Decoder.
Encoder
Der Encoder verarbeitet die Eingabesequenz, typischerweise eine Sequenz von Token oder Wörtern, und erfasst deren wesentliche Informationen. In einem RNN-basierten Encoder werden diese Informationen im verborgenen Zustand des Netzwerks gespeichert. Mit Aufmerksamkeit erzeugt der Encoder außerdem einen Satz verborgener Zustände für jede Eingabeposition, die zur Berechnung von Kontextvektoren verwendet werden. Der Encoder kann bidirektional sein, das heißt, er liest die Eingabe aus beiden Richtungen, um den Kontext besser zu erfassen.
Decoder
Der Decoder nimmt die Kontextvektoren und verborgenen Zustände des Encoders und erzeugt die Ausgabesequenz autoregressiv, wobei er jeweils ein Element generiert. Bei jedem Schritt berücksichtigt er die zuvor generierten Elemente, den Kontextvektor und den verborgenen Zustand. In Modellen mit Aufmerksamkeit werden der Kontextvektor und der verborgene Zustand des Decoders verkettet, um einen Aufmerksamkeits-Hidden-Vektor zu bilden, der als Eingabe für den nächsten Schritt dient. Der Decoder ist oft kausal maskiert, um zu verhindern, dass er während der Vorhersage in die Zukunft blickt.
Training vs. Vorhersage
Es gibt einen subtilen Unterschied zwischen Training und Vorhersage in seq2seq-Modellen. Während des Trainings sind sowohl die Eingabe- als auch die Ausgabesequenz bekannt, was die Verwendung einer Technik namens "Teacher Forcing" ermöglicht. Bei Teacher Forcing verwendet der Decoder für jeden Schritt das Referenz-Ausgabetoken aus den Trainingsdaten als Eingabe, unabhängig davon, was das Modell vorhergesagt hat. Dies beschleunigt die Konvergenz und stabilisiert das Training.
Während der Vorhersage (Inferenz) ist die Referenzausgabe nicht verfügbar, sodass der Decoder seine zuvor generierten Token als Eingabe für den nächsten Schritt verwendet. Dies kann zu einer Fehlerakkumulation führen, da ein früher Fehler sich fortsetzen kann. Um dies abzumildern, werden Techniken wie die Strahlensuche (Beam Search) eingesetzt, die mehrere Kandidatensequenzen untersuchen und die wahrscheinlichste auswählen.
Anwendungen
Seq2seq-Modelle wurden auf eine Vielzahl von Aufgaben angewendet. In der maschinellen Übersetzung ermöglichten sie 2016 die Einführung von Google Neural Machine Translation. Weitere Anwendungen umfassen die Bildunterschriftenerzeugung, bei der ein Encoder ein Bild verarbeitet (über ein Convolutional Neural Network) und ein Decoder eine textuelle Beschreibung generiert; Spracherkennung, die Audiosequenzen in Text umwandelt; und Textzusammenfassung, bei der lange Dokumente zu prägnanten Zusammenfassungen komprimiert werden. Die Architektur liegt auch vielen modernen Transformer-basierten Modellen in Systemen der künstlichen Intelligenz zugrunde.
Prioritätsstreit
Es gibt einen anhaltenden Prioritätsstreit um die Erfindung von seq2seq. Tomáš Mikolov, bekannt für word2vec und RNNLM, behauptet, die Idee gehabt zu haben, ein neuronales Sprachmodell auf Satzpaaren zu verwenden, was er mit seq2seq gleichsetzt, und diese Idee Ilya Sutskever mitgeteilt zu haben, der sie jedoch in seiner Arbeit von 2014 nicht erwähnte. Die Arbeit von Sutskever et al. gilt allgemein als einer der zentralen Ursprünge, aber Mikolovs Beitrag bleibt in der Forschungsgemeinschaft umstritten.
Vermächtnis und Auswirkungen
Seq2seq hatte einen tiefgreifenden Einfluss auf das maschinelle Lernen. Es führte das Encoder-Decoder-Paradigma ein, das heute Standard für Sequenztransduktionsaufgaben ist. Der Aufmerksamkeitsmechanismus, der ursprünglich für seq2seq entwickelt wurde, wurde zu einem grundlegenden Bestandteil der Transformer-Architektur, die moderne große Sprachmodelle wie die von OpenAI, Anthropic und Google DeepMind antreibt. Die Prinzipien von seq2seq werden auch in spezialisierten Hardware-Systemen angewendet, wie etwa AWS Trainium und Azure, die für das Training und die Inferenz solcher Modelle optimiert sind. Obwohl viele Produktionssysteme inzwischen auf Transformer-Architekturen umgestiegen sind, bleibt seq2seq ein grundlegendes Konzept in der KI-Ausbildung und -Forschung.