Subword-Tokenisierung ist eine Technik in der Verarbeitung natürlicher Sprache, die Rohtext in eine Sequenz von Tokens umwandelt, wobei jedes Token ein ganzes Wort, ein Wortteil oder sogar ein einzelnes Zeichen sein kann. Sie liegt zwischen der Wort-Tokenisierung, die jedes Wort als unteilbare Einheit behandelt, und der Zeichen-Tokenisierung, die Text als einzelne Zeichen verarbeitet. Durch die Verwendung von Subword-Einheiten können Tokenizer große Vokabulare effizient handhaben, seltene oder unbekannte Wörter darstellen und bedeutungsvolle morphologische Informationen bewahren. Dieser Ansatz ist grundlegend für moderne große Sprachmodelle und andere neuronale Netzwerk-Architekturen, die Text verarbeiten.
Die Kernidee besteht darin, Wörter in kleinere Teile zu zerlegen, die im Trainingskorpus häufig vorkommen. Beispielsweise könnte das Wort „unhappiness“ in „un“, „happi“ und „ness“ zerlegt werden, oder „unhappiness“ könnte als einzelnes Token beibehalten werden, wenn es häufig genug ist. Diese Flexibilität ermöglicht es dem Modell, neuartige Wörter durch die Kombination bekannter Subword-Einheiten zu verstehen, während die Vokabulargröße überschaubar bleibt. Subword-Tokenisierung wurde seit Mitte der 2010er Jahre weitgehend übernommen und ist eine Schlüsselkomponente von Transformer-basierten Modellen.
Geschichte und Entwicklung
Das Konzept der Subword-Tokenisierung entstand aus der Notwendigkeit, offene Vokabularprobleme in der maschinellen Übersetzung und Sprachmodellierung zu bewältigen. Frühe Ansätze in den 1990er und 2000er Jahren verwendeten morphologische Analysen, die jedoch oft sprachspezifisch und rechenintensiv waren. Ein großer Durchbruch kam mit der Einführung der Byte-Pair-Encoding (BPE) für die Textkomprimierung, die 2016 von Rico Sennrich und Kollegen für die Tokenisierung angepasst wurde. Ihr Papier „Neural Machine Translation of Rare Words with Subword Units“ zeigte, dass BPE seltene Wörter in Sequence-to-Sequence-Modellen effektiv behandeln konnte.
Etwa zur gleichen Zeit wurde das WordPiece-Modell bei Google entwickelt, zunächst für die Spracherkennung und später durch BERT populär gemacht. Eine weitere Variante, das Unigram-Sprachmodell, wurde 2018 von Taku Kudo eingeführt und in Modellen wie ALBERT und T5 verwendet. Diese Methoden unterscheiden sich darin, wie sie die Subword-Einheiten auswählen, aber alle teilen das Ziel, eine optimale Segmentierung von Text zu finden.
Methoden und Algorithmen
Byte-Pair-Encoding (BPE)
BPE ist ein Datenkomprimierungsalgorithmus, der iterativ das häufigste Paar aufeinanderfolgender Symbole (anfänglich Zeichen) zu einem neuen Symbol zusammenführt. Für die Tokenisierung beginnt der Prozess mit einem Korpus aus Text, der in Zeichen aufgeteilt ist, zählt dann wiederholt benachbarte Paare und führt das häufigste Paar zusammen, bis eine Zielvokabulargröße erreicht ist. Das resultierende Vokabular enthält Zeichen, Subwörter und ganze Wörter. BPE wird in vielen Modellen verwendet, einschließlich der GPT-Serie von OpenAI und LLaMA von Meta.
WordPiece
WordPiece ähnelt BPE, verwendet jedoch ein likelihood-basiertes Kriterium für die Zusammenführung. Es baut ein Vokabular auf, indem es mit einzelnen Zeichen beginnt und dann neue Tokens hinzufügt, die die Likelihood der Trainingsdaten maximieren. Dieser Ansatz tendiert dazu, linguistisch bedeutungsvollere Subwörter zu erzeugen. WordPiece wird in BERT, ELECTRA und anderen Modellen von Google verwendet.
Unigram-Sprachmodell
Unigram-Tokenisierung behandelt jedes Subwort als unabhängige Einheit und verwendet ein probabilistisches Modell, um die beste Segmentierung für jedes Wort zu wählen. Es beginnt mit einem großen Vokabular möglicher Subwörter und beschneidet es dann basierend darauf, wie viel jedes Token zur Gesamtlikelihood beiträgt. Diese Methode ermöglicht mehrere Segmentierungen und wird in SentencePiece-Implementierungen verwendet.
Rolle in modernen Sprachmodellen
Subword-Tokenisierung ist ein kritischer Vorverarbeitungsschritt für fast alle zeitgenössischen großen Sprachmodelle. Modelle wie GPT-4, Claude und Gemini verlassen sich auf Tokenizer, die Text in Subword-Tokens umwandeln, bevor sie in die Transformer-Architektur eingespeist werden. Die Wahl des Tokenizers beeinflusst die Modellleistung, die Recheneffizienz und die Fähigkeit, mehrere Sprachen zu verarbeiten.
Zum Beispiel kann ein Tokenizer mit einem größeren Vokabular mehr Wörter als einzelne Tokens darstellen, was die Sequenzlänge und die Rechenkosten reduziert, aber auch den Speicherbedarf des Modells erhöhen kann. Umgekehrt erzwingt ein kleineres Vokabular, dass mehr Wörter aufgeteilt werden, was zu längeren Sequenzen und einem potenziellen Bedeutungsverlust führen kann. Tokenizer werden typischerweise auf großen Korpora trainiert und bleiben während des Modelltrainings fest.
Subword-Tokenisierung ermöglicht auch den sprachübergreifenden Transfer. Durch die gemeinsame Nutzung von Subword-Einheiten über Sprachen hinweg können Modelle Code-Switching und seltene Wörter in ressourcenarmen Sprachen besser handhaben. Dies ist besonders wichtig für mehrsprachige Modelle wie mBERT und XLM-RoBERTa.
Herausforderungen und zukünftige Richtungen
Trotz ihrer weit verbreiteten Verwendung hat die Subword-Tokenisierung Einschränkungen. Ein Problem ist, dass sie willkürliche Segmentierungen erzeugen kann, die nicht mit morphologischen Grenzen übereinstimmen, was es für Modelle schwieriger macht, die Wortstruktur zu lernen. Eine weitere Herausforderung ist die Behandlung von Wörtern außerhalb des Vokabulars, insbesondere in spezialisierten Bereichen wie Medizin oder Recht, wo neue Begriffe häufig auftreten. Einige Forscher haben Zeichen- oder Byte-Ebene-Tokenisierung vorgeschlagen, um diese Probleme zu vermeiden, aber diese Ansätze erfordern oft längere Sequenzen und mehr Rechenaufwand.
Jüngste Entwicklungen umfassen adaptive Tokenisierung, bei der der Tokenizer während des Trainings angepasst werden kann, und End-to-End-Modelle, die lernen, Text ohne festen Tokenizer zu segmentieren. Bis 2025 bleibt die Subword-Tokenisierung jedoch der Standard in den meisten Produktionssystemen, und laufende Forschung zielt darauf ab, ihre Effizienz und linguistische Qualität zu verbessern.