Ein Token ist die grundlegende Texteinheit, die ein Sprachmodell liest und schreibt. Im Kontext großer Sprachmodelle sind Tokens nicht unbedingt ganze Wörter; sie können Teilwörter, Zeichen oder sogar Byte-Ebenen-Darstellungen sein. Der Prozess der Umwandlung von Rohtext in Tokens wird Tokenisierung genannt und ist ein kritischer Vorverarbeitungsschritt, der bestimmt, wie ein Modell Sprache interpretiert und erzeugt. Alle operativen Metriken eines Sprachmodells, einschließlich Preisgestaltung, Kontextfenstergröße und Verarbeitungsgeschwindigkeit, werden in Tokens gemessen, was sie zur Währung moderner Systeme der künstlichen Intelligenz macht.
Die Tokenisierung ermöglicht es Modellen, einen großen Wortschatz effizient zu verwalten. Anstatt jedes mögliche Wort zu speichern, zerlegt ein Tokenizer Text basierend auf einem gelernten Vokabular in kleinere Teile, das typischerweise zwischen 30.000 und 100.000 Tokens umfasst. Zum Beispiel könnte das Wort "unglücklich" in "un", "glück" und "lich" aufgeteilt werden, während gebräuchliche Wörter wie "das" einzelne Tokens bleiben. Dieser Ansatz balanciert Recheneffizienz mit sprachlicher Abdeckung und ermöglicht es Modellen, verschiedene Sprachen und technisches Fachvokabular ohne ein unpraktisches Wörterbuch zu verarbeiten.
Tokenisierungsmethoden
Im Laufe der Jahre wurden mehrere Tokenisierungsalgorithmen entwickelt. Byte-Pair-Encoding (BPE), eingeführt von Rico Sennrich und Kollegen im Jahr 2016, ist eine der am weitesten verbreiteten Methoden. BPE führt iterativ die häufigsten Paare von Zeichen oder Teilwörtern in einem Trainingskorpus zusammen, bis eine Zielvokabulargröße erreicht ist. Eine weitere beliebte Methode ist WordPiece, das bei Google entwickelt wurde und einen wahrscheinlichkeitsbasierten Ansatz zur Auswahl von Zusammenführungen verwendet. In jüngerer Zeit wurde SentencePiece von Google entwickelt, das den gesamten Text als eine Sequenz von Zeichen behandelt und Sprachen ohne klare Wortgrenzen wie Japanisch oder Chinesisch verarbeiten kann.
Die Unigram-Sprachmodell-Tokenisierung, ebenfalls in SentencePiece implementiert, verfolgt einen probabilistischen Ansatz, indem sie die wahrscheinlichste Segmentierung eines Textes basierend auf einem trainierten Unigram-Modell auswählt. Jede Methode hat Kompromisse in Bezug auf Kompressionsrate, Handhabung von Wörtern außerhalb des Vokabulars und nachgelagerte Modellleistung. Die Wahl des Tokenizers beeinflusst erheblich, wie gut ein Modell seltene Wörter, morphologische Variationen und mehrsprachigen Text versteht.
Rolle in Sprachmodellen
In Transformer-basierten Modellen werden Tokens in numerische Einbettungen umgewandelt, die als Eingabe für das neuronale Netzwerk dienen. Jedem Token wird eine eindeutige Ganzzahl-ID aus dem Vokabular zugewiesen, und diese IDs werden auf hochdimensionale Vektoren abgebildet, die semantische und syntaktische Informationen erfassen. Das Modell verarbeitet Sequenzen dieser Einbettungen durch mehrere Schichten von Aufmerksamkeits- und Feed-Forward-Netzwerken und lernt Muster und Beziehungen zwischen Tokens.
Während der Generierung gibt das Modell eine Wahrscheinlichkeitsverteilung über das gesamte Token-Vokabular für das nächste Token aus, gegeben den vorhergehenden Kontext. Dieser autoregressive Prozess wird fortgesetzt, bis ein spezielles Ende-der-Sequenz-Token erzeugt wird oder eine maximale Länge erreicht ist. Die Granularität der Tokens beeinflusst die Fähigkeit des Modells, kohärenten Text zu erzeugen; Teilwort-Tokens ermöglichen eine flexible Zusammensetzung neuer Wörter, während Zeichenebenen-Tokens viel längere Sequenzen und mehr Rechenaufwand erfordern würden.
Kontextfenster und Grenzen
Die Kontextfenstergröße, gemessen in Tokens, definiert, wie viel Text ein Modell gleichzeitig berücksichtigen kann. Frühe Modelle wie GPT-2 hatten Kontextfenster von 1.024 Tokens, während moderne Modelle wie GPT-4 Turbo bis zu 128.000 Tokens unterstützen, und einige Modelle wie Claude 3 bieten Kontexte von 200.000 Tokens. Diese Grenzen wirken sich direkt auf die Arten von Aufgaben aus, die ein Modell ausführen kann, wie das Analysieren langer Dokumente, das Zusammenfassen ganzer Bücher oder das Aufrechterhalten kohärenter Gespräche über längere Interaktionen.
Wenn die Eingabe das Kontextfenster überschreitet, kürzen Modelle typischerweise die ältesten Tokens oder verwenden Techniken wie gleitende Fenster oder Retrieval-Augmentierung, um längere Texte zu verwalten. Das Kontextfenster beeinflusst auch Speichernutzung und Rechenkosten; längere Kontexte erfordern mehr Aufmerksamkeitsberechnungen, die in Standard-Transformern quadratisch mit der Sequenzlänge skalieren. Dies hat Forschung zu effizienten Aufmerksamkeitsmechanismen motiviert, wie sparse attention und linear attention, um Kontextlängen ohne prohibitive Ressourcenanforderungen zu erweitern.
Preisgestaltung und Kosten
API-Anbieter berechnen basierend auf der Token-Nutzung, wobei sie typischerweise zwischen Eingabe- und Ausgabe-Tokens unterscheiden. Zum Beispiel kostet OpenAIs GPT-4 Turbo $0,01 pro 1.000 Eingabe-Tokens und $0,03 pro 1.000 Ausgabe-Tokens, während Anthropics Claude 3 Opus $0,015 für Eingabe und $0,075 für Ausgabe pro 1.000 Tokens verlangt. Diese Preise spiegeln die Rechenkosten der Token-Verarbeitung wider, wobei Ausgabe-Tokens aufgrund des sequentiellen Generierungsprozesses teurer sind.
Die Token-Anzahl bestimmt auch die Kosten für Feinabstimmung und Training. Das Training eines Modells beinhaltet die Verarbeitung von Milliarden von Tokens, und die Gesamtkosten skalieren linear mit der Anzahl der Tokens. Zum Beispiel erforderte das Training eines Modells mit 70 Milliarden Parametern wie Llama 2 ungefähr 2 Billionen Tokens, was Millionen von Dollar an Rechenleistung kostete. Das Verständnis der Token-Preisgestaltung ist für die Budgetierung von KI-Anwendungen unerlässlich, insbesondere für solche, die umfangreiche Textverarbeitung oder Echtzeitinteraktionen umfassen.
Geschwindigkeit und Durchsatz
Die Verarbeitungsgeschwindigkeit wird in Tokens pro Sekunde (TPS) gemessen. Die Inferenzgeschwindigkeit variiert stark je nach Hardware und Modellgröße. Auf High-End-GPUs wie der NVIDIA A100 könnte ein Modell mit 7 Milliarden Parametern 20-30 Tokens pro Sekunde erzeugen, während kleinere Modelle auf spezialisierter Hardware Hunderte von Tokens pro Sekunde erreichen können. Unternehmen wie Groq haben kundenspezifische Chips entwickelt, die einen extrem hohen Durchsatz erzielen, wobei ihre LPU (Language Processing Unit) für einige Modelle über 500 Tokens pro Sekunde liefert.
Geschwindigkeit ist entscheidend für Echtzeitanwendungen wie Chatbots, Code-Vervollständigung und Live-Übersetzung. Die Latenz, die Zeit bis zum ersten Token, wird ebenfalls in Millisekunden gemessen und hängt von der Größe des Modells und der Effizienz des Inferenz-Stacks ab. Techniken wie Quantisierung, Modell-Pruning und spekulative Dekodierung werden verwendet, um den Token-Durchsatz zu verbessern und reaktionsschnellere und kostengünstigere Bereitstellungen zu ermöglichen.
Token-Effizienz und Optimierung
Forscher und Praktiker versuchen kontinuierlich, die Token-Effizienz zu verbessern. Dies umfasst die Entwicklung von Tokenizern, die Text effektiver komprimieren und die Anzahl der Tokens reduzieren, die benötigt werden, um dieselbe Information darzustellen. Zum Beispiel verwenden einige Modelle Byte-Ebenen-Tokenisierung, um beliebigen Text zu verarbeiten, während andere spezialisierte Vokabulare für Code oder wissenschaftliche Notation einsetzen.
Prompt-Engineering konzentriert sich ebenfalls auf Token-Effizienz, da kürzere Prompts Kosten und Latenz reduzieren. Techniken wie Instruction Tuning und Few-Shot-Lernen zielen darauf ab, gewünschte Ausgaben mit minimalem Token-Verbrauch zu erzielen. Darüber hinaus können Modelldestillation und Quantisierung die Rechenkosten pro Token senken, was Modelle schneller und billiger macht, ohne signifikanten Leistungsverlust.
Zukünftige Richtungen
Während sich Sprachmodelle weiterentwickeln, bleibt die Tokenisierung ein aktives Forschungsgebiet. Multimodale Modelle tokenisieren jetzt nicht nur Text, sondern auch Bilder, Audio und Video, wobei sie separate oder vereinheitlichte Tokenizer verwenden. Zum Beispiel verarbeiten Modelle wie GPT-4V Bildausschnitte als Tokens, während Audiomodelle Wellenformen in diskrete Darstellungen umwandeln. Diese Erweiterung der Token-Typen ermöglicht vielseitigere KI-Systeme, die über Modalitäten hinweg verstehen und erzeugen können.
Es gibt auch wachsendes Interesse an dynamischer Tokenisierung, bei der sich die Segmentierung basierend auf Kontext oder Aufgabe anpasst. Einige Forschung untersucht die Verwendung größerer Token-Einheiten, wie ganzer Phrasen oder Sätze, um Effizienz und Kohärenz zu verbessern. Diese Ansätze stehen jedoch vor Herausforderungen bei der Aufrechterhaltung von Flexibilität und der Handhabung neuartiger Eingaben. Die fortlaufende Entwicklung von Tokenisierungstechniken wird weiterhin die Fähigkeiten und die Ökonomie von Sprachmodellen prägen.