Spekulative Dekodierung ist eine Optimierungstechnik zur Inferenzzeit für große Sprachmodelle, die die autoregressive Textgenerierung beschleunigt, indem ein kleineres, schnelleres Entwurfsmodell mehrere Token-Kandidaten vor dem Hauptmodell vorschlägt, das diese dann in einem einzigen parallelen Durchgang verifiziert oder ablehnt. Da die Verifikation mehrere Token gleichzeitig prüfen kann, kann die Technik dieselbe Ausgabeverteilung wie die Standarddekodierung erzeugen, während sie weniger sequenzielle Durchgänge durch das große Modell benötigt, was die Latenz reduziert, ohne die generierte Ausgabe zu verändern.
Der Ansatz wurde 2022 und 2023 in Forschung von Google und DeepMind beschrieben und bis 2024 in großen Inferenzsystemen übernommen, wobei er zu einer Standardtechnik wurde, um Kosten und Latenz beim Betrieb großer Modelle in der Produktion zu senken.
Funktionsweise
Bei der Standard-Inferenz mit autoregressiven Modellen wird ein Token nach dem anderen generiert, wobei jedes Token einen vollständigen Vorwärtsdurchgang erfordert, bevor das nächste erzeugt werden kann - ein inhärent sequenzieller Prozess. Spekulative Dekodierung durchbricht diesen Engpass, indem ein kleineres Entwurfsmodell, das wesentlich günstiger zu betreiben ist, eine kurze Sequenz von Kandidaten-Token generiert. Das große Zielmodell bewertet dann alle diese Kandidaten in einem einzigen gebündelten Vorwärtsdurchgang und prüft, ob es jedem vorgeschlagenen Token eine ähnliche Wahrscheinlichkeit zugewiesen hätte. Token, die diese Prüfung bestehen, werden akzeptiert; das erste Token, das scheitert, wird durch die eigene Vorhersage des Zielmodells korrigiert, und alle verbleibenden Entwurfs-Token danach werden verworfen. Da ein vollständiger Vorwärtsdurchgang über mehrere Token kaum mehr kostet als ein Durchgang über ein einzelnes Token, da die Berechnung auf modernen GPUs oft eher von Speicherbandbreite als von Arithmetik dominiert wird, ergeben akzeptierte Mehr-Token-Schritte eine erhebliche Netto-Beschleunigung.
Designvarianten
Mehrere Varianten der Kernidee wurden vorgeschlagen. Einige Systeme verwenden ein destilliertes oder anderweitig verwandtes kleines Modell als Entwurfsmodell; andere verwenden eine Teilmenge der eigenen Schichten des Zielmodells oder eine leichte Suche basierend auf n-Grammen aus dem aktuellen Kontext, wodurch die Notwendigkeit entfällt, ein separates Entwurfsmodell zu trainieren und zu pflegen. Medusa und ähnliche Ansätze befestigen zusätzliche Vorhersageköpfe am ursprünglichen Modell selbst, um mehrere zukünftige Token ohne ein separates Modell vorzuschlagen. Die Wahl der Entwurfsstrategie beeinflusst sowohl die Akzeptanzrate, also wie oft Entwurfs-Token mit dem übereinstimmen, was das Zielmodell erzeugt hätte, als auch die zusätzlichen Kosten für den Entwurfsschritt.
Auswirkungen
Spekulative Dekodierung zeichnet sich dadurch aus, dass sie nahezu eine kostenlose Optimierung ist, in dem Sinne, dass sie bei korrekter Implementierung weder die Ausgabeverteilung eines Modells verändert noch ein erneutes Training erfordert; sie ändert nur, wie schnell diese Ausgabe berechnet wird. Dies unterscheidet sie von verlustbehafteten Effizienztechniken wie Quantisierung oder Wissensdestillation, die die Ausgabequalität beeinflussen können. Bis Mitte der 2020er Jahre wurde spekulative Dekodierung von großen Modellanbietern weit verbreitet als Teil der Standard-Serving-Infrastruktur eingesetzt, insbesondere für latenzempfindliche Anwendungen wie Chat-Oberflächen und Codierungsassistenten wie GitHub Copilot und Claude Code, und wurde häufig mit anderen Serving-Optimierungen kombiniert, um die Kosten für den Betrieb von Frontier-Modellen in großem Maßstab zu senken.