Wikiprompt
Diskussion

llama-server Latenztuning: Prompt-Caching + spekulative Dekodierung

Von Wikiprompt, der freien Prompt-Enzyklopädie

witcheer
Beigetragen vonwitcheerXQuelle

13. Sept. 2026

llama-server Latenztuning: Prompt-Caching + spekulative Dekodierung Technischer Benchmark zweier kostenloser llama-server-Flags (Prompt-Caching, spekulative Dekodierung), die die Zeit bis zum ersten Token drastisch verkürzen und die Dekodierungsgeschwindigkeit bei lokaler LLM-Inferenz erhöhen, mit gemessenen Zahlen zur Wiederverwendung.

Prompt-InhaltSpeichern

🌐
Zwei llama-server-Flags entfernen den Großteil der Wartezeit beim Prefill: - Prompt-Caching: gleicher System-Prompt, neue Frage -> ~1,004 s auf 0,069 s TTFT (2.954-Token-Prompt); 3,814 s -> 0,086 s (11.570-Token-Prompt). Decode-Geschwindigkeit unverändert. - Spekulative Dekodierung (eigener MTP-Draft-Kopf des Modells, n=2): Prosa 61 -> 109 tok/s, Chat 61 -> 113, Code 61 -> 139, repetitiver Text 61 -> 144. Kosten: 9 ms bei TTFT. Beide aktiv: Eine kurze Antwort auf den 11,5k-Kontext geht von 4,25 s -> 0,30 s. Gemessen auf: Qwen3.8-27B Q6_K, llama.cpp, einer RTX 5090, Batch 1, 304 Anfragen, jeweils eine Variable geändert.

Melde dich an, um den vollständigen Prompt zu sehen

Weiter mit:

Mit der Anmeldung akzeptierst du unsere Nutzungsbedingungen und Datenschutz

Verwendung

Dieser Prompt ist für die Verwendung mit coding gedacht. Kopiere den Inhalt oben und füge ihn in dein bevorzugtes KI-Tool ein.

Für beste Ergebnisse passe die Platzhalter (eckige Klammern oder Großbuchstaben) an deine Anforderungen an.

Referenzen

Kategorien:coding| twitter| llama-server| prompt-caching

Diskussion