Wikiprompt
Discussion

Réglage de la latence de llama-server : mise en cache des invites + décodage spéculatif

De Wikiprompt, l’encyclopédie libre de prompts

witcheer
Contribué parwitcheerXSource

13 sept. 2026

Réglage de la latence de llama-server : mise en cache des invites + décodage spéculatif Analyse technique comparative de deux options gratuites de llama-server (mise en cache des invites, décodage spéculatif) qui réduisent considérablement le temps jusqu'au premier jeton et augmentent la vitesse de décodage lors de l'inférence locale de LLM, avec des chiffres mesurés pour la réutilisation.

Contenu du PromptEnregistrer

🌐
Deux drapeaux llama-server éliminent la plupart du temps d'attente de pré-remplissage : - Mise en cache des invites : même invite système, nouvelle question -> ~1,004 s à 0,069 s TTFT (invite de 2 954 tokens) ; 3,814 s -> 0,086 s (invite de 11 570 tokens). La vitesse de décodage reste inchangée. - Décodage spéculatif (tête de brouillon MTP propre au modèle, n=2) : prose 61 -> 109 tok/s, chat 61 -> 113, code 61 -> 139, texte répétitif 61 -> 144. Coût : 9 ms sur TTFT. Les deux activés : une réponse courte au contexte de 11,5k passe de 4,25 s -> 0,30 s. Mesuré sur : Qwen3.8-27B Q6_K, llama.cpp, un RTX 5090, lot 1, 304 requêtes, une variable à la fois.

Connectez-vous pour voir le prompt complet

Continuer avec:

En vous connectant, vous acceptez nos Conditions et Confidentialité

Utilisation

Ce prompt est conçu pour être utilisé avec coding. Copiez le contenu ci-dessus et collez-le dans votre outil d’IA préféré.

Pour de meilleurs résultats, personnalisez les espaces réservés (indiqués par des crochets ou des majuscules) selon vos besoins.

Références

Catégories :coding| twitter| llama-server| prompt-caching

Discussion