Wikiprompt
Discusión

Ajuste de latencia de llama-server: caché de indicaciones + decodificación especulativa

De Wikiprompt, la enciclopedia libre de prompts

witcheer
Contribuido porwitcheerXFuente

13 sept 2026

Ajuste de latencia de llama-server: caché de indicaciones + decodificación especulativa Evaluación técnica comparativa de dos parámetros gratuitos de llama-server (almacenamiento en caché de prompts, decodificación especulativa) que reducen drásticamente el tiempo hasta el primer token y aumentan la velocidad de decodificación en la inferencia local de LLM, con cifras medidas para su reutilización.

Contenido del PromptGuardar

🌐
Dos flags de llama-server eliminan la mayor parte de la espera de prefill: - caché de prompt: mismo prompt de sistema, nueva pregunta -> ~1.004s a 0.069s TTFT (prompt de 2,954 tokens); 3.814s -> 0.086s (prompt de 11,570 tokens). La velocidad de decodificación no se ve afectada. - decodificación especulativa (cabeza de borrador MTP del propio modelo, n=2): prosa 61 -> 109 tok/s, chat 61 -> 113, código 61 -> 139, texto repetitivo 61 -> 144. Costo: 9 ms en TTFT. Ambos activados: una respuesta corta al contexto de 11.5k pasa de 4.25 s -> 0.30 s. Medido en: Qwen3.8-27B Q6_K, llama.cpp, una RTX 5090, lote 1, 304 solicitudes, una variable a la vez.

Iniciá sesión para ver el prompt completo

Continuar con:

Al iniciar sesión, aceptás nuestros Términos de uso y Política de privacidad

Uso

Este prompt está diseñado para usarse con coding. Copiá el contenido de arriba y pegalo en tu herramienta de IA preferida.

Para mejores resultados, personalizá los marcadores (indicados con corchetes o mayúsculas) con tus requisitos específicos.

Referencias

Categorías:coding| twitter| llama-server| prompt-caching

Discusión