Ajuste de latência do llama-server: cache de prompt + decodificação especulativa

De Wikiprompt, a enciclopédia livre de prompts

witcheer
Contribuído porwitcheerXFonte

13 de set. de 2026

Ajuste de latência do llama-server: cache de prompt + decodificação especulativa Benchmark técnico de duas flags gratuitas do llama-server (prompt caching, speculative decoding) que reducen drasticamente o time-to-first-token e aumentam a velocidade de decodificação na inferência local de LLM, com números medidos para reutilização.

Conteúdo do PromptSalvar

🌐
Duas flags do llama-server removem a maior parte da espera de prefill: - cache de prompt: mesmo prompt de sistema, nova pergunta -> ~1.004s para 0.069s TTFT (prompt de 2.954 tokens); 3.814s -> 0.086s (prompt de 11.570 tokens). Velocidade de decodificação inalterada. - decodificação especulativa (cabeça de rascunho MTP do próprio modelo, n=2): prosa 61 -> 109 tok/s, chat 61 -> 113, código 61 -> 139, texto repetitivo 61 -> 144. Custo: 9 ms no TTFT. Ambas ativadas: uma resposta curta ao contexto de 11.5k vai de 4.25 s -> 0.30 s. Medido em: Qwen3.8-27B Q6_K, llama.cpp, uma RTX 5090, batch 1, 304 requisições, uma variável por vez.

Entre para ver o prompt completo

Continuar com:

Ao entrar, você concorda com nossos Termos de uso e Política de privacidade

Uso

Este prompt foi projetado para uso com coding. Copie o conteúdo acima e cole na sua ferramenta de IA preferida.

Para melhores resultados, personalize os marcadores (indicados por colchetes ou maiúsculas) com seus requisitos específicos.

Referências

Categorias:coding| twitter| llama-server| prompt-caching

Discussão

0 comentários