Ajuste de latência do llama-server: cache de prompt + decodificação especulativa
De Wikiprompt, a enciclopédia livre de prompts
Ajuste de latência do llama-server: cache de prompt + decodificação especulativa Benchmark técnico de duas flags gratuitas do llama-server (prompt caching, speculative decoding) que reducen drasticamente o time-to-first-token e aumentam a velocidade de decodificação na inferência local de LLM, com números medidos para reutilização.
Conteúdo do PromptSalvar
🌐
Duas flags do llama-server removem a maior parte da espera de prefill:
- cache de prompt: mesmo prompt de sistema, nova pergunta -> ~1.004s para 0.069s TTFT (prompt de 2.954 tokens); 3.814s -> 0.086s (prompt de 11.570 tokens). Velocidade de decodificação inalterada.
- decodificação especulativa (cabeça de rascunho MTP do próprio modelo, n=2): prosa 61 -> 109 tok/s, chat 61 -> 113, código 61 -> 139, texto repetitivo 61 -> 144. Custo: 9 ms no TTFT.
Ambas ativadas: uma resposta curta ao contexto de 11.5k vai de 4.25 s -> 0.30 s.
Medido em: Qwen3.8-27B Q6_K, llama.cpp, uma RTX 5090, batch 1, 304 requisições, uma variável por vez.
Entre para ver o prompt completo
Continuar com:
Ao entrar, você concorda com nossos Termos de uso e Política de privacidade
Uso
Este prompt foi projetado para uso com coding. Copie o conteúdo acima e cole na sua ferramenta de IA preferida.
Para melhores resultados, personalize os marcadores (indicados por colchetes ou maiúsculas) com seus requisitos específicos.
Referências
- Categoria: Prompts de coding
- Fonte: https://x.com/witcheer/status/2099095882444538285
Discussão
0 comentários