Configuração do llama.cpp para Qwen3.8-27B com decodificação especulativa MTP
De Wikiprompt, a enciclopédia livre de prompts
Configuração do llama.cpp para Qwen3.8-27B com decodificação especulativa MTP Flags da linha de comando do llama.cpp para habilitar decodificação especulativa MTP nativa no Qwen3.8-27B, trocando o comprimento do contexto (130K) por maior velocidade de decodificação (~60 tok/s) em uma única RTX 4090.
Conteúdo do PromptSalvar
🌐
-c 130000 -ngl 99 -ctv q4_0 -ctk q4_0 --spec-type draft-mtp --spec-draft-n-max 4 --spec-draft-p-min 0.7
Entre para ver o prompt completo
Continuar com:
Ao entrar, você concorda com nossos Termos de uso e Política de privacidade
Uso
Este prompt foi projetado para uso com coding. Copie o conteúdo acima e cole na sua ferramenta de IA preferida.
Para melhores resultados, personalize os marcadores (indicados por colchetes ou maiúsculas) com seus requisitos específicos.
Discussão
0 comentários