Configuración de llama.cpp para Qwen3.8-27B con decodificación especulativa MTP
De Wikiprompt, la enciclopedia libre de prompts
Configuración de llama.cpp para Qwen3.8-27B con decodificación especulativa MTP Indicadores de línea de comandos de llama.cpp para habilitar la decodificación especulativa MTP nativa en Qwen3.8-27B, intercambiando la longitud de contexto (130K) por una mayor velocidad de decodificación (~60 tok/s) en una sola RTX 4090.
Contenido del PromptGuardar
🌐
-c 130000 -ngl 99 -ctv q4_0 -ctk q4_0 --spec-type draft-mtp --spec-draft-n-max 4 --spec-draft-p-min 0.7
Iniciá sesión para ver el prompt completo
Continuar con:
Al iniciar sesión, aceptás nuestros Términos de uso y Política de privacidad
Uso
Este prompt está diseñado para usarse con coding. Copiá el contenido de arriba y pegalo en tu herramienta de IA preferida.
Para mejores resultados, personalizá los marcadores (indicados con corchetes o mayúsculas) con tus requisitos específicos.
Discusión
0 comentarios