Configuration llama.cpp de Qwen3.8-27B pour le décodage spéculatif MTP
De Wikiprompt, l’encyclopédie libre de prompts
Configuration llama.cpp de Qwen3.8-27B pour le décodage spéculatif MTP Indicateurs de ligne de commande llama.cpp pour activer le décodage spéculatif MTP natif sur Qwen3.8-27B, échangeant la longueur de contexte (130K) contre une vitesse de décodage plus élevée (~60 tok/s) sur une seule RTX 4090.
Contenu du PromptEnregistrer
🌐
-c 130000 -ngl 99 -ctv q4_0 -ctk q4_0 --spec-type draft-mtp --spec-draft-n-max 4 --spec-draft-p-min 0.7
Connectez-vous pour voir le prompt complet
Continuer avec:
En vous connectant, vous acceptez nos Conditions et Confidentialité
Utilisation
Ce prompt est conçu pour être utilisé avec coding. Copiez le contenu ci-dessus et collez-le dans votre outil d’IA préféré.
Pour de meilleurs résultats, personnalisez les espaces réservés (indiqués par des crochets ou des majuscules) selon vos besoins.
Discussion
0 commentaires