Configuration llama.cpp de Qwen3.8-27B pour un contexte maximal sur RTX 4090
De Wikiprompt, l’encyclopédie libre de prompts
Configuration llama.cpp de Qwen3.8-27B pour un contexte maximal sur RTX 4090 Indicateurs de ligne de commande llama.cpp pour exécuter Qwen3.8-27B avec un contexte d'environ 260K en utilisant le cache KV Q4 sur un seul GPU de 24 Go (RTX 4090), atteignant un débit de décodage d'environ 41 tok/s.
Contenu du PromptEnregistrer
🌐
-c 260000 -ngl 99 -ctv q4_0 -ctk q4_0
Connectez-vous pour voir le prompt complet
Continuer avec:
En vous connectant, vous acceptez nos Conditions et Confidentialité
Utilisation
Ce prompt est conçu pour être utilisé avec coding. Copiez le contenu ci-dessus et collez-le dans votre outil d’IA préféré.
Pour de meilleurs résultats, personnalisez les espaces réservés (indiqués par des crochets ou des majuscules) selon vos besoins.
Discussion
0 commentaires