Qwen3.8-27B sur 16 Go de VRAM : Recette d'inférence optimisée

Modèle : Qwen3.8-27B GPU : RTX 4070 Ti SUPER 16GB Contexte : 100K jetons Vitesse de décodage : 47-50 tok/s Utilisation VRAM : 15,93 Go Poids (13,5 Go hybrides GGUF) : - Attention : IQ4_XS - FFN : IQ3_S Cache KV (compressé KVarN) : - K : kvarn5 - V : kvarn4 - Les 1 024 jetons KV les plus récents en précision supérieure Décodage spéculatif : MTP-2 Changement clé : kvarn5/kvarn5 -> kvarn5/kvarn4 a libéré ~6 % de VRAM, augmentant le contexte utilisable de ~88K à 100K jetons. Notes d'implémentation : - Utilise BeeLlama.cpp (fork de llama.cpp), pas le llama.cpp standard ni LM Studio standard - Performances rapportées par la communauté ; les résultats réels varient selon le matériel, la longueur de la requête, la charge de travail et la configuration