Optimisation des indicateurs de llama-server - benchmark

Benchmark des drapeaux llama-server sur RTX 5090, invite de 16K, six modèles (Qwen3.8-27B, Gemma 4 31B, Qwen3.6-35B-A3B, Nemotron Lightning, Ornith 35B, Qwopus Flash). --flash-attn activé : sans importance, auto sélectionne déjà Flash Attention. --parallel 1 : utile, ne coûte rien, jusqu'à 10 % d'amélioration du décodage sur Gemma en profondeur, libère environ 2,3 Go de VRAM. Cache KV Q8_0 : économise 1 à 2,6 Go sur les modèles denses, seulement 0,1 Go sur MoE actif à 3B, coûte 5 à 7 % de vitesse de décodage. Cache KV Q4_0 : le décodage chute de -17 %, -23 %, -27 %, -23 %, -29 %, -17 % sur les six modèles ; la qualité bouge à peine (GPQA : F16 100, Q8 100, Q4 98). Têtes de brouillon MTP : Qwen3.8-27B ~2,2x, Gemma ~1,5x, Nemotron Lightning 0,7x (plus lent). Le décodage spéculatif n'est pas automatiquement bénéfique au-dessus d'environ 300 tok/s. Première requête d'invite de 16K : traitement de 5 à 6 s ; en cache : 0,1 à 0,4 s. Conclusion : ne copiez pas les commandes aveuglément ; évaluez votre charge de travail réelle.