Double RTX 3090 Qwen3.8-27B SGLang Configuration de décodage spéculatif

Configuration : Double RTX 3090 Qwen3.8-27B SGLang 0.5.19 AutoRound INT4 Cache KV FP8 DFlash2 avec le drafter de blocs BF16 z-lab Contexte de 262K Résultats des benchmarks (réflexion désactivée, 3 exécutions d'échauffement + 5 exécutions mesurées) : Décodage de code : 219,8 tok/s Narration : 124,6 tok/s TTFT : 64 ms CV du code : 2,9 % CV de la narration : 3,3 % Préremplissage : ~10K tokens : 1 543 tok/s ~90K tokens : 1 195 tok/s Mémoire : GPU 1 : ~22,5 Gio GPU 2 : ~22,1 Gio Fuite de mémoire : ~20 Mio Comparaison : Chemin MTP intégré (même quantification) : ~112 tok/s de code Chemin du drafter mort : ~39 tok/s Drafter de blocs DFlash2 : 219,8 tok/s de code Comparaison avec vLLM double-3090 : Double-superrapide : ~141 tok/s de code Ultra-rapide : ~231 tok/s de code (mais passe au cache KV BF16, abandonne le contexte complet de 262K) Mises en garde : SGLang n'émet pas la ligne SpecDecoding de vLLM, donc la longueur d'acceptation n'a pas pu être extraite directement. Avec la réflexion activée, la sortie de chat visible semble plus lente (les tokens de raisonnement sont inclus dans la génération).