Recette de réglage d'inférence locale Qwen3.8-Flash-Next

Configuration locale de Qwen3.8-Flash-Next avec RTX 3090 x2 (48GB VRAM) + 128GB de RAM système : 1. Quantification : Choisissez Q4_K_XL ou UD-IQ1_S selon le compromis mémoire vs qualité. 2. Cache KV : Utilisez q8_0 KV pour un équilibre mémoire et performance de décodage sur des contextes plus larges. 3. Couches MoE : Utilisez --n-cpu-moe et --moe-stream pour décharger la charge de travail MoE vers la RAM système. 4. Répartition des couches : Laissez plusieurs Go de marge VRAM pour éviter les défauts de page pendant l'inférence. 5. Traitement par lots : Définissez --batch-size et --ubatch-size à 2048-4096 pour le débit de préremplissage. 6. NUMA : Liez correctement la charge de travail pour réduire le trafic mémoire CPU-GPU. 7. Environnement : Privilégiez Linux ou WSL2 pour de meilleures performances. Attendu : 300-600 tok/s en préremplissage, 40-50 tok/s en décodage.