Receta de Ajuste de Inferencia Local Qwen3.8-Flash-Next

Configuración local de Qwen3.8-Flash-Next con RTX 3090 x2 (48GB VRAM) + 128GB de RAM del sistema: 1. Cuantización: Elija Q4_K_XL o UD-IQ1_S dependiendo de la compensación entre memoria y calidad. 2. Caché KV: Use q8_0 KV para un equilibrio de memoria y rendimiento de decodificación en contextos más grandes. 3. Capas MoE: Use --n-cpu-moe y --moe-stream para descargar la carga de trabajo MoE a la RAM del sistema. 4. División de capas: Deje varios GB de margen de VRAM para evitar fallos de página durante la inferencia. 5. Procesamiento por lotes: Establezca --batch-size y --ubatch-size a 2048-4096 para el rendimiento de pre-llenado. 6. NUMA: Vincule la carga de trabajo correctamente para reducir el tráfico de memoria CPU-GPU. 7. Entorno: Prefiera Linux o WSL2 para obtener el mejor rendimiento. Esperado: 300-600 tok/s de pre-llenado, 40-50 tok/s de decodificación.