Receita de Ajuste de Inferência Local Qwen3.8-Flash-Next

Configuração local do Qwen3.8-Flash-Next com RTX 3090 x2 (48GB VRAM) + 128GB de RAM do sistema: 1. Quantização: Escolha Q4_K_XL ou UD-IQ1_S dependendo da compensação entre memória e qualidade. 2. Cache KV: Use KV q8_0 para memória equilibrada e desempenho de decodificação em contextos maiores. 3. Camadas MoE: Use --n-cpu-moe e --moe-stream para descarregar a carga de trabalho MoE para a RAM do sistema. 4. Divisão de camadas: Deixe vários GB de folga de VRAM para evitar falhas de página durante a inferência. 5. Loteamento: Defina --batch-size e --ubatch-size para 2048-4096 para a taxa de transferência de preenchimento. 6. NUMA: Vincule a carga de trabalho corretamente para reduzir o tráfego de memória CPU-GPU. 7. Ambiente: Prefira Linux ou WSL2 para melhor desempenho. Esperado: 300-600 tok/s de preenchimento, 40-50 tok/s de decodificação.