Qwen3.8-Flash-Next Lokales Inferenz-Tuning-Rezept

Qwen3.8-Flash-Next lokale Einrichtung mit RTX 3090 x2 (48GB VRAM) + 128GB System-RAM: 1. Quantisierung: Wählen Sie Q4_K_XL oder UD-IQ1_S, je nach Abwägung zwischen Speicher und Qualität. 2. KV-Cache: Verwenden Sie q8_0 KV für einen ausgewogenen Speicher- und Decode-Durchsatz bei größeren Kontexten. 3. MoE-Schichten: Verwenden Sie --n-cpu-moe und --moe-stream, um die MoE-Arbeitslast auf den System-RAM auszulagern. 4. Schichtaufteilung: Lassen Sie mehrere GB VRAM als Puffer frei, um Seitenfehler während der Inferenz zu vermeiden. 5. Batching: Setzen Sie --batch-size und --ubatch-size auf 2048-4096 für den Prefill-Durchsatz. 6. NUMA: Binden Sie die Arbeitslast richtig, um den CPU-GPU-Speicherverkehr zu reduzieren. 7. Umgebung: Bevorzugen Sie Linux oder WSL2 für die beste Leistung. Erwartet: 300-600 tok/s Prefill, 40-50 tok/s Decode.