Qwen3.8-Flash-Next ローカル推論チューニングレシピ
フリーのプロンプト百科事典 Wikiprompt より
Qwen3.8-Flash-Next ローカル推論チューニングレシピ デュアルRTX 3090上でllama.cppを用いてQwen3.8-Flash-Nextを最適化するための技術的レシピ。量子化、KVキャッシュ、MoEオフロード、バッチ処理、NUMA設定を網羅する。
プロンプト内容保存
🌐
Qwen3.8-Flash-Next 本地部署，配备 RTX 3090 x2（48GB 显存）+ 128GB 系统内存：
1. 量化：根据内存与质量权衡，选择 Q4_K_XL 或 UD-IQ1_S。
2. KV 缓存：在较大上下文中，使用 q8_0 KV 以平衡内存与解码性能。
3. MoE 层：使用 --n-cpu-moe 和 --moe-stream 将 MoE 工作负载卸载到系统内存。
4. 层分割：预留几 GB 显存余量，以避免推理期间发生页面错误。
5. 批处理：将 --batch-size 和 --ubatch-size 设置为 2048-4096，以提高预填充吞吐量。
6. NUMA：正确绑定工作负载，以减少 CPU-GPU 内存流量。
7. 环境：优先使用 Linux 或 WSL2 以获得最佳性能。
预期：预填充速度 300-600 tok/s，解码速度 40-50 tok/s。
ログインして完全なプロンプトを表示
次で続行:
ログインすると、次に同意したことになります： 利用規約 と プライバシーポリシー
使い方
このプロンプトは coding 向けに設計されています。上の内容をコピーして、お好みの AI ツールに貼り付けてください。
最良の結果を得るには、プレースホルダー（角括弧や大文字で示された部分）を具体的な要件に置き換えてください。
ノート
0 件のコメント