llama-server फ्लैग अनुकूलन बेंचमार्क

llama-server 在 RTX 5090 上的标志基准测试，16K 提示词，六个模型（Qwen3.8-27B、Gemma 4 31B、Qwen3.6-35B-A3B、Nemotron Lightning、Ornith 35B、Qwopus Flash）。 --flash-attn 开启：无关紧要，自动模式已选择 Flash Attention。 --parallel 1：有用，零成本，在深度上对 Gemma 的解码性能提升高达 10%，释放约 2.3 GB 显存。 KV 缓存 Q8_0：在密集模型上节省 1-2.6 GB，在 3B 活跃 MoE 上仅节省 0.1 GB，解码速度降低 5-7%。 KV 缓存 Q4_0：六个模型的解码性能分别下降 -17%、-23%、-27%、-23%、-29%、-17%；质量几乎不变（GPQA：F16 100，Q8 100，Q4 98）。 MTP 草稿头：Qwen3.8-27B 约 2.2 倍，Gemma 约 1.5 倍，Nemotron Lightning 0.7 倍（更慢）。推测解码在约 300 tok/s 以上时不会自动带来好处。 16K 提示词的首次请求：处理时间 5-6 秒；缓存后：0.1-0.4 秒。 要点：不要盲目复制命令；对您的实际工作负载进行基准测试。