llama-server 标志优化基准测试

llama-server 在 RTX 5090 上的标志基准测试，16K 提示词，六种模型（Qwen3.8-27B，Gemma 4 31B，Qwen3.6-35B-A3B，Nemotron Lightning，Ornith 35B，Qwopus Flash）。 --flash-attn 开启：无关紧要，自动模式已选择 Flash Attention。 --parallel 1：有用，零成本，在深度上对 Gemma 的解码性能提升高达 10%，释放约 2.3 GB 显存。 KV 缓存 Q8_0：在密集模型上节省 1-2.6 GB，在 3B 激活的 MoE 上仅节省 0.1 GB，解码速度降低 5-7%。 KV 缓存 Q4_0：解码性能在六种模型上分别下降 -17%，-23%，-27%，-23%，-29%，-17%；质量几乎不变（GPQA：F16 100，Q8 100，Q4 98）。 MTP 草稿头：Qwen3.8-27B 约 2.2 倍，Gemma 约 1.5 倍，Nemotron Lightning 0.7 倍（更慢）。推测解码在约 300 tok/s 以上时不会自动带来好处。 16K 提示词首次请求：处理时间 5-6 秒；缓存后：0.1-0.4 秒。 要点：不要盲目复制命令；请对实际工作负载进行基准测试。