Optimización de indicadores de llama-server - benchmark

Benchmark de flags de llama-server en RTX 5090, prompt de 16K, seis modelos (Qwen3.8-27B, Gemma 4 31B, Qwen3.6-35B-A3B, Nemotron Lightning, Ornith 35B, Qwopus Flash). --flash-attn activado: irrelevante, auto ya selecciona Flash Attention. --parallel 1: útil, no cuesta nada, hasta un 10% de mejora en decodificación en Gemma en profundidad, libera ~2.3 GB de VRAM. Caché KV Q8_0: ahorra 1-2.6 GB en modelos densos, solo 0.1 GB en MoE con 3B activos, cuesta un 5-7% de velocidad de decodificación. Caché KV Q4_0: la decodificación cae un -17%, -23%, -27%, -23%, -29%, -17% en los seis modelos; la calidad apenas se mueve (GPQA: F16 100, Q8 100, Q4 98). Cabezas de borrador MTP: Qwen3.8-27B ~2.2x, Gemma ~1.5x, Nemotron Lightning 0.7x (más lento). La decodificación especulativa no es automáticamente beneficiosa por encima de ~300 tok/s. Primera solicitud con prompt de 16K: 5-6s de procesamiento; en caché: 0.1-0.4s. Conclusión: no copies comandos a ciegas; evalúa tu carga de trabajo real.