llama-server-Flaggen-Optimierungs-Benchmark

llama-server-Flags-Benchmark auf RTX 5090, 16K-Prompt, sechs Modelle (Qwen3.8-27B, Gemma 4 31B, Qwen3.6-35B-A3B, Nemotron Lightning, Ornith 35B, Qwopus Flash). --flash-attn an: irrelevant, auto wählt bereits Flash Attention aus. --parallel 1: nützlich, kostet nichts, bis zu 10 % Decode-Verbesserung bei Gemma in der Tiefe, gibt etwa 2,3 GB VRAM frei. KV-Cache Q8_0: spart 1-2,6 GB bei dichten Modellen, nur 0,1 GB bei 3B-aktivem MoE, kostet 5-7 % Decode-Geschwindigkeit. KV-Cache Q4_0: Decode sinkt um -17 %, -23 %, -27 %, -23 %, -29 %, -17 % über sechs Modelle; Qualität ändert sich kaum (GPQA: F16 100, Q8 100, Q4 98). MTP-Draft-Köpfe: Qwen3.8-27B ~2,2x, Gemma ~1,5x, Nemotron Lightning 0,7x (langsamer). Spekulative Dekodierung ist über etwa 300 tok/s nicht automatisch vorteilhaft. 16K-Prompt erste Anfrage: 5-6s Verarbeitung; gecacht: 0,1-0,4s. Fazit: Befehle nicht blind kopieren; Benchmark selbst durchführen.