Qwen3.8-27B auf 16GB VRAM: Optimiertes Inferenz-Rezept

Modell: Qwen3.8-27B GPU: RTX 4070 Ti SUPER 16GB Kontext: 100K Token Decode-Geschwindigkeit: 47-50 tok/s VRAM-Nutzung: 15,93 GB Gewichte (13,5 GB Hybrid-GGUF): - Attention: IQ4_XS - FFNs: IQ3_S KV-Cache (KVarN-komprimiert): - K: kvarn5 - V: kvarn4 - Die letzten 1.024 KV-Token mit höherer Präzision Spekulative Dekodierung: MTP-2 Wesentliche Änderung: kvarn5/kvarn5 -> kvarn5/kvarn4 hat etwa 6 % VRAM freigegeben und den nutzbaren Kontext von etwa 88K auf 100K Token erhöht. Implementierungshinweise: - Verwendet BeeLlama.cpp (llama.cpp-Fork), nicht das Standard-llama.cpp oder Standard-LM Studio - Von der Community gemeldete Leistung; tatsächliche Ergebnisse variieren je nach Hardware, Prompt-Länge, Arbeitslast und Konfiguration