Duale RTX 3090 Qwen3.8-27B SGLang Spekulative Dekodierung Einrichtung

Setup: Dual RTX 3090 Qwen3.8-27B SGLang 0.5.19 AutoRound INT4 FP8 KV-Cache DFlash2 mit dem z-lab BF16 Block-Drafter 262K Kontext Benchmark-Ergebnisse (Denken aus, 3 Aufwärmläufe + 5 gemessene Läufe): Code-Dekodierung: 219.8 tok/s Erzählung: 124.6 tok/s TTFT: 64 ms Code-CV: 2.9% Erzählungs-CV: 3.3% Prefill: ~10K Tokens: 1,543 tok/s ~90K Tokens: 1,195 tok/s Speicher: GPU 1: ~22.5 GiB GPU 2: ~22.1 GiB Speicherleck: ~20 MiB Vergleich: Integrierter MTP-Pfad (gleiche Quantisierung): ~112 Code-tok/s Dead-Drafter-Pfad: ~39 tok/s DFlash2 Block-Drafter: 219.8 Code-tok/s vLLM Dual-3090-Vergleich: Dual-superfast: ~141 Code-tok/s Ultrafast: ~231 Code-tok/s (aber wechselt zu BF16 KV-Cache, gibt vollen 262K Kontext auf) Einschränkungen: SGLang gibt keine vLLM SpecDecoding-Zeile aus, daher konnte die Akzeptanzlänge nicht direkt ausgelesen werden. Mit aktiviertem Denken erscheint der sichtbare Chat-Ausgang langsamer (Denk-Tokens sind in der Generierung enthalten).