डुअल RTX 3090 Qwen3.8-27B SGLang स्पेक्युलेटिव डिकोडिंग सेटअप

सेटअप: डुअल RTX 3090 Qwen3.8-27B SGLang 0.5.19 AutoRound INT4 FP8 KV कैश DFlash2 जिसमें z-lab BF16 ब्लॉक ड्राफ्टर है 262K कॉन्टेक्स्ट बेंचमार्क परिणाम (थिंकिंग बंद, 3 वार्म-अप रन + 5 मापे गए रन): कोड डिकोडिंग: 219.8 tok/s नैरेटिव: 124.6 tok/s TTFT: 64 ms कोड CV: 2.9% नैरेटिव CV: 3.3% प्रीफिल: ~10K टोकन: 1,543 tok/s ~90K टोकन: 1,195 tok/s मेमोरी: GPU 1: ~22.5 GiB GPU 2: ~22.1 GiB मेमोरी लीक: ~20 MiB तुलना: बिल्ट-इन MTP पाथ (समान क्वांट): ~112 कोड tok/s डेड ड्राफ्टर पाथ: ~39 tok/s DFlash2 ब्लॉक ड्राफ्टर: 219.8 कोड tok/s vLLM डुअल-3090 तुलना: डुअल-सुपरफास्ट: ~141 कोड tok/s अल्ट्राफास्ट: ~231 कोड tok/s (लेकिन BF16 KV कैश पर स्विच करता है, पूरा 262K कॉन्टेक्स्ट छोड़ देता है) सावधानियाँ: SGLang vLLM SpecDecoding लाइन उत्सर्जित नहीं करता, इसलिए स्वीकृति लंबाई सीधे स्क्रैप नहीं की जा सकी। थिंकिंग चालू होने पर, दृश्यमान चैट आउटपुट धीमा दिखाई देता है (रीज़निंग टोकन जनरेशन में शामिल हैं)।