Qwen3.8-27B जारी: 85K डाउनलोड, 250K कॉन्टेक्स्ट, और स्पेक्युलेटिव डिकोडिंग

Qwen3.8-27B Unleashed ने अभी-अभी 85,000 डाउनलोड पार किए हैं। इस रिलीज़ को दिलचस्प बनाने वाली बात सिर्फ यह नहीं है कि यह एक अनसेंसर्ड Qwen है। यह है कि स्थानीय GGUF में कितना प्रदर्शन पैक किया जा रहा है। मॉडल अनसेंसर्ड वेट्स पर @UnslothAI की Dynamic 3.0 क्वांटाइज़ेशन रेसिपी का उपयोग करता है। विचार सरल है: संवेदनशील टेंसर को उच्च परिशुद्धता पर रखें और मॉडल के उन हिस्सों को संपीड़ित करें जो कम परिशुद्धता को बेहतर सहन करते हैं। परिणाम एक छोटा मॉडल है जो हर टेंसर के साथ समान व्यवहार नहीं करता। कुछ शुरुआती परीक्षण आश्चर्यजनक रूप से मजबूत हैं। Q3 की पर्प्लेक्सिटी मोटे तौर पर Q4 के बराबर है और Unsloth के परिणामों से मेल खाती है। नीडल रिट्रीवल 250K कॉन्टेक्स्ट पर काम कर गया। 20-प्रॉम्प्ट स्पॉट चेक में 0 रिफ्यूज़ल मिले। उस आखिरी नंबर को संदर्भ की जरूरत है। इसका मतलब यह नहीं है कि मॉडल कभी मना नहीं करेगा। यह सिर्फ वही है जो उस छोटे परीक्षण में हुआ। यहाँ एक और दिलचस्प हिस्सा है: LoopSpec। यह एक स्पेक्यूलेटिव डिकोडिंग सेटअप है जो n-gram पुनः उपयोग, अनुकूली फॉलबैक, और DFlash2 को जोड़ता है। 250K कॉन्टेक्स्ट पर ताज़ा RTX 4090 परीक्षण ने दिखाया कि यह कार्यभार पर कितना निर्भर हो सकता है। टेक्स्ट कॉपी करना 52 → 201 tok/s। यह 3.86× की गति है। छोटा कोडिंग कार्य 59 → 68 tok/s। लगभग 15% तेज़। Hermes टूल रन के दौरान रिट्रीवल प्रदर्शन में भी सुधार हुआ। लेकिन एक महत्वपूर्ण पहलू है। LoopSpec कोई जादुई 4× बटन नहीं है। यह सबसे अच्छा तब काम करता है जब मॉडल को उस टेक्स्ट को पुन: उत्पन्न करने की आवश्यकता होती है जो पहले से कॉन्टेक्स्ट में मौजूद है। जब ज्यादा पुन: उपयोग योग्य टेक्स्ट नहीं होता, तो लाभ बहुत छोटे होते हैं। यह वास्तव में यहाँ अधिक दिलचस्प सबक है। स्थानीय इंफ़रेंस सिर्फ एक तेज़ GPU खरीदने या छोटे क्वांट का उपयोग करने के बारे में नहीं है। मॉडल, क्वांटाइज़ेशन विधि, KV कैश, स्पेक्यूलेटिव डिकोडिंग रणनीति, रनटाइम, और कार्यभार सभी परस्पर क्रिया करते हैं। Qwen3.8-27B उस पूरे स्टैक के साथ प्रयोग करने के लिए एक काफी अच्छा प्लेग्राउंड बन रहा है। 85K+ डाउनलोड, 250K कॉन्टेक्स्ट, आक्रामक क्वांटाइज़ेशन, और कार्यभार-जागरूक स्पेक्यूलेटिव डिकोडिंग। यह एक एकल RTX 4090 पर निचोड़ने के लिए बहुत सारी क्षमता है।