Qwen3.8-Flash-Next स्थानीय अनुमान ट्यूनिंग रेसिपी
Wikiprompt से, मुफ्त प्रॉम्प्ट विश्वकोश
Qwen3.8-Flash-Next स्थानीय अनुमान ट्यूनिंग रेसिपी Qwen3.8-Flash-Next को दो RTX 3090 पर llama.cpp के साथ अनुकूलित करने की एक तकनीकी विधि, जिसमें क्वांटाइजेशन, KV कैश, MoE ऑफलोडिंग, बैचिंग और NUMA सेटिंग्स शामिल हैं।
प्रॉम्प्ट सामग्रीसहेजें
🌐
Qwen3.8-Flash-Next RTX 3090 x2 (48GB VRAM) + 128GB सिस्टम RAM के साथ स्थानीय सेटअप:
1. क्वांटाइज़ेशन: मेमोरी बनाम गुणवत्ता के ट्रेडऑफ के आधार पर Q4_K_XL या UD-IQ1_S चुनें।
2. KV कैश: बड़े कॉन्टेक्स्ट पर संतुलित मेमोरी और डिकोड प्रदर्शन के लिए q8_0 KV का उपयोग करें।
3. MoE परतें: MoE वर्कलोड को सिस्टम RAM में ऑफलोड करने के लिए --n-cpu-moe और --moe-stream का उपयोग करें।
4. परत विभाजन: इन्फ्रेंस के दौरान पेज-फॉल्ट से बचने के लिए कुछ GB VRAM का हेडरूम छोड़ें।
5. बैचिंग: प्रीफिल थ्रूपुट के लिए --batch-size और --ubatch-size को 2048-4096 पर सेट करें।
6. NUMA: CPU-GPU मेमोरी ट्रैफिक कम करने के लिए वर्कलोड को ठीक से बाइंड करें।
7. वातावरण: सर्वोत्तम प्रदर्शन के लिए Linux या WSL2 को प्राथमिकता दें।
अपेक्षित: 300-600 टोक/से प्रीफिल, 40-50 टोक/से डिकोड।
पूरा प्रॉम्प्ट देखने के लिए साइन इन करें
Continue with:
By logging in, you agree to our Terms of Use and Privacy Policy
उपयोग
यह प्रॉम्प्ट coding के साथ उपयोग के लिए डिज़ाइन किया गया है। ऊपर प्रॉम्प्ट सामग्री कॉपी करें और अपने पसंदीदा AI टूल में पेस्ट करें।
सर्वोत्तम परिणामों के लिए, आप अपनी विशिष्ट आवश्यकताओं के अनुसार प्लेसहोल्डर (वर्ग कोष्ठक या बड़े अक्षरों में दर्शाए गए) को अनुकूलित कर सकते हैं।
चर्चा
0 टिप्पणियाँ