Qwen3.8-27B llama.cpp MTP सट्टा डिकोडिंग के लिए कॉन्फ़िगरेशन
Wikiprompt से, मुफ्त प्रॉम्प्ट विश्वकोश
Qwen3.8-27B llama.cpp MTP सट्टा डिकोडिंग के लिए कॉन्फ़िगरेशन llama.cpp कमांड-लाइन फ्लैग्स Qwen3.8-27B पर नेटिव MTP स्पेक्युलेटिव डिकोडिंग सक्षम करने के लिए, संदर्भ लंबाई (130K) का व्यापार उच्च डिकोड गति (~60 tok/s) के लिए एकल RTX 4090 पर करते हुए।
प्रॉम्प्ट सामग्रीसहेजें
🌐
-c 130000 -ngl 99 -ctv q4_0 -ctk q4_0 --spec-type draft-mtp --spec-draft-n-max 4 --spec-draft-p-min 0.7
पूरा प्रॉम्प्ट देखने के लिए साइन इन करें
Continue with:
By logging in, you agree to our Terms of Use and Privacy Policy
उपयोग
यह प्रॉम्प्ट coding के साथ उपयोग के लिए डिज़ाइन किया गया है। ऊपर प्रॉम्प्ट सामग्री कॉपी करें और अपने पसंदीदा AI टूल में पेस्ट करें।
सर्वोत्तम परिणामों के लिए, आप अपनी विशिष्ट आवश्यकताओं के अनुसार प्लेसहोल्डर (वर्ग कोष्ठक या बड़े अक्षरों में दर्शाए गए) को अनुकूलित कर सकते हैं।
चर्चा
0 टिप्पणियाँ