RTX 4090 पर अधिकतम संदर्भ के लिए Qwen3.8-27B llama.cpp कॉन्फ़िगरेशन
Wikiprompt से, मुफ्त प्रॉम्प्ट विश्वकोश
RTX 4090 पर अधिकतम संदर्भ के लिए Qwen3.8-27B llama.cpp कॉन्फ़िगरेशन llama.cpp कमांड-लाइन फ्लैग्स Qwen3.8-27B को ~260K कॉन्टेक्स्ट के साथ चलाने के लिए, Q4 KV कैश का उपयोग करके एक 24GB GPU (RTX 4090) पर, ~41 tok/s डिकोड प्राप्त करने के लिए।
प्रॉम्प्ट सामग्रीसहेजें
🌐
-c 260000 -ngl 99 -ctv q4_0 -ctk q4_0
पूरा प्रॉम्प्ट देखने के लिए साइन इन करें
Continue with:
By logging in, you agree to our Terms of Use and Privacy Policy
उपयोग
यह प्रॉम्प्ट coding के साथ उपयोग के लिए डिज़ाइन किया गया है। ऊपर प्रॉम्प्ट सामग्री कॉपी करें और अपने पसंदीदा AI टूल में पेस्ट करें।
सर्वोत्तम परिणामों के लिए, आप अपनी विशिष्ट आवश्यकताओं के अनुसार प्लेसहोल्डर (वर्ग कोष्ठक या बड़े अक्षरों में दर्शाए गए) को अनुकूलित कर सकते हैं।
चर्चा
0 टिप्पणियाँ