llama-server विलंबता ट्यूनिंग: प्रॉम्प्ट कैशिंग + स्पेक्युलेटिव डिकोडिंग
Wikiprompt से, मुफ्त प्रॉम्प्ट विश्वकोश
llama-server विलंबता ट्यूनिंग: प्रॉम्प्ट कैशिंग + स्पेक्युलेटिव डिकोडिंग दो मुफ्त llama-server फ्लैग्स (प्रॉम्प्ट कैशिंग, स्पेक्युलेटिव डिकोडिंग) का तकनीकी बेंचमार्क, जो स्थानीय LLM इंफेरेंस पर टाइम-टू-फर्स्ट-टोकन को काफी कम करते हैं और डिकोड स्पीड बढ़ाते हैं, साथ ही पुनः उपयोग के लिए मापे गए आंकड़े भी शामिल हैं।
प्रॉम्प्ट सामग्रीसहेजें
🌐
llama-server के दो फ्लैग prefill की प्रतीक्षा का अधिकांश हिस्सा हटा देते हैं:
- प्रॉम्प्ट कैशिंग: समान सिस्टम प्रॉम्प्ट, नया प्रश्न -> ~1.004s से 0.069s TTFT (2,954-टोकन प्रॉम्प्ट); 3.814s -> 0.086s (11,570-टोकन प्रॉम्प्ट)। डिकोड गति अप्रभावित।
- स्पेक्युलेटिव डिकोडिंग (मॉडल का अपना MTP ड्राफ्ट हेड, n=2): गद्य 61 -> 109 tok/s, चैट 61 -> 113, कोड 61 -> 139, दोहराव वाला टेक्स्ट 61 -> 144। लागत: TTFT पर 9 ms।
दोनों चालू होने पर: 11.5k संदर्भ के लिए एक छोटा उत्तर 4.25 s -> 0.30 s हो जाता है।
मापा गया: Qwen3.8-27B Q6_K, llama.cpp, एक RTX 5090, बैच 1, 304 अनुरोध, एक समय में एक चर।
पूरा प्रॉम्प्ट देखने के लिए साइन इन करें
Continue with:
By logging in, you agree to our Terms of Use and Privacy Policy
उपयोग
यह प्रॉम्प्ट coding के साथ उपयोग के लिए डिज़ाइन किया गया है। ऊपर प्रॉम्प्ट सामग्री कॉपी करें और अपने पसंदीदा AI टूल में पेस्ट करें।
सर्वोत्तम परिणामों के लिए, आप अपनी विशिष्ट आवश्यकताओं के अनुसार प्लेसहोल्डर (वर्ग कोष्ठक या बड़े अक्षरों में दर्शाए गए) को अनुकूलित कर सकते हैं।
चर्चा
0 टिप्पणियाँ