讨论

llama-server 延迟调优:提示缓存与推测解码

来自 Wikiprompt,自由的提示词百科全书

witcheer

2026年9月13日

llama-server 延迟调优:提示缓存与推测解码 两个免费llama-server标志(提示缓存、推测解码)的技术基准测试,它们大幅缩短了本地LLM推理中的首令牌时间并提升了解码速度,附有可复用的实测数据。

提示词内容收藏

🌐
两个llama-server参数即可消除大部分首字等待时间: - 提示缓存:相同的系统提示,新问题 -> 首字时间从约1.004秒降至0.069秒(2,954-token提示);从3.814秒降至0.086秒(11,570-token提示)。解码速度不受影响。 - 推测解码(模型自身的MTP草稿头,n=2):散文61 -> 109 tok/s,聊天61 -> 113,代码61 -> 139,重复文本61 -> 144。代价:首字时间增加9毫秒。 两者同时启用:对11.5k上下文的简短回答从4.25秒降至0.30秒。 测量环境:Qwen3.8-27B Q6_K,llama.cpp,单张RTX 5090,批大小1,304个请求,每次仅改变一个变量。

登录以查看完整提示词

继续使用:

登录即表示你同意我们的 使用条款 和 隐私政策

用法

此提示词专为 coding 设计。复制上方内容并粘贴到你常用的 AI 工具中。

为获得最佳效果,可将占位符(方括号或大写字母标示)替换为你的具体需求。

参考资料

分类:coding| twitter| llama-server| prompt-caching

讨论