Qwen3.8-27B llama.cpp 配置，用于MTP推测解码
来自 Wikiprompt，自由的提示词百科全书
Qwen3.8-27B llama.cpp 配置，用于MTP推测解码 llama.cpp命令行标志，用于在Qwen3.8-27B上启用原生MTP推测解码，以牺牲上下文长度（130K）换取更高的解码速度（约60 tok/s），在单个RTX 4090上运行。
提示词内容收藏
🌐
-c 130000 -ngl 99 -ctv q4_0 -ctk q4_0 --spec-type draft-mtp --spec-draft-n-max 4 --spec-draft-p-min 0.7
用法
此提示词专为 coding 设计。复制上方内容并粘贴到你常用的 AI 工具中。
为获得最佳效果，可将占位符（方括号或大写字母标示）替换为你的具体需求。
讨论
0 条评论