Qwen3.8-27B llama.cpp MTP投機的デコード用設定
フリーのプロンプト百科事典 Wikiprompt より
Qwen3.8-27B llama.cpp MTP投機的デコード用設定 llama.cppのコマンドラインオプションで、Qwen3.8-27B上でネイティブMTP投機的デコードを有効にし、コンテキスト長（130K）をトレードオフにして、単一のRTX 4090上でデコード速度（約60トークン/秒）を向上させます。
プロンプト内容保存
🌐
-c 130000 -ngl 99 -ctv q4_0 -ctk q4_0 --spec-type draft-mtp --spec-draft-n-max 4 --spec-draft-p-min 0.7
ログインして完全なプロンプトを表示
次で続行:
ログインすると、次に同意したことになります： 利用規約 と プライバシーポリシー
使い方
このプロンプトは coding 向けに設計されています。上の内容をコピーして、お好みの AI ツールに貼り付けてください。
最良の結果を得るには、プレースホルダー（角括弧や大文字で示された部分）を具体的な要件に置き換えてください。
ノート
0 件のコメント