llama-server レイテンシチューニング：プロンプトキャッシング＋投機的デコーディング
フリーのプロンプト百科事典 Wikiprompt より
llama-server レイテンシチューニング：プロンプトキャッシング＋投機的デコーディング 2つの無料llama-serverフラグ（プロンプトキャッシュ、投機的デコード）の技術ベンチマーク。これらはローカルLLM推論におけるファーストトークンまでの時間を大幅に短縮し、デコード速度を向上させる。再利用時の測定数値も含む。
プロンプト内容保存
🌐
llama-serverの2つのフラグで、プリフィル待ち時間の大部分が解消されます：
- プロンプトキャッシング：同じシステムプロンプト、新しい質問 → 約1.004秒から0.069秒のTTFT（2,954トークンのプロンプト）；3.814秒から0.086秒（11,570トークンのプロンプト）。デコード速度は影響を受けません。
- 投機的デコード（モデル自身のMTPドラフトヘッド、n=2）：散文61→109トークン/秒、チャット61→113、コード61→139、反復テキスト61→144。コスト：TTFTに9ミリ秒。
両方有効時：11.5kコンテキストへの短い回答が4.25秒から0.30秒になります。
測定条件：Qwen3.8-27B Q6_K、llama.cpp、RTX 5090 1枚、バッチ1、304リクエスト、一度に1変数を変更。
ログインして完全なプロンプトを表示
次で続行:
ログインすると、次に同意したことになります： 利用規約 と プライバシーポリシー
使い方
このプロンプトは coding 向けに設計されています。上の内容をコピーして、お好みの AI ツールに貼り付けてください。
最良の結果を得るには、プレースホルダー（角括弧や大文字で示された部分）を具体的な要件に置き換えてください。
ノート
0 件のコメント