llama-serverフラグ最適化ベンチマーク
フリーのプロンプト百科事典 Wikiprompt より
llama-serverフラグ最適化ベンチマーク RTX 5090上、6つのモデルにわたるllama-serverフラグのベンチマーク。どの設定が役立つか、どれが冗長か、どれがパフォーマンスを損なうかを示す。
プロンプト内容保存
🌐
llama-server フラグのベンチマークをRTX 5090、16Kプロンプト、6つのモデル（Qwen3.8-27B、Gemma 4 31B、Qwen3.6-35B-A3B、Nemotron Lightning、Ornith 35B、Qwopus Flash）で実施。
--flash-attn オン：無関係、autoがすでにFlash Attentionを選択。
--parallel 1：有用、コストはゼロ、Gemmaの深層で最大10%のデコード改善、約2.3 GBのVRAMを解放。
KVキャッシュ Q8_0：高密度モデルで1〜2.6 GB節約、3BアクティブのMoEではわずか0.1 GB、デコード速度が5〜7%低下。
KVキャッシュ Q4_0：デコードが6モデル全体で-17%、-23%、-27%、-23%、-29%、-17%低下、品質はほぼ変わらず（GPQA：F16 100、Q8 100、Q4 98）。
MTPドラフトヘッド：Qwen3.8-27Bは約2.2倍、Gemmaは約1.5倍、Nemotron Lightningは0.7倍（遅い）。投機的デコードは約300 tok/s以上では自動的に有益ではない。
16Kプロンプトの最初のリクエスト：5〜6秒の処理、キャッシュ済み：0.1〜0.4秒。
結論：コマンドを盲目的にコピーしないこと、実際のワークロードでベンチマークを行うこと。
ログインして完全なプロンプトを表示
次で続行:
ログインすると、次に同意したことになります： 利用規約 と プライバシーポリシー
使い方
このプロンプトは research 向けに設計されています。上の内容をコピーして、お好みの AI ツールに貼り付けてください。
最良の結果を得るには、プレースホルダー（角括弧や大文字で示された部分）を具体的な要件に置き換えてください。
ノート
0 件のコメント