デュアルRTX 3090 Qwen3.8-27B SGLang投機的デコード設定

設定: デュアルRTX 3090 Qwen3.8-27B SGLang 0.5.19 AutoRound INT4 FP8 KVキャッシュ DFlash2（z-lab BF16ブロックドラフター使用） 262Kコンテキスト ベンチマーク結果（思考オフ、ウォームアップ3回＋計測5回）: コードデコード: 219.8 tok/s ナラティブ: 124.6 tok/s TTFT: 64 ms コードCV: 2.9% ナラティブCV: 3.3% プリフィル: 約10Kトークン: 1,543 tok/s 約90Kトークン: 1,195 tok/s メモリ: GPU 1: 約22.5 GiB GPU 2: 約22.1 GiB メモリリーク: 約20 MiB 比較: 組み込みMTPパス（同じ量子化）: 約112コードtok/s デッドドラフターパス: 約39 tok/s DFlash2ブロックドラフター: 219.8コードtok/s vLLMデュアル3090比較: デュアルスーパーファスト: 約141コードtok/s ウルトラファスト: 約231コードtok/s（ただしBF16 KVキャッシュに切り替わり、262Kコンテキスト全体を放棄） 注意点: SGLangはvLLM SpecDecoding行を出力しないため、受入長を直接取得できなかった。 思考オン時は、可視チャット出力が遅く見える（推論トークンが生成に含まれる）。