Configuração de Decodificação Especulativa Dual RTX 3090 Qwen3.8-27B SGLang

Configuração: Dual RTX 3090 Qwen3.8-27B SGLang 0.5.19 AutoRound INT4 Cache KV FP8 DFlash2 com o drafter de bloco BF16 do z-lab Contexto de 262K Resultados do benchmark (pensamento desativado, 3 execuções de aquecimento + 5 execuções medidas): Decodificação de código: 219,8 tok/s Narrativa: 124,6 tok/s TTFT: 64 ms CV de código: 2,9% CV de narrativa: 3,3% Prefill: ~10K tokens: 1.543 tok/s ~90K tokens: 1.195 tok/s Memória: GPU 1: ~22,5 GiB GPU 2: ~22,1 GiB Vazamento de memória: ~20 MiB Comparação: Caminho MTP integrado (mesma quantização): ~112 tok/s de código Caminho do drafter morto: ~39 tok/s Drafter de bloco DFlash2: 219,8 tok/s de código Comparação com vLLM dual-3090: Dual-superfast: ~141 tok/s de código Ultrafast: ~231 tok/s de código (mas alterna para cache KV BF16, abrindo mão do contexto completo de 262K) Ressalvas: SGLang não emite a linha SpecDecoding do vLLM, então o comprimento de aceitação não pôde ser extraído diretamente. Com o pensamento ativado, a saída visível do chat parece mais lenta (tokens de raciocínio incluídos na geração).