Configuración de doble RTX 3090 Qwen3.8-27B SGLang Speculative Decoding

Configuración: Dos RTX 3090 Qwen3.8-27B SGLang 0.5.19 AutoRound INT4 Caché KV FP8 DFlash2 con el redactor de bloques BF16 de z-lab Contexto de 262K Resultados de referencia (pensamiento desactivado, 3 ejecuciones de calentamiento + 5 ejecuciones medidas): Decodificación de código: 219.8 tok/s Narrativa: 124.6 tok/s TTFT: 64 ms CV de código: 2.9% CV de narrativa: 3.3% Prefill: ~10K tokens: 1,543 tok/s ~90K tokens: 1,195 tok/s Memoria: GPU 1: ~22.5 GiB GPU 2: ~22.1 GiB Fuga de memoria: ~20 MiB Comparación: Ruta MTP integrada (misma cuantización): ~112 tok/s de código Ruta de redactor muerto: ~39 tok/s Redactor de bloques DFlash2: 219.8 tok/s de código Comparación con vLLM de doble 3090: Doble súper rápido: ~141 tok/s de código Ultra rápido: ~231 tok/s de código (pero cambia a caché KV BF16, renuncia al contexto completo de 262K) Advertencias: SGLang no emite la línea SpecDecoding de vLLM, por lo que la longitud de aceptación no se pudo extraer directamente. Con el pensamiento activado, la salida de chat visible parece más lenta (los tokens de razonamiento se incluyen en la generación).