Qwen3.8-27B en 16GB VRAM: Receta de inferencia optimizada

Modelo: Qwen3.8-27B GPU: RTX 4070 Ti SUPER 16GB Contexto: 100K tokens Velocidad de decodificación: 47-50 tok/s Uso de VRAM: 15.93GB Pesos (13.5GB GGML híbrido): - Atención: IQ4_XS - FFN: IQ3_S Caché KV (KVarN comprimido): - K: kvarn5 - V: kvarn4 - Los 1,024 tokens KV más recientes a mayor precisión Decodificación especulativa: MTP-2 Cambio clave: kvarn5/kvarn5 -> kvarn5/kvarn4 liberó ~6% de VRAM, aumentó el contexto utilizable de ~88K a 100K tokens. Notas de implementación: - Utiliza una bifurcación de BeeLlama.cpp (llama.cpp), no la versión estándar de llama.cpp ni LM Studio estándar - Rendimiento reportado por la comunidad; los resultados reales varían según el hardware, la longitud del prompt, la carga de trabajo y la configuración