Qwen3.8-27B desatado: 85K descargas, contexto de 250K y decodificación especulativa en

Qwen3.8-27B Unleashed acaba de superar las 85,000 descargas. Lo que hace interesante este lanzamiento no es simplemente que sea un Qwen sin censura. Es cuánto rendimiento se está empaquetando en un GGUF local. El modelo utiliza la receta de cuantización Dynamic 3.0 de @UnslothAI, aplicada a pesos sin censura. La idea es simple: mantener tensores sensibles a mayor precisión y comprimir las partes del modelo que toleran mejor menor precisión. El resultado es un modelo más pequeño sin tratar cada tensor de la misma manera. Algunas pruebas tempranas son sorprendentemente sólidas. La perplejidad Q3 es aproximadamente comparable a Q4 y coincidió con los resultados de Unsloth. La recuperación de agujas funcionó a 250K de contexto. Una verificación puntual de 20 prompts produjo 0 rechazos. Ese último número necesita contexto. No significa que el modelo nunca rechazará. Simplemente es lo que sucedió en esa pequeña prueba. Hay otra pieza interesante aquí: LoopSpec. Es una configuración de decodificación especulativa que combina reutilización de n-gramas, respaldo adaptativo y DFlash2. Pruebas recientes con RTX 4090 a 250K de contexto mostraron cuán dependiente de la carga de trabajo puede ser esto. Copiar texto 52 → 201 tok/s. Eso es una aceleración de 3.86×. Tarea pequeña de codificación 59 → 68 tok/s. Alrededor de un 15% más rápido. El rendimiento de recuperación también mejoró durante ejecuciones de herramientas Hermes. Pero hay una advertencia importante. LoopSpec no es un botón mágico de 4×. Funciona mejor cuando el modelo necesita reproducir texto que ya existe en el contexto. Cuando no hay mucho texto reutilizable, las ganancias son mucho menores. Esa es en realidad la lección más interesante aquí. La inferencia local no se trata solo de comprar una GPU más rápida o usar un quant más pequeño. El modelo, el método de cuantización, la caché KV, la estrategia de decodificación especulativa, el runtime y la carga de trabajo interactúan todos. Qwen3.8-27B se está convirtiendo en un buen campo de pruebas para experimentar con toda esa pila. Más de 85K descargas, 250K de contexto, cuantización agresiva y decodificación especulativa consciente de la carga de trabajo. Eso es mucha capacidad para exprimir en una sola RTX 4090.