Qwen3.8-27B dévoilé : 85K téléchargements, contexte de 250K et décodage spéculatif activé

Qwen3.8-27B Unleashed vient de dépasser les 85 000 téléchargements. Ce qui rend cette version intéressante, ce n’est pas simplement qu’il s’agit d’un Qwen non censuré. C’est la quantité de performances qui est intégrée dans un GGUF local. Le modèle utilise la recette de quantification dynamique 3.0 de @UnslothAI, appliquée à des poids non censurés. L’idée est simple : conserver les tenseurs sensibles à une précision plus élevée et compresser les parties du modèle qui tolèrent mieux une précision plus faible. Le résultat est un modèle plus petit sans traiter chaque tenseur de la même manière. Certains tests précoces sont étonnamment solides. La perplexité en Q3 est à peu près comparable à celle du Q4 et correspond aux résultats d’Unsloth. La récupération par aiguille a fonctionné avec un contexte de 250K. Un contrôle ponctuel sur 20 invites a produit 0 refus. Ce dernier chiffre nécessite du contexte. Cela ne signifie pas que le modèle ne refusera jamais. C’est simplement ce qui s’est passé dans ce petit test. Il y a un autre élément intéressant ici : LoopSpec. C’est une configuration de décodage spéculatif qui combine la réutilisation de n-grammes, un repli adaptatif et DFlash2. Des tests frais sur RTX 4090 avec un contexte de 250K ont montré à quel point cela peut dépendre de la charge de travail. Copier du texte : 52 → 201 tok/s. C’est un gain de vitesse de 3,86×. Une petite tâche de codage : 59 → 68 tok/s. Environ 15 % plus rapide. Les performances de récupération se sont également améliorées lors des exécutions avec l’outil Hermes. Mais il y a un inconvénient important. LoopSpec n’est pas un bouton magique 4×. Il fonctionne mieux lorsque le modèle doit reproduire du texte qui existe déjà dans le contexte. Lorsqu’il n’y a pas beaucoup de texte réutilisable, les gains sont beaucoup plus faibles. C’est en fait la leçon la plus intéressante ici. L’inférence locale ne consiste pas seulement à acheter un GPU plus rapide ou à utiliser une quantification plus petite. Le modèle, la méthode de quantification, le cache KV, la stratégie de décodage spéculatif, l’environnement d’exécution et la charge de travail interagissent tous. Qwen3.8-27B devient un excellent terrain de jeu pour expérimenter avec toute cette pile. 85K+ téléchargements, contexte de 250K, quantification agressive et décodage spéculatif conscient de la charge de travail. C’est beaucoup de capacités à faire tenir sur une seule RTX 4090.