Qwen3.8-27B解禁：85Kダウンロード、250Kコンテキスト、および投機的デコーディング

Qwen3.8-27Bが85,000ダウンロードを突破しました。このリリースが興味深いのは、単に検閲されていないQwenだからというだけではありません。ローカルGGUFにどれだけの性能が詰め込まれているかという点です。このモデルは、@UnslothAIのDynamic 3.0量子化レシピを、検閲されていない重みに適用したものです。アイデアはシンプルです。敏感なテンソルは高精度に保ち、低精度でも問題ない部分は圧縮する。その結果、すべてのテンソルを同じように扱うことなく、より小さなモデルが実現しました。初期のテスト結果は驚くほど強力です。Q3のパープレキシティはQ4とほぼ同等で、Unslothの結果に匹敵しました。ニードル検索は250Kコンテキストで機能しました。20プロンプトのスポットチェックでは、拒否は0件でした。この数字には文脈が必要です。モデルが決して拒否しないという意味ではありません。単にその小さなテストで起こったことです。ここにもう一つ興味深い点があります。LoopSpecです。これは投機的デコードの設定で、n-gram再利用、適応フォールバック、DFlash2を組み合わせたものです。新しいRTX 4090での250Kコンテキストのテストでは、ワークロード依存性が明確に示されました。テキストコピーでは52→201トークン/秒。これは3.86倍の高速化です。小さなコーディングタスクでは59→68トークン/秒。約15%の高速化です。検索性能もHermes実行中に向上しました。しかし、重要な注意点があります。LoopSpecは魔法の4倍ボタンではありません。モデルがコンテキスト内に既に存在するテキストを再現する必要がある場合に最も効果を発揮します。再利用可能なテキストが少ない場合、利得ははるかに小さくなります。これが実際にはより興味深い教訓です。ローカル推論は、より高速なGPUやより小さな量子化を購入するだけの話ではありません。モデル、量子化方法、KVキャッシュ、投機的デコード戦略、ランタイム、ワークロードがすべて相互作用します。Qwen3.8-27Bは、そのスタック全体を実験するのにかなり良い遊び場になりつつあります。85K+ダウンロード、250Kコンテキスト、積極的な量子化、ワークロードを意識した投機的デコード。これらはすべて、単一のRTX 4090に詰め込むにはかなりの能力です。