VRAM収まりガイド：8-32GB GPU向けローカルLLM量子化ベンチマーク

16GBのGPUなら、驚くほど本格的なローカルモデルを動かせる。 私は38のモデルと量子化を試し、16Kプロンプトでの実際のピークVRAM使用量を測定した。さらに768MiBの余裕を加えて、8、12、16、24、32GBのカードに本当に収まるものを確認した。 その結果、VRAMのトレードオフがかなり興味深いものになった。 16GBカードの場合： Qwen3.8-27B UD-IQ3_XXS 92.7% ボードスコア 45.0 GPQA 12.8GB ピーク Qwen3.8-27B UD-IQ2_M 91.5% 11.3GB ピーク Qwen3.8-27B UD-IQ2_XXS 90.8% 10.1GB ピーク Gemma 4 12B Q6_K 87.6% 11.6GB ピーク gpt-oss-20b Q4_K_M 87.4% 14.5GB ピーク 驚くべき点は、強く量子化された27BのQwenが、ボードメトリクスでこれらの小さなモデルより約5ポイント高いスコアを維持していることだ。 しかし、落とし穴がある。 より難しいGPQA-Diamondベンチマークは、量子化を下げることで失われる品質の一部を露呈する。 3ビットのQwenは45.0をスコアする一方、6ビット版は49.0に達する。 つまり、低ビット量子化でモデルを収めることはできる。 だが、品質のトレードオフが消えるわけではない。 12GBの層も興味深い。 Qwen3.8-27B UD-IQ2_XXSは16Kで収まり、それでも90.8をスコアする。 しかし、8GBは状況が厳しくなる場所だ。 この特定のボード上の高密度モデルは、16Kで完全に常駐できるものはない。 そして、Q4_K_Mにはもう一つの罠がある。 Qwen3.8-27B Q4_K_Mのモデルファイルはわずか15.9GBなので、16GBカードなら問題ないと想定するかもしれない。 だが、16Kコンテキストではそうはいかない。 ピーク使用量は17.3GBに達する。 これが「モデルが収まる」と「ワークロードが収まる」の違いだ。 VRAMが不足している場合、コンテキストを短くするのが一つの選択肢だ。 もう一つは、KVキャッシュの精度を変更することだ。 しかし、ここでの測定結果は、パフォーマンスが重要な場合はQ4 KVではなくQ8 KVを使うことを示唆している。Q4 KVは、モデルによってはデコード速度の約17〜29%を犠牲にする可能性がある。