VRAM适配指南：8-32GB GPU本地LLM量化基准测试

一块16GB的GPU可以运行一个令人惊讶的严肃本地模型。 我测试了38种模型和量化版本，测量了在16K提示词下的实际峰值VRAM使用量，然后增加了768 MiB的余量，看看哪些真正适合8、12、16、24和32GB的显卡。 结果让VRAM的权衡变得相当有趣。 在16GB显卡上： Qwen3.8-27B UD-IQ3_XXS 92.7% 综合得分 45.0 GPQA 12.8GB 峰值 Qwen3.8-27B UD-IQ2_M 91.5% 11.3GB 峰值 Qwen3.8-27B UD-IQ2_XXS 90.8% 10.1GB 峰值 Gemma 4 12B Q6_K 87.6% 11.6GB 峰值 gpt-oss-20b Q4_K_M 87.4% 14.5GB 峰值 最令人惊讶的部分是，一个重度量化的27B Qwen在综合指标上仍然比这些较小的模型高出大约5分。 但这里有一个问题。 更难的GPQA-Diamond基准测试暴露了将量化等级降低所损失的部分质量。 3位量化的Qwen得分为45.0，而6位量化版本达到了49.0。 所以是的，较低位数的量化可以让模型适配。 但这并不会让质量权衡消失。 12GB这一档也很有趣。 Qwen3.8-27B UD-IQ2_XXS在16K下适配，并且仍然得分90.8。 但8GB是情况变得糟糕的地方。 在这个特定综合指标上，没有任何密集模型能在16K下完全驻留。 还有一个关于Q4_K_M的陷阱。 Qwen3.8-27B Q4_K_M模型文件只有15.9GB，所以你可能会认为它在16GB显卡上应该没问题。 但在16K上下文下并非如此。 峰值使用量达到了17.3GB。 这就是“模型适配”和“工作负载适配”之间的区别。 如果你VRAM不足，缩短上下文是一种选择。 另一种是改变KV缓存精度。 但这里的测量结果表明，如果性能很重要，应该使用Q8 KV而不是Q4 KV。Q4 KV根据模型不同，可能会损失大约17–29%的解码速度。