Guia de Ajuste de VRAM: Benchmarks de Quantização de LLM Local para GPUs de 8-32GB

Uma GPU de 16GB pode rodar um modelo local surpreendentemente sério. Eu analisei 38 modelos e quantizações e medi o pico real de uso de VRAM com um prompt de 16K, depois adicionei 768 MiB de margem para ver o que realmente cabe em placas de 8, 12, 16, 24 e 32GB. Os resultados tornam os tradeoffs de VRAM bem interessantes. Em uma placa de 16GB: Qwen3.8-27B UD-IQ3_XXS 92.7% de pontuação no board 45.0 GPQA 12.8GB de pico Qwen3.8-27B UD-IQ2_M 91.5% 11.3GB de pico Qwen3.8-27B UD-IQ2_XXS 90.8% 10.1GB de pico Gemma 4 12B Q6_K 87.6% 11.6GB de pico gpt-oss-20b Q4_K_M 87.4% 14.5GB de pico A parte mais impressionante é que um Qwen de 27B com quantização pesada ainda pontua cerca de 5 pontos acima desses modelos menores na métrica do board. Mas tem um porém. O benchmark mais difícil GPQA-Diamond expõe parte da qualidade perdida ao reduzir a quantização. O Qwen de 3 bits pontua 45.0, enquanto a versão de 6 bits chega a 49.0. Então sim, quantização de bits mais baixos pode fazer o modelo caber. Isso não faz o tradeoff de qualidade desaparecer. O nível de 12GB também é interessante. O Qwen3.8-27B UD-IQ2_XXS cabe com 16K e ainda pontua 90.8. Mas 8GB é onde as coisas ficam feias. Nada denso neste board específico cabe totalmente residente com 16K. E tem outra armadilha com o Q4_K_M. O arquivo do modelo Qwen3.8-27B Q4_K_M tem apenas 15.9GB, então você pode assumir que ele deveria caber em uma placa de 16GB. Não com contexto de 16K. O pico de uso chega a 17.3GB. Essa é a diferença entre "o modelo cabe" e "a carga de trabalho cabe". Se você está ficando sem VRAM, encurtar o contexto é uma opção. Outra é mudar a precisão do cache KV. Mas as medições aqui sugerem usar KV Q8 em vez de KV Q4 se o desempenho importa. O KV Q4 pode custar cerca de 17-29% da velocidade de decodificação dependendo do modelo.