Guía de Ajuste de VRAM: Puntos de Referencia de Cuantización de LLM Local para GPUs de 8-32GB

Una GPU de 16GB puede ejecutar un modelo local sorprendentemente serio. Revisé 38 modelos y cuantizaciones y medí el uso máximo real de VRAM con un prompt de 16K, luego agregué 768 MiB de margen para ver qué cabe realmente en tarjetas de 8, 12, 16, 24 y 32GB. Los resultados hacen que las compensaciones de VRAM sean bastante interesantes. En una tarjeta de 16GB: Qwen3.8-27B UD-IQ3_XXS 92.7% puntuación del tablero 45.0 GPQA 12.8GB pico Qwen3.8-27B UD-IQ2_M 91.5% 11.3GB pico Qwen3.8-27B UD-IQ2_XXS 90.8% 10.1GB pico Gemma 4 12B Q6_K 87.6% 11.6GB pico gpt-oss-20b Q4_K_M 87.4% 14.5GB pico La parte sorprendente es que un Qwen de 27B fuertemente cuantizado sigue puntuando alrededor de 5 puntos más que estos modelos más pequeños en la métrica del tablero. Pero hay una trampa. El benchmark más difícil GPQA-Diamond expone parte de la calidad perdida al reducir la cuantización. El Qwen de 3 bits puntúa 45.0, mientras que la versión de 6 bits alcanza 49.0. Así que sí, una cuantización de menor bit puede hacer que el modelo quepa. No hace que la compensación de calidad desaparezca. El nivel de 12GB también es interesante. El Qwen3.8-27B UD-IQ2_XXS cabe a 16K y aún puntúa 90.8. Pero 8GB es donde las cosas se ponen feas. Nada denso en este tablero en particular cabe completamente residente a 16K. Y hay otra trampa con Q4_K_M. El archivo del modelo Qwen3.8-27B Q4_K_M tiene solo 15.9GB, así que podrías asumir que debería estar bien en una tarjeta de 16GB. No a un contexto de 16K. El uso máximo alcanza 17.3GB. Esa es la diferencia entre “el modelo cabe” y “la carga de trabajo cabe”. Si te estás quedando sin VRAM, acortar el contexto es una opción. Otra es cambiar la precisión de la caché KV. Pero las mediciones aquí sugieren usar KV Q8 en lugar de KV Q4 si el rendimiento importa. KV Q4 puede costar aproximadamente 17–29% de la velocidad de decodificación dependiendo del modelo.