Guide d'ajustement de la VRAM : Benchmarks de quantification des LLM locaux pour GPU de 8 à 32 Go

Une carte GPU de 16 Go peut exécuter un modèle local étonnamment sérieux. J'ai passé en revue 38 modèles et quantifications et mesuré l'utilisation réelle maximale de VRAM avec une invite de 16K, puis j'ai ajouté 768 Mio de marge pour voir ce qui tient réellement sur des cartes de 8, 12, 16, 24 et 32 Go. Les résultats rendent les compromis de VRAM assez intéressants. Sur une carte de 16 Go : Qwen3.8-27B UD-IQ3_XXS 92,7 % de score au classement 45,0 GPQA 12,8 Go de pic Qwen3.8-27B UD-IQ2_M 91,5 % 11,3 Go de pic Qwen3.8-27B UD-IQ2_XXS 90,8 % 10,1 Go de pic Gemma 4 12B Q6_K 87,6 % 11,6 Go de pic gpt-oss-20b Q4_K_M 87,4 % 14,5 Go de pic Le plus surprenant, c'est qu'un Qwen 27B fortement quantifié obtient encore environ 5 points de plus que ces modèles plus petits sur la métrique du classement. Mais il y a un piège. Le benchmark plus difficile GPQA-Diamond expose une partie de la qualité perdue en poussant la quantification vers le bas. Le Qwen en 3 bits obtient 45,0, tandis que la version en 6 bits atteint 49,0. Donc oui, une quantification en bits inférieurs peut faire tenir le modèle. Cela ne fait pas disparaître le compromis de qualité. Le palier de 12 Go est aussi intéressant. Le Qwen3.8-27B UD-IQ2_XXS tient à 16K et obtient toujours 90,8. Mais c'est à 8 Go que les choses deviennent compliquées. Aucun modèle dense sur ce tableau particulier ne tient entièrement en mémoire à 16K. Et il y a un autre piège avec Q4_K_M. Le fichier du modèle Qwen3.8-27B Q4_K_M ne fait que 15,9 Go, donc on pourrait supposer qu'il devrait être parfait sur une carte de 16 Go. Pas avec un contexte de 16K. L'utilisation maximale atteint 17,3 Go. C'est la différence entre « le modèle tient » et « la charge de travail tient ». Si vous manquez de VRAM, raccourcir le contexte est une option. Une autre consiste à changer la précision du cache KV. Mais les mesures ici suggèrent d'utiliser un KV en Q8 plutôt qu'en Q4 si la performance compte. Le KV en Q4 peut coûter environ 17 à 29 % de la vitesse de décodage selon le modèle.