VRAM 적합 가이드: 8-32GB GPU용 로컬 LLM 양자화 벤치마크

16GB GPU는 놀라울 정도로 쓸만한 로컬 모델을 실행할 수 있습니다. 저는 38개의 모델과 양자화(quantization)를 살펴보고 16K 프롬프트에서 실제 최대 VRAM 사용량을 측정한 다음, 768 MiB의 여유를 더해 8, 12, 16, 24, 32GB 카드에 실제로 맞는지 확인했습니다. 그 결과 VRAM 트레이드오프가 꽤 흥미롭게 드러났습니다. 16GB 카드에서: Qwen3.8-27B UD-IQ3_XXS 92.7% 보드 점수 45.0 GPQA 12.8GB 피크 Qwen3.8-27B UD-IQ2_M 91.5% 11.3GB 피크 Qwen3.8-27B UD-IQ2_XXS 90.8% 10.1GB 피크 Gemma 4 12B Q6_K 87.6% 11.6GB 피크 gpt-oss-20b Q4_K_M 87.4% 14.5GB 피크 놀라운 점은 과하게 양자화된 27B Qwen이 여전히 보드 메트릭에서 이 작은 모델들보다 약 5포인트 더 높은 점수를 기록한다는 것입니다. 하지만 여기에는 함정이 있습니다. 더 어려운 GPQA-Diamond 벤치마크는 양자화를 낮추면서 잃는 품질의 일부를 드러냅니다. 3비트 Qwen은 45.0을 기록하는 반면, 6비트 버전은 49.0에 도달합니다. 그래서 그렇습니다, 낮은 비트 양자화는 모델을 맞출 수 있게 해줍니다. 하지만 품질 트레이드오프가 사라지지는 않습니다. 12GB 등급도 흥미롭습니다. Qwen3.8-27B UD-IQ2_XXS는 16K에서 맞고 여전히 90.8을 기록합니다. 하지만 8GB는 상황이 지저분해지는 구간입니다. 이 특정 보드에서 밀집된 모델 중 16K에서 완전히 상주하는 모델은 없습니다. 그리고 Q4_K_M에는 또 다른 함정이 있습니다. Qwen3.8-27B Q4_K_M 모델 파일은 15.9GB에 불과하므로 16GB 카드에서 문제없을 거라고 생각할 수 있습니다. 하지만 16K 컨텍스트에서는 그렇지 않습니다. 최대 사용량이 17.3GB에 도달합니다. 이것이 "모델이 맞는다"와 "워크로드가 맞는다"의 차이입니다. VRAM이 부족하다면 컨텍스트를 줄이는 것이 한 가지 옵션입니다. 또 다른 방법은 KV 캐시 정밀도를 바꾸는 것입니다. 하지만 측정 결과에 따르면 성능이 중요하다면 Q4 KV보다 Q8 KV를 사용하는 것이 좋습니다. Q4 KV는 모델에 따라 디코드 속도를 약 17~29% 정도 떨어뜨릴 수 있습니다.