VRAM फिटिंग गाइड: 8-32GB GPU के लिए लोकल LLM क्वांटाइजेशन बेंचमार्क

एक 16GB GPU एक आश्चर्यजनक रूप से गंभीर लोकल मॉडल चला सकता है। मैंने 38 मॉडल और क्वांटाइजेशन की जांच की और 16K प्रॉम्प्ट पर वास्तविक पीक VRAM उपयोग मापा, फिर यह देखने के लिए 768 MiB हेडरूम जोड़ा कि 8, 12, 16, 24 और 32GB कार्ड पर वास्तव में क्या फिट बैठता है। परिणाम VRAM ट्रेडऑफ को काफी दिलचस्प बनाते हैं। 16GB कार्ड पर: Qwen3.8-27B UD-IQ3_XXS 92.7% बोर्ड स्कोर 45.0 GPQA 12.8GB पीक Qwen3.8-27B UD-IQ2_M 91.5% 11.3GB पीक Qwen3.8-27B UD-IQ2_XXS 90.8% 10.1GB पीक Gemma 4 12B Q6_K 87.6% 11.6GB पीक gpt-oss-20b Q4_K_M 87.4% 14.5GB पीक सबसे अजीब बात यह है कि भारी क्वांटाइज्ड 27B Qwen फिर भी बोर्ड मीट्रिक पर इन छोटे मॉडलों से लगभग 5 अंक अधिक स्कोर कर रहा है। लेकिन एक पकड़ है। कठिन GPQA-Diamond बेंचमार्क क्वांटाइजेशन को कम करने से खोई गई कुछ गुणवत्ता को उजागर करता है। 3-बिट Qwen 45.0 स्कोर करता है, जबकि 6-बिट संस्करण 49.0 तक पहुंचता है। तो हां, कम-बिट क्वांटाइजेशन मॉडल को फिट करवा सकता है। यह गुणवत्ता ट्रेडऑफ को गायब नहीं करता। 12GB टियर भी दिलचस्प है। Qwen3.8-27B UD-IQ2_XXS 16K पर फिट बैठता है और फिर भी 90.8 स्कोर करता है। लेकिन 8GB वह जगह है जहां चीजें बदसूरत हो जाती हैं। इस विशेष बोर्ड पर कुछ भी डेंस 16K पर पूरी तरह से रेजिडेंट फिट नहीं होता। और Q4_K_M के साथ एक और जाल है। Qwen3.8-27B Q4_K_M मॉडल फ़ाइल केवल 15.9GB है, इसलिए आप मान सकते हैं कि यह 16GB कार्ड पर ठीक होना चाहिए। 16K कॉन्टेक्स्ट पर नहीं। पीक उपयोग 17.3GB तक पहुंचता है। यह "मॉडल फिट बैठता है" और "वर्कलोड फिट बैठता है" के बीच का अंतर है। यदि आप VRAM से बाहर हो रहे हैं, तो कॉन्टेक्स्ट को छोटा करना एक विकल्प है। दूसरा है KV कैश प्रिसिजन को बदलना। लेकिन यहां के माप बताते हैं कि प्रदर्शन मायने रखता है तो Q4 KV के बजाय Q8 KV का उपयोग करें। Q4 KV मॉडल के आधार पर डिकोड गति का लगभग 17-29% खर्च कर सकता है।