VRAM-Anpassungsleitfaden: Lokale LLM-Quantisierungs-Benchmarks für 8-32GB GPUs

Eine 16GB GPU kann ein überraschend ernstzunehmendes lokales Modell ausführen. Ich habe 38 Modelle und Quantisierungen durchgetestet und den tatsächlichen Spitzenwert der VRAM-Nutzung bei einem 16K-Prompt gemessen, dann 768 MiB Spielraum hinzugefügt, um zu sehen, was wirklich auf 8, 12, 16, 24 und 32GB Karten passt. Die Ergebnisse machen die VRAM-Kompromisse ziemlich interessant. Auf einer 16GB Karte: Qwen3.8-27B UD-IQ3_XXS 92.7% Board-Score 45.0 GPQA 12.8GB Spitze Qwen3.8-27B UD-IQ2_M 91.5% 11.3GB Spitze Qwen3.8-27B UD-IQ2_XXS 90.8% 10.1GB Spitze Gemma 4 12B Q6_K 87.6% 11.6GB Spitze gpt-oss-20b Q4_K_M 87.4% 14.5GB Spitze Das Verrückte daran ist, dass ein stark quantisiertes 27B Qwen beim Board-Metrik immer noch etwa 5 Punkte höher abschneidet als diese kleineren Modelle. Aber es gibt einen Haken. Der schwierigere GPQA-Diamond-Benchmark legt einen Teil der Qualität offen, die durch das Herunterdrücken der Quantisierung verloren geht. Das 3-Bit-Qwen erreicht 45.0, während die 6-Bit-Version 49.0 erreicht. Also ja, eine Quantisierung mit niedrigeren Bits kann das Modell passend machen. Sie lässt den Qualitätskompromiss nicht verschwinden. Die 12GB-Klasse ist ebenfalls interessant. Das Qwen3.8-27B UD-IQ2_XXS passt bei 16K und erreicht immer noch 90.8. Aber bei 8GB wird es unschön. Nichts Dichtes auf diesem speziellen Board passt vollständig resident bei 16K. Und es gibt noch eine weitere Falle mit Q4_K_M. Die Modelldatei von Qwen3.8-27B Q4_K_M ist nur 15.9GB groß, also könnte man annehmen, dass sie auf einer 16GB Karte problemlos laufen sollte. Nicht bei 16K Kontext. Der Spitzenwert der Nutzung erreicht 17.3GB. Das ist der Unterschied zwischen "das Modell passt" und "die Arbeitslast passt". Wenn dir der VRAM ausgeht, ist das Verkürzen des Kontexts eine Option. Eine andere ist das Ändern der KV-Cache-Präzision. Aber die Messungen hier deuten darauf hin, dass Q8 KV anstelle von Q4 KV verwendet werden sollte, wenn Leistung wichtig ist. Q4 KV kann je nach Modell etwa 17-29% der Decodierungsgeschwindigkeit kosten.