Gemma 3 ist eine Familie von Open-Weight-Large Language Models, die von Google DeepMind entwickelt wurde. Die Modelle wurden am 12. März 2025 veröffentlicht und basieren auf derselben Forschung und Technologie wie die Gemini-2.0-Modelle, sind jedoch für Entwickler und Forscher konzipiert, um sie lokal oder auf eigener Infrastruktur auszuführen. Gemma 3 umfasst vier Hauptgrößen – 1B, 4B, 12B und 27B Parameter – jeweils in Basis- und Instruktions-abgestimmten Varianten, mit insgesamt 11 Varianten, die bis Ende 2025 in öffentlichen Benchmark-Snapshots erscheinen.
Die Modelle zeichnen sich durch ihre multimodalen Fähigkeiten aus, da sie sowohl Text- als auch Bildeingaben akzeptieren, und unterstützen ein Kontextfenster von bis zu 128.000 Token. Gemma 3 unterstützt außerdem über 140 Sprachen, eine erhebliche Erweiterung gegenüber früheren Gemma-Versionen. Die Familie positioniert sich als wettbewerbsfähige Open-Weight-Alternative zu Modellen von OpenAI und Anthropic, insbesondere im Bereich unter 30B Parametern.
Architektur und Training
Gemma-3-Modelle verwenden eine Transformer-Architektur mit Multi-Head Attention und integrieren Grouped-Query Attention für Effizienz bei größeren Größen. Die Modelle werden auf einer Mischung aus Webdokumenten, Code und mathematischen Daten trainiert, mit Fokus auf hochwertiger Filterung. Das 27B-Modell verwendet eine SwiGLU-Aktivierungsfunktion und rotierende Positions-Einbettungen. Das Training nutzte Adam mit einem kosinusförmigen Lernratenplan und Gradient-Clipping.
Im Gegensatz zu einigen proprietären Modellen werden die Gewichte von Gemma 3 unter einer permissiven Lizenz veröffentlicht, die kommerzielle Nutzung und Feintuning ermöglicht. Die Instruktions-abgestimmten Varianten wurden mithilfe von RLHF (Reinforcement Learning aus menschlichem Feedback) und überwachtem Feintuning ausgerichtet, mit zusätzlicher Sicherheitsfilterung.
Leistung und Benchmarks
Auf öffentlichen Leaderboards erzielt Gemma 3 27B wettbewerbsfähige Ergebnisse bei Standard-Benchmarks wie MMLU (Massive Multitask Language Understanding), GSM8K (Grundschulmathematik) und HumanEval (Codegenerierung). Stand Mitte 2025 übertrifft das 27B-Instruktionsmodell viele größere proprietäre Modelle bei spezifischen Denkaufgaben, bleibt jedoch bei komplexem mehrstufigem Denken hinter den größten Frontier-Modellen zurück. Die Größen 4B und 12B sind für die Bereitstellung auf Edge-Geräten und Verbraucherhardware optimiert, wobei das 1B-Modell für mobile Anwendungen geeignet ist.
Gemma 3 zeigt außerdem starke Leistungen bei mehrsprachigen Aufgaben, insbesondere bei ressourcenarmen Sprachen. Die Modelle weisen im Vergleich zu Vorgängern eine verbesserte Langkontext-Verarbeitung auf und behalten die Kohärenz über 128K-Token-Eingaben bei.
Bereitstellung und Ökosystem
Gemma 3 ist über mehrere Kanäle verfügbar. Es kann über Google Cloud Vertex AI und Amazon Web Services SageMaker sowie über Groq und SambaNova für Hochgeschwindigkeits-Inferenz genutzt werden. Die Modelle sind mit standardmäßigen Machine-Learning-Frameworks wie Hugging Face Transformers und vLLM kompatibel.
Für die lokale Bereitstellung unterstützt Gemma 3 Quantisierungstechniken wie Pruning und 4-Bit-Quantisierung, wodurch das 27B-Modell auf einer einzelnen High-End-GPU ausgeführt werden kann. Die kleineren Varianten können auf Laptops und Geräten der Raspberry-Pi-Klasse laufen. Google stellt ein Gemma Cookbook mit Beispielen für Feintuning und Bereitstellung bereit.
Sicherheit und verantwortungsvolle Nutzung
Google DeepMind implementierte für Gemma 3 einen mehrschichtigen Sicherheitsansatz. Die Instruktions-abgestimmten Modelle enthalten Sicherheitsfilter, die darauf trainiert sind, schädliche Aufforderungen abzulehnen, und das Unternehmen veröffentlichte eine Modellkarte mit Bewertungen anhand von Sicherheits-Benchmarks. Als Open-Weight-Modell kann Gemma 3 jedoch durch Feintuning so angepasst werden, dass Sicherheitsvorkehrungen entfernt werden – ein Kompromiss, den die Entwickler anerkennen. Die Lizenz enthält ein Verbot der Nutzung der Modelle für bestimmte Hochrisiko-Anwendungen wie Waffenentwicklung oder Überwachung.
Rezeption und Auswirkungen
Gemma 3 erhielt in der KI-Gemeinschaft positive Resonanz für seine Balance aus Leistung und Zugänglichkeit. Unabhängige Bewertungen stellten fest, dass das 27B-Modell bei bestimmten Aufgaben oft die Qualität größerer geschlossener Modelle erreicht oder übertrifft, während es deutlich günstiger in der Ausführung ist. Die Veröffentlichung trug zum wachsenden Trend von Open-Weight-Modellen bei, die proprietäre Systeme herausfordern, neben Bemühungen anderer Organisationen wie Alibaba und AI21 Labs.
Stand Ende 2025 bleibt Gemma 3 eine beliebte Wahl für Forschungs- und Produktionsanwendungen, die On-Premises- oder datenschutzschützende KI erfordern. Sein Nachfolger, Gemma 3n, wurde Ende 2025 angekündigt, aber Gemma 3 wird weiterhin häufig in akademischen und industriellen Umgebungen eingesetzt.