Gemma ist eine Serie von quelloffenen Large Language Models, die von Google DeepMind entwickelt wurde. Sie basiert auf ähnlichen Technologien wie die Gemini-Serie von Modellen und soll Googles Mission unterstützen, „KI für alle hilfreich zu machen“. Die erste Version wurde im Februar 2024 veröffentlicht, gefolgt von Gemma 2 im Juni 2024, Gemma 3 im März 2025 und dem quelloffenen Gemma 4 im April 2026. Es wurden auch Varianten von Gemma entwickelt, wie das Vision-Language-Modell PaliGemma und das Modell MedGemma für medizinische Beratungsthemen.
Geschichte
Im Februar 2024 stellte Google Gemma vor, eine Sammlung von quelloffenen LLMs, die als leichtgewichtige Version von Gemini dienen. Die erste Veröffentlichung umfasste zwei Größen: neuronale Netze mit zwei bzw. sieben Milliarden Parametern. Mehrere Publikationen sahen dies als Reaktion auf Wettbewerber wie Meta, die Quellcode für ihre KI-Modelle veröffentlichten, sowie als Abkehr von Googles langjähriger Praxis, den Quellcode seiner KI privat zu halten.
Gemma 2 wurde am 27. Juni 2024 veröffentlicht, und Gemma 3 am 12. März 2025. Am 2. April 2026 veröffentlichte Google Gemma 4 unter der freien und Open-Source-Lizenz Apache 2.0.
Überblick
Basierend auf ähnlichen Technologien wie die Gemini-Serie von Modellen, wird Gemma von Google als Unterstützung seiner Mission beschrieben, „KI für alle hilfreich zu machen“. Google bietet offizielle Gemma-Varianten an, die für spezifische Anwendungsfälle optimiert sind, wie MedGemma für medizinische Analysen.
Seit seiner Veröffentlichung wurden Gemma-Modelle über 150 Millionen Mal heruntergeladen, mit 70.000 Varianten, die auf Hugging Face verfügbar sind.
Gemma 3 wurde in Größen von 1, 4, 12 und 27 Milliarden Parametern angeboten, mit Unterstützung für über 140 Sprachen. Als multimodale Modelle unterstützen sie sowohl Text- als auch Bildeingaben. Google bietet auch Gemma 3n an - kleinere Modelle, die für die Ausführung auf Verbrauchergeräten wie Smartphones, Laptops und Tablets optimiert sind.
Die neueste Generation von Modellen ist Gemma 4, veröffentlicht am 2. April 2026. Sie ist in vier Größen erhältlich: Effective 2B (E2B), Effective 4B (E4B), 26B Mixture of Experts (MoE) und 31B Dense. Gemma 4 unterstützt multimodale Eingaben, einschließlich Bildern und Videos bei allen Modellen, mit nativer Audioeingabe bei den Modellen E2B und E4B. Die 31B-Dense-Variante von Gemma 4 erreichte den dritten Platz auf Arenas Text-Bestenliste, und die 26B-Variante erreichte den sechsten Platz. Gemma 4 12B wurde am 3. Juni 2026 veröffentlicht und verfügt über eine einheitliche multimodale Architektur, die Bilder und Audio ohne Encoder verarbeitet.
Architektur
Gemma 3 basiert auf einer Decoder-only-Transformer-Architektur mit Grouped-Query Attention (GQA) und dem SigLIP-Vision-Encoder. Jedes Modell hat eine Kontextlänge von 128K, mit Ausnahme von Gemma 3 1B, das eine Kontextlänge von 32K hat.
Es sind auch quantisierte Versionen verfügbar, die mit quantisierungsbewusstem Training (QAT) feinabgestimmt wurden und erhebliche Verbesserungen bei der Speichernutzung bieten, jedoch mit einigen negativen Auswirkungen auf Genauigkeit und Präzision.
Varianten
Google entwickelt offizielle Varianten der Gemma-Modelle, die für spezifische Zwecke wie medizinische Analysen oder Programmierung konzipiert sind. Dazu gehören:
- CodeGemma (2B und 7B): CodeGemma ist eine Gruppe von Modellen, die für Code-Vervollständigung sowie allgemeine Programmierzwecke entwickelt wurden. Es unterstützt mehrere Programmiersprachen, darunter Python, Java, C++ und weitere.
- DolphinGemma (ca. 400M): In Zusammenarbeit mit Forschern des Georgia Tech und des Wild Dolphin Project entwickelt, zielt DolphinGemma darauf ab, die Kommunikation von Delfinen durch Audioanalyse besser zu verstehen. Es wurden jedoch keine Modelle oder Daten öffentlich veröffentlicht.
- MedGemma (4B und 27B): Ebenfalls basierend auf Gemma 3, ist MedGemma für medizinische Anwendungen wie Bildanalyse konzipiert. Google weist jedoch auch darauf hin, dass MedGemma „noch nicht klinisch einsatzbereit“ ist. Entwickler bei Tap Health in Gurgaon, Indien, haben MedGemma verwendet, um KI-gestützte Diabetes-Management-Anwendungen zu verbessern.
- PaliGemma (3B, 10B und 28B, basierend auf Gemma 2 mit 2B, 9B bzw. 27B): Für maschinelles Sehen und Bildanalyse.
- ShieldGemma 2 (4B): Basierend auf der Gemma-3-Familie, ist ShieldGemma darauf ausgelegt, gewalttätige, gefährliche und sexuell explizite Bilder zu identifizieren und zu filtern.
- TranslateGemma (4B, 12B und 27B): Für maschinelle Übersetzung.
Hinweis: Open-Weight-Modelle können ihre Kontextlänge zur Inferenzzeit neu skalieren. Bei Gemma 1, Gemma 2, PaliGemma und PaliGemma 2 besteht die Kosten darin, dass die KV-Cache-Größe linear zur Kontextfenstergröße ansteigt. Bei Gemma 3 gibt es eine verbesserte Wachstumskurve aufgrund der Trennung von lokaler und globaler Aufmerksamkeit. Bei RecurrentGemma bleibt die Speichernutzung nach 2.048 Tokens unverändert.
Siehe auch
- Liste von Large Language Models
- Listen von Open-Source-KI-Software
Referenzen
Externe Links
- Offizielle Website