Gemma是一系列源代码可用的大型语言模型，由Google DeepMind开发。它基于与Gemini系列模型类似的技术，旨在支持Google“让AI惠及所有人”的使命。首个版本于2024年2月发布，随后是2024年6月的Gemma 2、2025年3月的Gemma 3，以及2026年4月的开放权重Gemma 4。Gemma还开发了多种变体，例如视觉语言模型PaliGemma和用于医疗咨询主题的MedGemma模型。
历史
2024年2月，Google推出了Gemma，这是一组源代码可用的LLM，作为Gemini的轻量级版本。初始版本提供两种规模：分别为20亿和70亿参数的神经网络。多家媒体认为这是对Meta等竞争对手发布其AI模型源代码的回应，也标志着Google长期以来保持AI源代码私有的做法发生了转变。
Gemma 2于2024年6月27日发布，Gemma 3于2025年3月12日发布。2026年4月2日，Google以自由开源Apache 2.0许可证发布了Gemma 4。
概述
基于与Gemini系列模型类似的技术，Gemma被Google描述为有助于支持其“让AI惠及所有人”的使命。Google提供了针对特定用例优化的官方Gemma变体，例如用于医疗分析的MedGemma。
自发布以来，Gemma模型的下载量已超过1.5亿次，Hugging Face上提供了70,000个变体。
Gemma 3提供10亿、40亿、120亿和270亿参数规模，支持超过140种语言。作为多模态模型，它们支持文本和图像输入。Google还提供Gemma 3n，这是针对智能手机、笔记本电脑和平板电脑等消费设备执行优化的较小模型。
最新一代模型是Gemma 4，于2026年4月2日发布。它提供四种规模：Effective 2B（E2B）、Effective 4B（E4B）、26B混合专家（MoE）和31B密集模型。Gemma 4支持多模态输入，包括所有模型的图像和视频，以及E2B和E4B模型的原生音频输入。Gemma 4的31B密集变体在Arena的文本排行榜上排名第三，26B变体排名第六。Gemma 4 12B于2026年6月3日发布，采用统一多模态架构，无需编码器即可处理图像和音频。
架构
Gemma 3基于仅解码器的transformer架构，采用分组查询注意力（GQA）和SigLIP视觉编码器。除Gemma 3 1B的上下文长度为32K外，每个模型的上下文长度均为128K。
还提供了使用量化感知训练（QAT）微调的量化版本，可显著改善内存使用，但对准确性和精度有一定负面影响。
变体
Google开发了针对特定目的（如医疗分析或编程）设计的Gemma模型官方变体。这些包括：
- CodeGemma（2B和7B）：CodeGemma是一组专为代码补全和通用编码用途设计的模型。它支持多种编程语言，包括Python、Java、C++等。
- DolphinGemma（约400M）：与佐治亚理工学院和Wild Dolphin Project的研究人员合作开发，DolphinGemma旨在通过音频分析更好地理解海豚交流。然而，目前尚未公开发布任何模型或数据。
- MedGemma（4B和27B）：同样基于Gemma 3，MedGemma专为图像分析等医疗应用设计。但Google也指出，MedGemma“尚未达到临床级别”。印度古尔冈的Tap Health开发人员已使用MedGemma来增强AI辅助糖尿病管理应用。
- PaliGemma（3B、10B和28B，分别基于Gemma 2的2B、9B和27B）：用于机器视觉和图像分析。
- ShieldGemma 2（4B）：基于Gemma 3系列，ShieldGemma旨在识别和过滤暴力、危险和色情图像。
- TranslateGemma（4B、12B和27B）：用于机器翻译。
注意：开放权重模型可以在推理时重新调整上下文长度。对于Gemma 1、Gemma 2、PaliGemma和PaliGemma 2，代价是kv缓存大小相对于上下文窗口大小线性增加。对于Gemma 3，由于局部和全局注意力的分离，增长曲线有所改善。对于RecurrentGemma，在2,048个token之后内存使用保持不变。
参见
- 大型语言模型列表
- 开源人工智能软件列表
参考文献
外部链接
- 官方网站