Gemma 2 是一系列由 Google DeepMind 开发的开放权重大型语言模型。它于 2024 年发布，基于早期的 Gemma 1 系列构建，在多种规模下提供了改进的性能和效率。这些模型旨在用于研究和商业用途，其权重在宽松许可下公开可用。Gemma 2 变体已出现在公开排行榜上，包括 2B、9B 和 27B 参数版本，其中 9B 和 27B 模型常与更大的专有系统进行比较。
Gemma 2 系列以其架构创新而著称，包括在较大模型中使用带有局部滑动窗口注意力的多头注意力，并注重高效的训练和推理。这些模型在多样化的文本语料库上进行训练，强调多语言能力和指令遵循。截至 2024 年底，Gemma 2 模型可通过 Google Cloud、Amazon Web Services 及其他云平台获取，也可用于本地部署。
架构与训练
Gemma 2 模型基于 Transformer 架构，并针对效率进行了特定增强。27B 模型结合了全局和局部注意力，在保持长上下文理解的同时减少了内存占用。所有变体均采用层归一化和残差连接以确保训练稳定。训练过程使用多种数据源，包括网页文本、书籍和代码，并侧重于高质量过滤。
这些模型使用Adam和SGD变体进行训练，并采用包含预热和余弦衰减的学习率调度。应用梯度裁剪以防止不稳定。27B 模型在由TSMC制造芯片组成的大型集群上训练，但具体硬件细节未公开披露。训练数据包含多种语言，其中很大一部分来自英语和其他主要语言。
发布与变体
Gemma 2 以三种主要规模发布：2B、9B 和 27B 参数。9B 和 27B 模型提供基础版和指令调优版，而 2B 模型主要用于轻量级应用。指令调优变体使用RLHF和其他对齐技术进行微调，以提高有用性和安全性。这些模型在 Gemma 许可下分发，该许可允许商业使用，但对某些高风险应用有限制。
发布内容包括预训练检查点和分词器，并支持 TensorFlow 和 PyTorch 等框架。27B 模型在 MMLU 和 HumanEval 等基准测试中表现出色，通常超越其他组织类似规模的模型。特别是 9B 模型，因其效率而受到关注，在需要较少计算资源的同时实现了与更大模型相当的性能。
性能与基准测试
Gemma 2 模型已在各种公开基准测试中进行了评估，包括AI推理、编码和多语言任务。27B 模型在 MMLU（大规模多任务语言理解）和 GSM8K（小学数学）上得分较高，而 9B 模型在 HumanEval 等编码基准测试中表现强劲。在公开排行榜上，Gemma 2 变体位列顶级开放权重模型之中，在某些任务上通常优于OpenAI旧版 GPT-3.5 和Anthropic的 Claude 2。
这些模型专为高效推理而设计，支持量化和剪枝技术。2B 模型可在边缘设备上运行，而 9B 和 27B 模型适用于云部署。截至 2024 年，Gemma 2 已集成到各种生成式AI平台中，包括 Hugging Face（尽管不在提供的列表中，但它是常见平台）和 Groq 的快速推理硬件。
生态系统与采用
Gemma 2 已在学术界和工业界得到广泛采用。研究人员使用这些模型进行特定领域任务的微调，例如用于科学发现的机器学习或用于医疗应用的深度学习。三星电子和 Intel 等公司已探索将 Gemma 2 集成到其产品中，但具体部署未公开详细说明。
这些模型可通过主要云提供商获取，包括 Microsoft Azure 和 Oracle Cloud，以及本地解决方案。开放权重的特性允许定制，社区已为专门用例生成了大量微调变体。Gemma 2 的发布推动了开放权重模型挑战专有系统的更广泛趋势，特别是在神经网络研究社区中。
局限性与未来方向
尽管有其优势，Gemma 2 仍存在局限性，包括训练数据中的潜在偏差和偶尔的事实错误。在复杂推理任务中，这些模型不如最大的专有系统（如 OpenAI 的 GPT-4）强大。然而，其效率和开放性使其对许多应用具有吸引力。截至 2024 年，Google DeepMind 继续迭代 Gemma 系列，未来版本预计将纳入更先进的技术，如多头注意力变体和改进的对齐方法。
Gemma 2 的发布也引发了关于训练大型模型对环境影响的讨论，但具体能耗数据未公开披露。这些模型旨在比前代更高效，其中 2B 变体所需资源极少。总体而言，Gemma 2 代表了在使高质量语言模型更广泛可及方面迈出的重要一步。