Google PaLM 2 是由 Google AI 开发的大型语言模型（LLM），于 2023 年 5 月在年度 Google I/O 主题演讲中宣布。它是 Pathways 语言模型（PaLM）的继任者，后者是一个 5400 亿参数的密集解码器专用 transformer 模型，于 2022 年 4 月首次推出。据报道，PaLM 2 是一个 3400 亿参数的模型，在 3.6 万亿个 token 上训练，相比其前身的 7800 亿个 token 有显著增加。该模型为 Google 的对话式 AI 服务 Bard 以及其他 Google AI 产品提供支持，具有增强的多语言能力、改进的推理能力和更好的编码熟练度。
PaLM 2 建立在 PaLM 的架构基础上，后者被设计为密集解码器专用 transformer。最初的 PaLM 模型在常识推理、算术推理、笑话解释、代码生成和翻译等任务上表现出色。当与思维链提示结合时，PaLM 在需要多步推理的数据集上取得了显著更好的结果，包括文字问题和基于逻辑的问题。PaLM 2 扩展了这些能力，特别是在多语言环境中，使其能够以更高的准确性理解和生成更广泛语言范围内的文本。
开发与公告
最初的 PaLM 模型于 2022 年 4 月首次宣布，但一直保持私有状态，直到 2023 年 3 月 Google 为 PaLM 和其他几项技术推出了 API。该 API 最初仅向有限数量的开发者开放，这些开发者加入了等待名单，之后才向公众发布。PaLM 2 于 2023 年 5 月在 Google I/O 上亮相，标志着 Google 在 Generative AI 努力中的一个重要里程碑。该公告强调了 PaLM 2 相比其前身在效率和性能上的改进，并重点关注其在 Google 产品生态系统中的实际应用。
Google 和 DeepMind 还开发了 PaLM 的专门版本。Med-PaLM 是 PaLM 540B 在医学数据上微调的版本，在医学问答基准测试中优于以前的模型。它是第一个在美国医学执照考试问题中获得及格分数的模型，在提供准确答案的同时还提供推理和自我评估。另一个变体 PaLM-E 使用视觉 transformer 扩展了 PaLM，创建了一个用于机器人操作的视觉语言模型，无需重新训练或微调。2023 年 6 月，Google 宣布了用于语音到语音翻译的 AudioPaLM，它使用 PaLM-2 架构和初始化。
架构与训练
PaLM 2 是一个密集解码器专用 Transformer (architecture) 模型，与其前身类似，但训练语料库更大。最初的 PaLM 在 7800 亿个 token 的高质量语料库上进行预训练，包括过滤后的网页、书籍、维基百科文章、新闻文章、来自 GitHub 上开源仓库的源代码以及社交媒体对话。社交媒体对话部分占语料库的 50%，有助于增强对话能力。PaLM 2 的训练数据扩展到 3.6 万亿个 token，从而实现了更好的泛化和多语言性能。
最初的 PaLM 540B 在两个 TPU v4 Pod 上训练，每个 Pod 有 3,072 个 TPU v4 芯片连接到 768 个主机，结合了模型并行和数据并行。这种配置总计 6,144 个芯片，标志着在该规模下 LLM 实现的最高训练效率记录，硬件 FLOPs 利用率为 57.8%。PaLM 2 的训练细节公开文档较少，但它可能使用了类似的基础设施，反映了 Google 在 Google Cloud 和专用硬件上的投资。
能力与应用
PaLM 2 旨在擅长多语言任务、推理和编码。它为 Google 的对话式 AI Bard 提供支持，并集成到 Google Workspace 和 Google Cloud 的 AI 服务等其他产品中。该模型改进的多语言能力使其能够比早期模型更有效地处理跨语言的翻译、摘要和问答。其推理能力通过思维链提示等技术得到增强，从而实现多步问题解决。
在编码方面，PaLM 2 支持多种编程语言的代码生成和调试，使其成为开发者的工具。该模型的多功能性在从 Machine learning 研究到企业解决方案的应用中得到了体现。Google 已将 PaLM 2 定位为其 AI 生态系统的基础模型，与 OpenAI 和 Anthropic 的产品竞争。
与其他模型的比较
PaLM 2 的 3400 亿参数使其处于 Large language model 的上层，尽管比一些竞争对手小，例如 OpenAI 的 GPT-4，据报道后者在专家混合架构中拥有超过一万亿参数。然而，PaLM 2 在 3.6 万亿个 token 上的训练及其对效率的关注使其能够在基准测试中取得有竞争力的表现。该模型的架构基于 Transformer (architecture) 框架，与其他 LLM 类似，但 Google 专有的训练技术和基础设施使其在可扩展性方面具有明显优势。
与其前身 PaLM 相比，PaLM 2 在多语言理解和推理方面提供了显著改进，并降低了推理的计算需求。这使其更易于在实际应用中部署。Google 将 PaLM 2 集成到 Bard 和 Google Cloud 的 Vertex AI 等产品中，扩大了其覆盖范围，使其成为 Artificial intelligence 领域的关键参与者。
影响与反响
2023 年 5 月 PaLM 2 的发布引起了 AI 社区和行业观察者的关注。它展示了 Google 在推进 Deep learning 和 Neural network 技术方面的承诺，特别是在生成式 AI 的竞争领域。该模型改进的多语言能力被视为使 AI 更易于非英语使用者访问的一步，其编码能力也吸引了开发者。
然而，PaLM 2 也引发了关于训练大型模型对环境影响的质疑，尽管 Google 强调了效率改进。该模型集成到 Bard 中引发了关于 AI 伦理的讨论，包括偏见和错误信息问题，这些是 Generative AI 系统的常见担忧。Google 已实施安全措施，但更广泛的影响仍是一个争论话题。
未来方向
在 PaLM 2 之后，Google 继续发展其 AI 模型。2023 年末，Google 宣布了 Gemini，作为 PaLM 2 的继任者，它集成了多模态能力，旨在更强大和多功能。PaLM 2 的架构和训练方法影响了后续发展，包括 Multi-Head Attention 和 Positional Encoding 技术的改进。该模型的遗产体现在 Google 持续推动 Artificial intelligence 边界的努力中，应用领域从医疗保健到机器人技术。
截至 2025 年，PaLM 2 仍然是 LLM 历史上的一个重要里程碑，代表了从 LaMDA 等早期模型到 Gemini 等更先进系统之间的桥梁。它对多语言 AI 和高效训练的贡献对该领域产生了持久影响，其原则继续为 Google DeepMind 及其他地方的研究提供信息。
另请参阅
- LaMDA，PaLM 的前身
- Gemini，PaLM 的继任者
- Chinchilla，一个相关的 LLM
- Transformer (architecture)，底层架构
- Google Cloud，训练基础设施
参考文献
- Google AI 博客，2023 年 5 月，PaLM 2 公告
- 维基百科，PaLM（Pathways 语言模型），访问于 2025 年
- Google Research，PaLM：使用 Pathways 扩展语言建模，2022 年