Llama 2 是由 Meta AI 与 微软 合作，于 2023 年 7 月 18 日发布的大语言模型（大语言模型，LLM）家族。与第一版 Llama 仅限于学术研究人员在非商业许可下使用不同，Llama 2 向公众开放，提供了模型权重，并附带允许许多商业用途的许可证。此次发布包括基础模型和指令微调聊天版本，参数量分别为 70 亿、130 亿和 700 亿。
Llama 2 的发布是 生成式 AI 领域的一件大事，因为它为 GPT-3 和 ChatGPT 等专有模型提供了一个具有竞争力的开放权重替代方案。它还引发了关于 AI 中“开源”含义的争论，因为 Meta 的许可证包含使用限制，一些人认为这偏离了开源定义。此次发布影响了后续开放权重模型的发展，包括 Meta 自家的 Llama 3，以及来自 Mistral AI 和 AI21 Labs 等公司的其他模型。
背景
Llama 2 的开发是在大语言模型快速发展的背景下进行的。在 2020 年 GPT-3 发布后，研究人员发现，将模型扩展到更大规模往往能显著提升推理和代码生成等能力。2022 年 11 月 ChatGPT 的推出将大语言模型带入了广泛的公众视野，并引发了全行业开发和改进这些模型的竞赛。
Meta 的初期反应较为谨慎。在一次采访中，首席 AI 科学家 杨立昆 指出，大语言模型最适合辅助写作，而非充当通用推理引擎。然而，ChatGPT 的成功以及随后在 2023 年 3 月发生的 第一版 Llama 模型泄露事件，促使 Meta 重新评估其战略。通过公开 Llama 2，Meta 旨在参与竞争，同时培育外部开发者和研究者的生态系统。
发布公告
Meta 于 2023 年 7 月 18 日通过一篇博客文章和一篇题为“Llama 2：开放基础与微调聊天模型”的论文宣布了 Llama 2。此次发布伴随与微软的合作，微软将 Llama 2 提供在其 Azure 云平台和 Windows 操作系统上。Meta 还提供了一份责任使用指南和一份社区许可证，允许商业使用，但附带一些条款，例如不得使用该模型改进其他大语言模型。
公告强调，Llama 2 的训练数据比其前代 Llama 1 多 40%，并且聊天版本使用了基于人类反馈的强化学习（RLHF）进行微调，这是一种类似于 ChatGPT 所用技术的方法。Meta 报告称，700 亿参数的聊天模型在某些基准测试上优于 ChatGPT，尽管这些说法后来引发了争议。
模型架构与训练
Llama 2 保留了与 Llama 1 相同的基于 Transformer 的架构，但在训练方面进行了调整。这些模型使用相同的分词器和参数量，但训练数据来自 2 万亿个公开网络数据 token，而 Llama 1 仅为 1.4 万亿。训练数据包括英语文本、代码和其他来源的混合内容。
选择了 70 亿、130 亿和 700 亿三种规模，以适应不同的硬件和使用场景。70 亿和 130 亿模型可以在消费级 GPU 上运行，而 700 亿模型则需要更大量的计算资源。Meta 还发布了调试版和量化版，以方便本地推理。
对于聊天微调，Meta 采用了多阶段流程：先对人类演示进行监督微调，然后使用近端策略优化进行 RLHF，最后进行拒绝采样。该公司还在聊天模型中实施了安全措施，以拒绝有害提示，尽管这些措施并非总是有效。
开放许可证与争议
Llama 2 的许可证被誉为相比 Llama 1 向前迈进了一步，Llama 1 当时仅限于学术研究人员使用。然而，该许可证并未获得维护官方开源定义的开源促进会（OSI）的批准。OSI 认为，限制使用 Llama 2 改进其他大语言模型，以及对大型公司的用户数量限制，违反了开源原则，这些原则要求不得有领域限制，也不得歧视任何个人或群体。
Meta 继续使用“开源”一词来描述 Llama 2，这遭到了一些开发者和研究者的批评，他们认为这个词被稀释了。随着后续版本的发布，这一争论愈演愈烈，因为 Meta 的 Llama 3 和其他模型使用了类似的许可证。
尽管存在争议，但 Llama 2 权重的可用性使其应用范围广泛。研究人员可以针对特定领域微调模型，初创公司也可以在遵守可接受使用政策的前提下，无需支付许可费即可构建商业产品。
反响与影响
对 Llama 2 的最初反应褒贬不一。许多人称赞 Meta 发布了一个限制较少的强大模型，将其与 Stable Diffusion 在图像生成领域的影响相提并论。开发者迅速创建了用于编码、聊天和其他用途的微调版本。该模型被集成到 Hugging Face（尽管未提供 slug）以及 AWS 和 Google Cloud 等平台。
然而，一些批评者指出，Llama 2 的性能，尤其是 700 亿模型，并不总能与 GPT-4 或 PaLM 2 等专有模型匹敌。独立基准测试显示，Llama 2 700 亿模型在许多任务上与 GPT-3.5 相当，但在推理和事实性方面落后于最先进水平。
此次发布也对更广泛的 AI 社区产生了影响。它促使其他公司，如 Mistral AI，发布开放权重模型，并促进了大语言模型部署去中心化生态系统的增长。此外，Llama 2 在 微软 Azure 上的可用性，使企业更容易采用开放权重 AI。
与 Llama 1 及后续版本的比较
Llama 2 与 Llama 1 在几个关键方面有所不同：它对商业使用开放，包含聊天微调版本，并且训练数据更多。然而，架构基本未变，一些专家指出，改进更多是增量式的，而非革命性的。
后续发布基于 Llama 2 进行构建。2023 年 8 月，Meta 发布了 Code Llama，这是专门用于代码生成的 Llama 2 微调版本，提供 70 亿、130 亿、340 亿和 700 亿参数规模。2024 年 4 月，Meta 推出了 Llama 3，包含 80 亿和 700 亿参数规模，使用更大的训练数据集，并表现出更优的性能。Llama 3 之后是 Llama 4，于 2025 年 4 月发布，并成为 Meta AI 助手的一部分。到 2026 年，Meta 超级智能实验室发布了 Muse Spark 作为其继任者。
遗产
Llama 2 的遗产在于它作为 AI 开放权重运动催化剂的角色。它证明了强大模型可以在保持安全控制的同时广泛共享，并为封闭、仅限 API 的模型提供了实用的替代方案。该模型还影响了关于 AI 中开源定义的讨论，这一争论随着领域的发展仍在继续。
对许多开发者和研究者而言，Llama 2 成为了实验和创新的基准。它的发布降低了大语言模型工作的入门门槛，催生了一波可能原本不会存在的微调版本和应用。即使更新模型不断涌现，Llama 2 仍然是理解 AI 开发中开放性、能力和安全性之间权衡的参考点。