Llama 2是由Meta AI开发的一系列大型语言模型（LLM），于2023年7月18日与微软合作发布。它是原始Llama模型的继任者，包括基础模型和指令调优的聊天版本。与其前身不同，Llama 2的权重可供广泛商业使用，但需遵守可接受使用政策，这显著影响了开源AI生态系统。
Llama 2模型属于更广泛的大型语言模型领域，基于Transformer架构和深度学习技术的进步。此次发布被视为向民主化获取强大AI迈出的重要一步，为OpenAI和Google DeepMind等公司的专有模型提供了竞争性替代方案。
背景
2020年代初大型语言模型的快速发展，为Llama的诞生奠定了基础，这与生成式AI工具的成功密不可分。GPT-3的发布表明，扩大模型规模可以带来能力的显著提升。2022年11月，OpenAI推出了ChatGPT，引起了广泛关注，并引发了AI研究和投资的激增。
Meta AI作为Meta的AI研究部门，一直活跃在该领域，其显著贡献包括由Google DeepMind等研究人员开发的Transformer架构。Meta的首席AI科学家Yann LeCun公开对大型语言模型的炒作表示怀疑，称它们最适合辅助写作任务，这反映了Meta专注于让AI更加实用和可访问。
初始发布与泄露
原始Llama系列（Llama 1，风格化为LLaMA）于2023年2月24日通过博客文章和技术论文宣布。它提供从10亿到650亿参数的不同规模，基于公开可用的数据进行训练。最初，模型权重仅在非商业许可下按个案提供给研究人员。
然而，权重很快被泄露到网上。2023年3月，一个权重种子在4chan上被分享并迅速传播。Meta向HuggingFace和GitHub发送了删除请求，要求移除托管该模型的仓库，但泄露使得广泛的私人使用和研究成为可能。许多人将这次泄露视为开放AI的转折点，并与Stable Diffusion加速创新相提并论。
Llama 2发布
2023年7月18日，Meta与微软合作宣布了Llama 2，即Llama系列的下一代产品。公司发布了三种参数规模：70亿、130亿和700亿参数。Meta还发布了基础模型和微调变体。具体来说，聊天微调版本专为对话使用而设计。
这些模型的训练数据比原始Llama多40%，但架构基本保持不变。Llama 2模型使用了带有注意力机制的残差网络块，受益于层归一化等创新。指令微调使用了RLAIF风格的技术，结合了监督微调和人类反馈。
商业可用性与许可
Llama 2发布最引人注目的方面是决定免费提供权重，用于许多商业应用。Meta在自定义许可下发布了这些模型，允许用于商业和研究目的的使用、复制和修改，但根据政策对某些用例有限制。
由于可接受使用政策和其他条款，许多批评者认为Llama 2不符合开源倡议（OSI）的标准，并非真正的开源。尽管如此，一个强大的语言模型开放供商业使用是一个里程碑，使较小的组织和个体能够在不依赖付费API的情况下基于该技术进行构建。
微软的合作值得注意，因为它将发布与其Azure基础设施集成。这些模型在Azure AI模型目录中提供，但也可以直接下载，这增加了可访问性。
模型架构与训练
Llama 2采用了与其前身相似的架构，但在扩展方面进行了调整。模型规模达到700亿参数，使其能够捕捉更复杂的模式。训练使用了多种来源，包括网页、书籍和其他公开数据，并注重质量过滤。
训练过程的一个关键方面涉及优化交叉熵损失，使用学习率调度和模型剪枝等原则。Meta还融入了丢弃和权重初始化等技术以提高性能。
提供了7B、13B和70B模型，其中70B模型设计用于在多个GPU上运行。Llama 2与GPT-3和Chinchilla等当代模型进行了评估，在包括推理和编码在内的各种基准任务上取得了有竞争力的结果。
对开源AI生态系统的影响
Llama 2的发布，凭借商业访问权限，显著加速了开源AI生态系统的增长。它为专有模型提供了替代方案，促进了开发者、研究人员和初创公司的社区发展。许多公司，如AI21-Labs和Inflection AI，将Llama 2作为其自身模型的基础。
此外，该发布还伴随着与Amazon Web Services、Google Cloud和Oracle Cloud等云服务的集成，使部署更加便捷。此外，硬件供应商AMD、Intel和Qualcomm优化了其芯片以高效运行Llama。
衍生模型与微调
Llama 2模型经常被微调用于各种应用。一个 notable 的例子是Code Llama，这是一个使用专门代码数据集进行微调的版本。它于2023年8月24日发布，最初提供7B、13B和34B版本，后来于2024年1月29日发布了70B版本。Code Llama在5000亿个代码数据令牌上进行了训练，基于基础模型。生成式AI社区还产生了许多其他微调模型，如用于创意写作、法律协助和医疗建议的模型。
模型权重的可访问性使研究人员能够应用模型剪枝、量化等技术，使小型AI公司和教育机构能够研究和调整该技术。
反响与批评
对Llama 2的反应总体上是积极的，但也存在担忧。支持者称赞其民主化AI和促进创新的潜力，指出它可以与GPT-3.5等商业模型竞争。然而，一些批评者指出，许可限制仍然不完全“开放”，从而限制了其自由程度。
可接受使用政策限制了在监控、垃圾邮件和恶意软件等领域的应用。这被辩论为旨在防止滥用的努力，但也限制了灵活性。
一些研究人员还指出了训练Llama 2等大型模型的环境和资源问题。训练需要大量的计算能力，引发了伦理和实际问题。
遗产与未来
Llama 2为开放AI设定了新标准，促成了后来在2024年4月发布的Llama 3。该发布对行业产生了持久影响，推动主要商业实验室重新考虑模型的共享方式。它还鼓励了开放AI集合作为其他产品基础的增长。
Llama 2的带有限制的权重发布方式已被其他开发者采用，用于构建AI助手，如现在基于Llama 3的Meta AI。截至2025年底，Llama是一个模型系列，尽管出现了新模型，Llama 2仍然是一个基础性的里程碑。
总结
总之，Meta Llama 2的发布是生成式AI发展中的一个重要事件。通过将强大性能与宽松的权重相结合，Meta的决定帮助塑造了开放AI生态系统。这一事件经常被引用为激发商业AI兴趣的关键因素之一。
在其发布时，Llama 2标志着对其他AI模型更严格做法的背离，其影响是广泛的。