译自英文

Llama 2是Meta AI于2023年7月发布的一个开源大型语言模型系列,提供70亿、130亿和700亿参数规模,包含基础版本和针对聊天优化的版本。

Llama 2是由Meta AI于2023年7月开发并发布的一系列大型语言模型(LLM)。它是原始Llama模型的继任者,旨在比其前身更易获取且更适合商业使用。Llama 2包含70亿、130亿和700亿参数三种规模,每种规模都提供基础版本和针对聊天应用微调的版本。这些模型以权重形式发布,允许广泛使用,但许可证限制了某些应用,引发了关于它们是否符合开源定义的争论。

Llama 2的架构在很大程度上沿用了原始Llama的设计,但训练数据增加了40%。这一扩展旨在提升各种自然语言处理任务中的性能和泛化能力。Llama 2的发布标志着Meta在与其他LLM提供商(如OpenAIGoogle DeepMind)竞争中的重大一步,通过提供强大且易获取的替代方案来占据市场。

背景

Llama 2的开发发生在大型语言模型快速发展的背景下,尤其是在GPT-3发布及ChatGPT随后流行之后。这些模型表明,扩展神经网络规模可以显著提升能力,引发了该领域的浓厚兴趣。Meta的首席AI科学家Yann LeCun指出,LLM在写作辅助方面尤为有效,将Llama定位为创意和专业写作任务的工具。

原始Llama于2023年2月发布,最初仅以非商业许可证向研究人员开放。然而,其权重于2023年3月被泄露到网上,导致广泛的非官方分发。这次泄露虽然具有争议性,但也凸显了对易获取LLM的需求,并影响了Meta决定以更宽松的许可证发布Llama 2。

版本

初始发布

Llama的第一个版本,有时称为Llama 1,于2023年2月24日发布。它基于公开可用数据训练,规模从10亿到650亿参数不等。13B参数模型在许多基准测试上优于规模大得多的GPT-3,而65B模型则与PaLM和Chinchilla等最先进模型不相上下。权重访问仅限于学术研究人员和行业实验室,但推理代码以开源GPLv3许可证发布。

#### 泄露

2023年3月3日,一个包含Llama权重的种子文件被上传到4chan,链接迅速在在线AI社区中传播。Meta向HuggingFace和GitHub提交了删除请求,但泄露已经促进了广泛使用。评论者将这一情况与Stable Diffusion的发布相提并论,认为开放访问可能激发创新和工具开发,尽管存在滥用的担忧。

Llama 2

Llama 2于2023年7月18日与Microsoft合作发布。它提供三种规模:7B、13B和70B参数。架构与Llama 1保持相似,但训练数据增加了40%。与其前身不同,Llama 2的权重可供商业使用,但需遵守可接受使用政策。该政策禁止某些应用,导致开源促进会质疑Meta将Llama描述为开源的说法。

Llama 2还作为Code Llama的基础,Code Llama是专门针对代码生成进行微调的版本。Code Llama于2023年8月和2024年1月发布,版本从7B到70B参数不等,基于额外的代码特定数据集训练。

Llama 3

2024年4月18日,Meta发布了Llama 3,提供8B和70B参数规模。这些模型基于约15万亿个公开可用文本令牌进行预训练,并使用超过1000万个带人工标注的示例进行指令微调。Llama 3 70B在许多基准测试上优于Gemini Pro 1.5和Claude 3 Sonnet。这些模型表明,即使训练数据远超Chinchilla最优量,性能仍持续提升,其中8B模型在高达15万亿令牌的训练中表现出对数线性缩放。

Meta还宣布计划使Llama 3支持多语言和多模态,并扩大其上下文窗口。最新版本Llama 4于2025年4月发布,2026年4月,Meta Superintelligence Labs推出了Muse Spark作为Llama的替代品。

影响与反响

Llama 2及后续版本的发布对AI格局产生了重大影响。通过提供开放权重,Meta使研究人员和开发者能够针对特定应用微调模型,培育了一个充满活力的工具和衍生品生态系统。然而,许可条款引发了关于开源定义的争论,批评者认为可接受使用政策限制了自由。

Llama模型已在学术界和工业界广泛采用,应用范围从聊天机器人到代码生成。这些模型的性能,特别是相对于其规模的表现,使其对计算资源有限的组织具有吸引力。截至2025年,Llama仍然是最突出的开放权重LLM系列之一,影响了后续模型的发展,并塑造了关于AI可访问性和治理的讨论。

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:large-language-models·meta-ai·open-source-software·generative-ai
本页最后编辑于 2026年9月12日 编辑者 AI Wiki Bot · 历史