2023年3月，Meta首个LLaMA大语言模型的权重被泄露到网上，使这些权重可通过BitTorrent及其他平台公开获取。此次泄露发生在该模型最初向研究人员受限发布后不久，使得广大开发者与研究人员社区能够下载、运行并微调该模型，显著加速了开源AI的发展，并引发了关于可访问性、安全性及AI分发未来的讨论。
背景
在GPT-3等大语言模型发布之后，AI研究的一个主要焦点是扩大模型规模，这在某些情况下显示出涌现能力的显著提升。ChatGPT的发布及其意外成功引发了对大语言模型的广泛关注，促使许多组织加速自身的AI项目。
与其他对ChatGPT的回应相比，Meta的首席AI科学家Yann LeCun表示，大语言模型最适合辅助写作。Meta发布其LLaMA模型的方式与OpenAI不同，后者将GPT-3和ChatGPT的权重保持为专有。
LLaMA的初始发布
LLaMA的第一个版本（风格化为LLaMA，有时称为Llama 1）于2023年2月24日通过一篇博客文章和一篇描述模型训练、架构及性能的论文宣布。用于运行模型的推理代码以开源GPLv3许可证公开发布。模型权重的访问通过申请流程管理，访问权限将“逐案授予学术研究人员；政府、公民社会及学术界组织的附属人员；以及世界各地的工业研究实验室”。
LLaMA仅使用公开可用的信息进行训练，并以多种模型规模进行训练，旨在使其更适配不同硬件。该模型纯粹是一个基础模型，尽管论文中包含指令微调版本模型的示例。
Meta AI报告称，13B参数模型在大多数NLP基准上的性能超过了规模大得多的GPT-3（具有175B参数），而最大的65B模型则与PaLM和Chinchilla等最先进模型具有竞争力。
泄露事件
2023年3月3日，一个包含LLaMA权重的种子文件被上传，其链接在4chan图像板上分享，随后在在线AI社区中传播。同一天，LLaMA主仓库中开启了一个拉取请求，请求将磁力链接添加到官方文档中。3月4日，又开启了一个拉取请求，以添加包含该模型的HuggingFace仓库链接。
3月6日，Meta提交了删除请求，以移除拉取请求中链接的HuggingFace仓库，将其定性为对模型的“未经授权分发”。HuggingFace遵守了这些请求。3月20日，Meta针对一个包含从镜像下载LLaMA脚本的仓库提交了DMCA删除请求，指控其侵犯版权，GitHub于次日遵守。
对泄露的反应
对泄露的反应各不相同。一些人推测该模型将被用于恶意目的，例如更复杂的垃圾邮件。另一些人则庆祝该模型的可访问性，以及较小版本的模型可以相对廉价地运行这一事实，认为这将促进更多研究发展的繁荣。
多位评论者，如Simon Willison，将LLaMA与Stable Diffusion进行了比较，后者是一个文本到图像模型，与之前类似复杂的模型不同，它被公开分发，导致相关工具、技术和软件的迅速激增。此次泄露实际上将LLaMA变成了一个开放权重模型，绕过了Meta的受控访问，并推动了社区驱动实验的浪潮。
对开源AI的影响
此次泄露加速了开源AI生态系统的发展。在数周内，开发者使用LoRA和QLoRA等技术创建了针对特定任务的LLaMA微调版本，包括指令遵循和聊天，从而在消费级硬件上运行该模型。这导致了工具和应用的激增，包括本地聊天机器人和研究项目，这些在受限访问下是不可能实现的。
此次泄露也影响了Meta随后的发布策略。泄露模型所取得的成功和社区热情可能促成了Meta在2023年7月发布Llama 2，其许可证更为宽松，允许商业使用，尽管仍有限制。这标志着从最初逐案学术访问向更广泛公开发布的转变，尽管许可证仍禁止某些用途，导致对其是否符合开源定义的争议。
后续版本
在泄露事件之后，Meta继续开发LLaMA系列。2023年7月18日，Meta与Microsoft合作，宣布了下一代Llama，即Llama 2。Meta训练并发布了三种模型规模的Llama 2：70亿、130亿和700亿参数。模型架构与Llama 1相比基本保持不变，但用于训练基础模型的数据增加了40%。
Llama 2包括基础模型和针对聊天进行微调的模型。与原始版本进一步不同的是，所有模型均以权重形式发布，并可用于许多商业用例。由于Llama的许可证强制执行可接受使用政策，禁止某些目的，因此它并非严格意义上的开源。Meta使用“开源”一词来描述Llama的做法受到了开源倡议组织（维护开源定义）及其他方面的质疑。
Code Llama是Llama 2的微调版本，使用代码特定数据集进行训练，于2023年8月24日发布了7B、13B和34B参数版本，并于2024年1月29日发布了70B版本。从Llama 2的基础模型开始，Meta AI额外训练了5000亿个代码数据标记，随后又训练了200亿个长上下文数据标记，从而创建了Code Llama基础模型。该基础模型进一步在50亿个指令遵循标记上训练，以创建指令微调版本。还创建了另一个针对Python代码的基础模型，在1000亿个纯Python代码标记上训练，之后再加入长上下文数据。
2024年4月18日，Meta发布了Llama 3，包含两个规模：8B和70B参数。这些模型在约15万亿个从“公开可用来源”收集的文本标记上进行了预训练，指令模型则在“公开可用的指令数据集以及超过1000万个带人工标注的示例”上进行了微调。Meta AI的测试显示，在2024年4月，Llama 3 70B在大多数基准上优于Gemini Pro 1.5和Claude 3 Sonnet。Meta还宣布计划使Llama 3支持多语言和多模态，提升其编码和推理能力，并扩大其上下文窗口。
关于缩放定律，Llama 3模型经验性地表明，当模型在超过“Chinchilla最优”数量的数据上训练时，性能会继续以对数线性方式缩放。例如，Llama 3 8B的Chinchilla最优数据集为2000亿个标记，但性能在达到75倍大的15万亿标记数据集时仍继续对数线性缩放。
在接受Dwarkesh Patel采访时，Mark Zuckerberg表示，Llama 3的8B版本几乎与最大的Llama 2一样强大。与之前的模型相比，Zuckerberg表示团队对70B模型在15万亿标记训练结束时仍在学习感到惊讶。决定结束训练是为了将GPU算力集中到其他地方。
与Llama 3的发布同时，Meta推出了Meta AI，这是一个基于Llama构建的AI助手。Meta AI拥有专用网站，并可在Facebook和WhatsApp上使用。最新版本是Llama 4，于2025年4月发布。2026年4月，Meta超级智能实验室发布了Muse Spark，作为Llama的替代品，为Meta各项服务中的聊天机器人提供支持。
遗产
2023年的LLaMA泄露事件被广泛视为开源AI历史上的一个关键时刻。它展示了对可访问大语言模型的需求，并影响了Meta及其他组织的策略。此次泄露还凸显了控制强大AI模型分发的挑战，这一主题继续塑造着围绕AI安全与治理的政策讨论。
该事件为更广泛的生成式AI繁荣做出了贡献，因为LLaMA权重的可用性推动了可能被推迟的创新浪潮。它还为Llama 2和Llama 3等后续模型的发布树立了先例，这些模型已成为全球研究人员和开发者的基础工具。