Llama泄露事件指的是2023年3月Meta AI的LLaMA（大型语言模型Meta AI）模型权重未经授权被分发的事件。这一事件标志着大型语言模型发展的转折点，因为它绕过了Meta的受控访问政策，通过BitTorrent和HuggingFace将权重公开。尽管最初存在滥用的担忧，但泄露加速了开源AI研究，使更广泛的开发者和研究人员社区能够实验并基于这些模型进行构建。
泄露发生在Meta于2023年2月24日宣布LLaMA之后不久，该模型是一系列基础模型，参数规模从10亿到650亿不等。与同时代的封闭模型（如OpenAI的GPT-3）不同，LLaMA的权重原本仅供学术研究人员在非商业许可下使用。泄露使访问民主化，导致大量微调变体和工具的出现，并影响了Meta后续发布的Llama 2和Llama 3，这些版本更加开放。
背景
在2020年代初期，随着OpenAI于2022年11月发布ChatGPT，人工智能领域经历了兴趣激增。这引发了科技公司之间开发更强大大型语言模型的竞赛。Meta在其AI研究部门Meta AI下，采取了开放研究的策略，但对模型访问有所限制。Meta的首席AI科学家Yann LeCun对炒作表示怀疑，称大型语言模型最适合辅助写作，而非实现人类级智能。
LLaMA项目旨在创建能在消费级硬件上运行的高效模型，与GPT-3（1750亿参数）等大规模模型形成对比。Meta使用公开可用数据，基于Transformer架构训练了LLaMA，并以开源许可发布了推理代码，但权重保持受限。
初始发布与泄露
2023年2月24日，Meta AI通过博客文章和论文宣布了LLaMA，详细介绍了其训练和性能。模型有7B、13B、33B和65B参数四种规模。Meta报告称，13B模型在许多NLP基准测试中优于GPT-3，而65B模型与PaLM和Chinchilla等最先进模型相当。权重访问按个案授予学术研究人员、政府、民间社会和行业研究实验室。
2023年3月3日，一个包含权重的种子被上传，链接在4chan上分享，并迅速在在线AI社区传播。同一天，官方LLaMA仓库中的一个拉取请求请求将磁力链接添加到文档中。3月4日，另一个拉取请求添加了托管模型的HuggingFace仓库链接。Meta于3月6日向HuggingFace提交了删除请求，称该分发未经授权，HuggingFace予以配合。3月20日，Meta对包含下载脚本的GitHub仓库提交了DMCA删除通知，该仓库次日被移除。
泄露引发了不同的反应。一些人担心恶意使用，如复杂的垃圾邮件或虚假信息。另一些人则庆祝可访问性，指出较小的模型可以在普通硬件上运行，促进研究和创新。评论员如Simon Willison将LLaMA比作Stable Diffusion，一个开源文本到图像模型，推动了生态系统的快速增长。泄露实际上迫使Meta重新考虑其发布策略。
Llama 2
2023年7月18日，Meta与微软合作发布了下一代Llama 2。Llama 2有三种规模：7B、13B和70B参数。架构与Llama 1基本不变，但训练数据增加了40%。与原始版本不同，Llama 2包括基础模型和用于聊天的指令微调版本。所有模型均发布权重并允许商业使用，但需遵守可接受使用政策。然而，该许可未获开源促进会批准，导致关于Llama 2是否可称为开源的争议。
Llama 2的发布标志着向更开放分发转变，部分受泄露影响。它引发了一波微调模型和商业应用。Meta还发布了Code Llama，这是Llama 2的代码生成微调版本，于2023年8月24日（7B、13B、34B）和2024年1月29日（70B）发布。
Llama 3
2024年4月18日，Meta发布了Llama 3，参数规模为8B和70B。这些模型在约15万亿个公开文本令牌上进行了预训练，并在超过1000万个带人工标注的示例上进行了指令微调。Meta的基准测试显示，Llama 3 70B在许多任务上优于Gemini Pro 1.5和Claude 3 Sonnet。Meta宣布了多语言和多模态能力、更长上下文窗口以及改进的编码和推理计划。
Llama 3表明，即使超过Chinchilla最优训练数据量，性能仍以对数线性方式持续提升。例如，8B模型的Chinchilla最优数据集为2000亿个令牌，但性能在15万亿个令牌时仍有所提升。在一次采访中，Mark Zuckerberg指出，8B模型几乎与最大的Llama 2一样强大，而70B模型在训练结束时仍在学习，但训练被停止以将GPU资源分配到其他地方。
Llama 3.1于2024年7月23日发布，进一步改进，包括405B参数模型，并延续了开放权重发布的趋势。
对开源AI的影响
Llama泄露催化了开源AI运动。在泄露之前，访问最先进的LLM主要限于少数组织。泄露使独立研究人员和爱好者能够在本地运行和微调模型，导致模型剪枝、数据增强和高效推理方面的创新。它还启发了开源生态系统的创建，如HuggingFace仓库和llama.cpp等工具，这些工具实现了基于CPU的推理。
泄露还迫使Meta在后续版本中采用更宽松的许可，如Llama 2和Llama 3所示。这一转变影响了其他公司，如Mistral AI，发布开放权重模型。然而，关于AI中“开源”定义的争论仍在继续，开源促进会等组织认为使用和再分发限制违反了开源定义。
反应与争议
对泄露的反应两极分化。安全专家警告潜在滥用，如生成钓鱼邮件或虚假信息。一些研究人员则庆祝AI的民主化，使原本不可能的实验得以进行。泄露还引发了对发布强大模型伦理的质疑，导致关于负责任AI开发的讨论。
Meta对泄露的回应最初是法律手段，但公司最终接受了开放性。到2024年，Meta将Llama定位为领先的开放权重模型系列，与OpenAI和Google DeepMind的封闭模型竞争。泄露还凸显了控制数字分发的困难，因为一旦权重公开，就无法完全撤回。
遗产
Llama泄露被认为是AI历史上的关键事件。它加速了开源LLM的发展，导致模型和应用生态系统的多样化。它还影响了关于AI监管以及开放性与安全性平衡的政策讨论。截至2025年，Llama模型在研究和工业界广泛使用，Meta继续发布新版本，包括2025年4月的Llama 4。2026年4月，Meta Superintelligence Labs发布了Muse Spark作为Llama的替代品，标志着Meta AI之旅的新篇章。
泄露表明，开放访问可以推动创新，但也需要仔细考虑潜在危害。它仍然是数字时代AI技术治理挑战的案例研究。