Llama 3是由Meta AI开发并于2024年4月18日发布的一系列大型语言模型。它是Llama系列的一部分，该系列始于2023年2月，代表了开放权重模型性能的重大进步。初始版本包括两种模型规模：80亿（8B）和700亿（70B）参数，并提供基础版本和指令调优版本。Llama 3模型在约15万亿个公开来源的文本令牌上进行了预训练，指令调优变体则进一步在公开指令数据集和超过1000万个人工标注示例上进行了微调。
Llama 3基于其前身的架构原则，但在训练数据规模与性能方面引入了显著改进。根据Meta AI在2024年4月的测试，70B模型在大多数基准测试中优于Gemini Pro 1.5和Claude 3 Sonnet等竞争模型。此次发布还标志着Meta AI的上线，这是一款基于Llama构建的AI助手，可通过专用网站使用，并集成到Facebook和WhatsApp中。
背景
Llama 3的开发发生在生成式AI快速进步的背景下，尤其是在2022年底ChatGPT发布之后。ChatGPT的成功加剧了对大型语言模型的兴趣，促使各公司大力投资于扩展和优化这些系统。Meta的首席AI科学家Yann LeCun此前曾表示，大型语言模型最适合辅助写作，这一观点影响了Llama模型的设计。
Llama 3也反映了Meta在模型分发方式上的转变。虽然最初的Llama仅限于学术研究人员在非商业许可下使用，但包括Llama 3在内的后续版本则在允许一定商业用途的许可下向更广泛的受众开放。这种开放性促进了创新，但也引发了关于AI社区中“开源”定义的争论。
架构与训练
Llama 3模型使用标准的Transformer (architecture)架构，与早期Llama版本类似，但在训练方法上有所增强。模型在15万亿令牌的数据集上进行训练，相比Llama 2使用的1.4万亿令牌有大幅增加。这一规模使模型在广泛任务中实现了更好的性能。
Llama 3训练中的一个关键发现与缩放定律有关。模型经验性地表明，即使训练数据超过“Chinchilla最优”量，性能仍会继续对数线性提升。例如，8B模型的Chinchilla最优数据集为2000亿令牌，但性能持续提升至所使用的15万亿令牌，后者是前者的75倍。这一观察对未来模型训练策略具有启示意义。
在接受Dwarkesh Patel采访时，Meta首席执行官马克·扎克伯格指出，Llama 3的8B版本几乎与最大的Llama 2模型一样强大。他还提到，70B模型在15万亿令牌训练结束时仍在学习，但决定停止训练以将GPU资源分配至其他领域。
性能与基准
Llama 3模型在发布时于许多自然语言处理基准测试中取得了最先进的结果。特别是70B模型在推理、编码和通用知识等任务上优于Gemini Pro 1.5和Claude 3 Sonnet等多个专有模型。8B模型尽管规模较小，却提供了具有竞争力的性能，使其适合部署在性能较低的硬件上。
Meta AI的评估显示，Llama 3 70B在数学推理和代码生成等领域表现出色，而8B模型则在效率和能力之间提供了良好的平衡。这些结果使Llama 3成为领先的开放权重模型，挑战了闭源系统的主导地位。
可用性与生态系统
Llama 3在允许商业使用的许可下发布，并附有限制某些应用的可接受使用政策。这些模型可从Meta网站以及包括Amazon Web Services、Azure和Google Cloud在内的多个云平台下载。这种可访问性促进了其在研究和工业界的广泛采用。
Llama 3的发布还恰逢Meta AI的推出，这是一款利用该模型能力的助手。Meta AI集成于Facebook、WhatsApp和专用网站，为用户提供对话式AI服务。围绕Llama 3的生态系统包括微调、量化和部署工具，使开发者能够针对特定用例定制模型。
遗产与未来
Llama 3标志着开放权重大型语言模型发展中的一个里程碑，证明了此类模型能够与专有对手相抗衡。其成功影响了后续发展，包括2024年7月23日发布的Llama 3.1，该版本引入了进一步改进。Llama系列继续于2025年4月推出Llama 4，并在2026年4月，Meta Superintelligence Labs发布了Muse Spark作为Llama的替代品。
Llama 3的影响超越了技术成就，因为它促进了关于AI安全、可访问性以及先进AI技术民主化的讨论。其开放权重特性使全球研究人员和开发者能够实验并基于该模型进行构建，培育了一个充满活力的创新生态系统。