Llama 3.2是Meta AI开发的一系列大型语言模型，于2024年9月25日发布。该系列包括专为设备端应用设计的密集模型（1B和3B参数）以及具有多模态能力、支持文本和图像输入的更大模型（11B和90B参数）。这些模型在宽松许可下可用于研究和商业用途，其中较小的变体针对智能手机和笔记本电脑等边缘设备进行了优化。
Llama 3.2的发布标志着Llama系列的重大扩展，紧随早期的Llama 3.1模型之后。11B和90B变体集成了视觉理解能力，使其能够处理图像与文本，这是之前Llama版本所不具备的功能。特别是1B和3B模型，设计用于在消费级硬件上高效运行，其中3B模型在某些基准测试中达到了与更大模型相当的性能。
架构与训练
Llama 3.2模型基于Transformer (architecture)架构，采用仅解码器设计，并使用分组查询注意力（GQA）以提高推理效率。视觉语言模型（11B和90B）集成了视觉编码器，将图像处理为令牌，然后与文本嵌入融合。训练结合了纯文本和多模态数据，重点在于高质量的指令微调和对齐技术，如RLHF和监督微调。
较小的模型（1B和3B）以128,000个令牌的上下文长度进行训练，而较大的模型支持最多128,000个令牌的文本输入，并配备独立的视觉塔用于图像输入。这些模型使用128,000个令牌的词汇量，并采用层归一化和丢弃以提高稳定性。
性能与基准测试
Llama 3.2模型已在多项公开基准测试中进行了评估，包括MMLU、GSM8K和HumanEval。90B模型在通用知识、推理和编码等任务上取得了与领先模型（如OpenAI的GPT-4和Anthropic的Claude 3.5 Sonnet）相当的结果。尽管3B模型规模较小，但在指令遵循和摘要任务上优于许多更大的模型，使其适合设备端应用。
在内部评估中，90B模型在MMLU上得分为86.0，GSM8K为94.1，HumanEval为89.1，而11B模型在MMLU上得分为83.0，GSM8K为88.4，HumanEval为84.9。这些结果凸显了架构的效率，90B模型在某些任务中使用了混合专家（MoE）设计，但标准密集版本也可用。
部署与生态系统
Llama 3.2模型已集成到主要云平台中，包括AWS、Microsoft Azure、Google Cloud和Oracle Cloud。它们还得到Groq、SambaNova和Intel等硬件提供商的支持，从而实现低延迟推理。较小的模型针对边缘部署进行了优化，支持量化和剪枝技术以减少内存占用。
Meta AI已与Qualcomm和Samsung合作，在智能手机中实现设备端AI功能，利用1B和3B模型执行摘要和文本生成等任务。这些模型可通过Hugging Face中心获取，并可使用PyTorch和TensorFlow等标准框架进行微调。
反响与影响
Llama 3.2已在生成式AI社区中被广泛采用，许多开发者使用较小的模型进行原型设计和边缘应用。90B视觉模型的发布因其处理复杂多模态任务（如文档理解和视觉问答）的能力而受到关注。然而，一些批评者指出，与其他大型语言模型类似，这些模型在事实准确性和偏见方面仍面临挑战。
Llama 3.2的开放权重方法因促进先进AI的民主化而受到赞扬，但也引发了对潜在滥用的担忧。Meta已实施安全措施，包括红队测试和内容过滤，以降低风险。
未来方向
Meta已表示，Llama 3.2是持续开发周期的一部分，计划在推理、多语言支持和效率方面进一步改进。该公司还在探索与斯坦福AI实验室和伯克利AI研究等学术机构的神经网络研究进行整合。截至2025年，这些模型仍是开放权重AI的基准，影响了其他组织的后续发布。