Falcon 是一个由阿布扎比技术创新研究所（TII）开发的开源大型语言模型系列。该系列于2023年3月首次发布，Falcon 模型基于仅解码器架构构建，并在高质量网络数据上进行训练，强调效率和性能。Falcon 系列包含不同规模的模型，从1B到180B参数不等，其中最大的模型在标准基准测试中取得了具有竞争力的结果，同时与一些同期模型相比，在推理过程中所需的计算资源更少。
Falcon 模型因其使用多查询注意力（MQA）和闪存注意力而著称，这些技术减少了内存带宽并加速了解码过程。它们基于 Falcon RefinedWeb 数据集进行训练，这是一个大规模过滤后的公共网络文本语料库。Falcon 模型在宽松许可证下发布，较小的模型采用 Apache 2.0 许可证，较大的模型则采用限制商业使用的自定义许可证。这些模型已在开源社区中被广泛采用，并作为各种微调变体的基础。
架构与训练
Falcon 模型采用标准的 Transformer 解码器架构，但进行了若干优化。它们使用旋转位置嵌入，并且较大的模型结合了多查询注意力，该机制在所有查询头之间共享键和值头，从而减少内存使用并提高推理速度。训练数据来源于 Falcon RefinedWeb 数据集，该数据集包含从 Common Crawl 过滤出的数十亿个 token，部分模型还加入了额外的精选来源。训练过程使用 AdamW 优化器和余弦学习率调度，大多数模型的最大序列长度为2048个 token。
最大的 Falcon 模型 Falcon-180B 使用384个 GPU 在3.5万亿个 token 上进行了训练，并在推理、编码和通用知识任务上表现出强大的性能。尽管规模庞大，Falcon-180B 通过多查询注意力减少了推理过程中使用的参数数量，从而实现了高效设计。
模型变体与发布
Falcon 模型已以多种规模和配置发布。2023年3月的初始发布包括 Falcon-1B 和 Falcon-7B，两者均采用 Apache 2.0 许可证。2023年5月，Falcon-40B 发布，当时在 Open LLM Leaderboard 上排名第一。随后，2023年9月，Falcon-180B 发布，采用自定义许可证，允许免费用于研究和非商业目的，但限制商业部署。较小的变体如 Falcon-3B 和 Falcon-11B 也已发布，其中11B模型使用了不同的注意力机制（多查询注意力），并实现了显著的效率提升。
所有 Falcon 模型均可在 Hugging Face Hub 上获得，并已集成到各种推理框架中，包括 vLLM 和 TensorRT-LLM。这些模型还针对指令遵循和聊天应用进行了微调，官方变体包括 Falcon-7B-Instruct 和 Falcon-40B-Instruct。
性能与基准
Falcon 模型在一系列基准测试中表现出具有竞争力的性能。例如，Falcon-40B 在 MMLU（大规模多任务语言理解）基准上超越了许多现有的开源模型，得分达到60.4%。Falcon-180B 进一步提升了这些结果，在 MMLU 上得分为70.4%，在 HellaSwag 上得分为68.2%，并且在多项任务上与 PaLM-2 Large 等专有模型表现相当。在编码基准上，Falcon-180B 在 HumanEval 上的 pass@1 得分为19.3%，与其他大型模型相比具有竞争力。
Falcon 模型的效率是一个关键卖点。多查询注意力的使用减少了内存占用并加速了推理，使其适合在单个 GPU 上部署。例如，Falcon-40B 可以通过量化在单个 A100 GPU 上运行，而 Falcon-180B 需要多个 GPU，但仍提供了良好的性能与资源比。
影响与生态系统
Falcon 模型对开源 AI 领域产生了重大影响。它们已被用作众多微调变体的基础模型，包括指令微调和聊天模型，并已集成到 Hugging Face、Replicate 和 AWS SageMaker 等平台中。Falcon-40B 和 Falcon-180B 的发布推动了高效大型模型设计的进一步创新，影响了后续模型如 Llama 2 和 Mistral。Falcon 模型也是 TII 在 AI 领域更广泛研究努力的一部分，包括自然语言处理和计算机视觉方面的工作。
较小 Falcon 模型的宽松许可证鼓励了其在研究和商业应用中的广泛采用，而较大的模型则被用于学术研究和行业试点。Falcon 系列仍然是开源大型语言模型发展中的重要参考点。