Toolformer是一种大语言模型架构，由Meta AI的研究人员于2023年2月提出。它旨在通过自监督训练过程，自主学会使用哪些外部工具，例如计算器、搜索引擎、翻译系统和日历API。与先前需要大量人工标注或强化学习的方法不同，Toolformer从少量演示中学习工具使用，并将这些能力整合到自身的生成过程中。
该模型基于Transformer架构构建，并通过在文本序列中插入工具调用的机制扩展了标准自回归语言建模。在推理期间，Toolformer可以生成一个特殊的令牌序列来调用工具，接收工具的输出，然后继续生成包含该输出的文本。这使其能够将算术、事实查找或日期计算等任务外包给更可靠的外部系统，从而提高在参数知识不足的任务上的准确性。
训练流程
Toolformer的训练采用两阶段流程。首先，一小部分人工编写的示例（每种工具约10个）演示了如何表述工具调用。在此基础上，模型通过从自身输出中采样并根据自监督损失标准进行过滤，生成更大的潜在工具调用数据集。具体而言，模型评估工具调用是否降低了后续文本的损失；只有能改善预测的调用才会被保留。
过滤后的数据集随后用于通过标准的下一个令牌预测对基础语言模型（一个具有67亿参数的GPT-J版本）进行微调。这种微调教会了模型何时调用工具，以及如何格式化调用并整合结果。作者报告称，这种方法每种工具仅需几百个训练示例，与需要数千个标注实例的方法形成对比。
支持的工具与能力
Toolformer在五种工具上进行了评估：用于算术的计算器、问答系统（基于检索增强模型）、维基百科搜索引擎、机器翻译系统和日历API。该模型学会了适当地使用每种工具，例如调用计算器进行多位乘法，以及调用搜索引擎查询近期事件或冷门事实。在数学应用题（GSM8K）和事实性问答等下游任务的零样本评估中，Toolformer优于基础模型，并在某些基准上达到或超过了GPT-3（1750亿参数）等更大模型的表现。
一个值得注意的设计选择是，Toolformer不需要对工具本身进行微调；它将每个工具视为具有固定接口的黑盒。这种模块化特性允许通过提供少量示例并重新运行过滤过程来添加新工具。
局限性与批评
原始论文承认了若干局限性。Toolformer的工具调用是贪婪生成的，无法根据工具输出进行修正，这可能导致初始调用格式错误时出现级联错误。该模型还缺乏在单步推理中链式调用多个工具的能力，限制了其在复杂多步问题上的使用。此外，自监督过滤有时会选择虚假的调用，这些调用降低了损失但并未真正改善任务性能。
其他研究人员的后续工作指出，Toolformer在某些任务上的提升较为有限，且其对固定工具集的依赖限制了泛化能力。然而，它启发了工具增强语言模型的一系列研究，包括后来的Gorilla和ART等系统，这些系统扩展了工具集并提高了调用的鲁棒性。
影响与遗产
Toolformer证明了语言模型可以在极少监督下学习工具使用，这是迈向更强大、更可靠AI系统的一步。它影响了生成式AI和人工智能的后续发展，特别是在外部知识源和计算工具的整合方面。该方法已被学术界和工业界团体采纳并扩展，包括OpenAI和Google DeepMind，它们已将类似的工具调用机制整合到其生产模型中。
该论文强调自监督学习用于工具获取，也为关于机器学习效率和纯参数知识局限性的更广泛讨论做出了贡献。截至2025年，工具增强语言模型已成为许多已部署AI助手的标准组件，尽管它们通常使用比原始Toolformer更复杂的规划和验证方法。