Toolformerは、2023年2月にMeta AIの研究者らによって発表されたLarge language modelアーキテクチャである。これは、電卓、検索エンジン、翻訳システム、カレンダーAPIなどの外部ツールを、自己教師あり学習プロセスを通じて自律的に使用する方法を学習するように設計されている。広範な人間によるアノテーションや強化学習を必要とした従来のアプローチとは異なり、Toolformerは少数のデモンストレーションからツールの使用方法を学習し、その後、これらの機能を自身の生成プロセスに統合する。
このモデルはTransformer (architecture)アーキテクチャに基づいており、テキストシーケンスにツール呼び出しを挿入するメカニズムで標準的な自己回帰言語モデリングを拡張している。推論中、Toolformerはツールを呼び出す特別なトークンシーケンスを生成し、ツールの出力を受け取り、その出力を組み込んだテキストの生成を続けることができる。これにより、算術、事実検索、日付計算などのタスクをより信頼性の高い外部システムに委任でき、パラメトリック知識が不十分なタスクでの精度が向上する。
トレーニング手順
Toolformerのトレーニングでは、2段階のパイプラインが使用される。まず、少数の人間が書いた例（ツールあたり約10個）が、ツール呼び出しの表現方法を示す。これらから、モデルは自身の出力をサンプリングし、自己教師あり損失基準に基づいてフィルタリングすることで、潜在的なツール呼び出しのより大きなデータセットを生成する。具体的には、モデルはツール呼び出しが後続テキストの損失を低減するかどうかを評価し、予測を改善する呼び出しのみが保持される。
フィルタリングされたデータセットは、標準的な次トークン予測を使用してベース言語モデル（67億パラメータのGPT-Jのバージョン）をファインチューニングするために使用される。このファインチューニングにより、モデルはツールをいつ呼び出すか、呼び出しをどのようにフォーマットし、結果を統合するかを学習する。著者らは、このアプローチがツールあたり数百のトレーニング例のみを必要とし、数千のラベル付きインスタンスを必要とする方法とは対照的であると報告した。
サポートされるツールと機能
Toolformerは、算術用の電卓、質問応答システム（検索拡張モデルに基づく）、Wikipedia検索エンジン、機械翻訳システム、カレンダーAPIの5つのツールで評価された。モデルは、複数桁の乗算には電卓を、最近の出来事やあまり知られていない事実には検索エンジンを呼び出すなど、各ツールを適切に使用することを学習した。数学の文章問題（GSM8K）や事実に基づく質問応答などの下流タスクにおけるゼロショット評価では、Toolformerはベースモデルを上回り、特定のベンチマークではGPT-3（1750億パラメータ）などのより大きなモデルに匹敵するか、それを上回った。
注目すべき設計上の選択として、Toolformerはツール自体のファインチューニングを必要とせず、各ツールを固定インターフェースを持つブラックボックスとして扱う。このモジュール性により、いくつかの例を提供してフィルタリングプロセスを再実行するだけで、新しいツールを追加できる。
制限と批判
元の論文では、いくつかの制限が認められている。Toolformerのツール呼び出しは貪欲に生成され、ツールの出力に基づいて修正できないため、最初の呼び出しが不正な形式の場合、連鎖的なエラーが発生する可能性がある。また、モデルは単一の推論ステップで複数のツール呼び出しを連鎖させる能力がなく、複雑な多段階の問題での使用が制限される。さらに、自己教師ありフィルタリングは、タスクパフォーマンスを真に向上させずに損失を低減する誤った呼び出しを選択することがある。
他の研究者によるその後の研究では、Toolformerの利得が一部のタスクで控えめであり、固定されたツールセットへの依存が一般化を制限することが指摘された。しかし、これはツール拡張言語モデルに関する研究の流れに影響を与え、後にGorillaやARTなどのシステムがツールセットを拡張し、呼び出しの堅牢性を改善した。
影響と遺産
Toolformerは、言語モデルが最小限の監督でツール使用を学習できることを実証し、より有能で信頼性の高いAIシステムへの一歩となった。これは、Generative AIやArtificial intelligenceのその後の発展、特に外部知識ソースと計算ツールの統合に影響を与えた。このアプローチは、学術研究所と産業界の両方で採用・拡張され、OpenAIやGoogle DeepMindを含む組織が、同様のツール呼び出しメカニズムを本番モデルに組み込んでいる。
この論文がツール獲得のための自己教師あり学習に重点を置いたことは、Machine learningの効率性と純粋なパラメトリック知識の限界に関するより広範な議論にも貢献した。2025年時点で、ツール拡張言語モデルは多くの展開済みAIアシスタントの標準的なコンポーネントとなっているが、通常は元のToolformerよりも洗練された計画と検証方法を使用している。