Toolformer ist eine Architektur für große Sprachmodelle, die im Februar 2023 von Forschern bei Meta AI eingeführt wurde. Sie ist darauf ausgelegt, autonom zu lernen, welche externen Werkzeuge zu verwenden sind – wie Taschenrechner, Suchmaschinen, Übersetzungssysteme und Kalender-APIs – durch einen selbstüberwachten Trainingsprozess. Im Gegensatz zu früheren Ansätzen, die umfangreiche menschliche Annotationen oder Reinforcement Learning erforderten, lernt Toolformer die Werkzeugnutzung aus einer kleinen Menge von Demonstrationen und integriert diese Fähigkeiten anschließend in seinen eigenen Generierungsprozess.
Das Modell basiert auf der Transformer-Architektur und erweitert die standardmäßige autoregressive Sprachmodellierung um einen Mechanismus zum Einfügen von Werkzeugaufrufen in Textsequenzen. Während der Inferenz kann Toolformer eine spezielle Token-Sequenz erzeugen, die ein Werkzeug aufruft, die Ausgabe des Werkzeugs empfängt und dann die Textgenerierung fortsetzt, die diese Ausgabe einbezieht. Dies ermöglicht es, Aufgaben wie Arithmetik, Faktenabfragen oder Datumsberechnungen an zuverlässigere externe Systeme auszulagern und die Genauigkeit bei Aufgaben zu verbessern, bei denen parametrisches Wissen unzureichend ist.
Trainingsverfahren
Das Training von Toolformer verwendet eine zweistufige Pipeline. Zunächst demonstriert eine kleine Menge von menschlich geschriebenen Beispielen (etwa 10 pro Werkzeug), wie ein Werkzeugaufruf formuliert wird. Daraus generiert das Modell einen größeren Datensatz potenzieller Werkzeugaufrufe, indem es aus seinen eigenen Ausgaben sampelt und diese basierend auf einem selbstüberwachten Verlustkriterium filtert. Konkret bewertet das Modell, ob der Werkzeugaufruf den Verlust auf dem nachfolgenden Text reduziert; nur Aufrufe, die die Vorhersage verbessern, werden beibehalten.
Der gefilterte Datensatz wird dann verwendet, um das Basissprachmodell (eine Version von GPT-J mit 6,7 Milliarden Parametern) durch standardmäßige Next-Token-Prädiktion feinabzustimmen. Diese Feinabstimmung lehrt das Modell sowohl, wann ein Werkzeug aufgerufen werden soll, als auch, wie der Aufruf formatiert und das Ergebnis integriert wird. Die Autoren berichteten, dass dieser Ansatz nur wenige hundert Trainingsbeispiele pro Werkzeug erforderte, im Gegensatz zu Methoden, die Tausende von beschrifteten Instanzen benötigen.
Unterstützte Werkzeuge und Fähigkeiten
Toolformer wurde mit fünf Werkzeugen evaluiert: einem Taschenrechner für Arithmetik, einem Frage-Antwort-System (basierend auf einem retrieval-augmentierten Modell), einer Wikipedia-Suchmaschine, einem maschinellen Übersetzungssystem und einer Kalender-API. Das Modell lernte, jedes Werkzeug angemessen zu verwenden, wie etwa den Taschenrechner für mehrstellige Multiplikation und die Suchmaschine für aktuelle Ereignisse oder obskure Fakten. In Zero-Shot-Evaluierungen bei nachgelagerten Aufgaben wie mathematischen Textaufgaben (GSM8K) und faktischen Frage-Antwort-Aufgaben übertraf Toolformer das Basismodell und erreichte oder übertraf auf bestimmten Benchmarks größere Modelle wie GPT-3 (175B Parameter).
Eine bemerkenswerte Designentscheidung ist, dass Toolformer keine Feinabstimmung des Werkzeugs selbst erfordert; es behandelt jedes Werkzeug als Blackbox mit einer festen Schnittstelle. Diese Modularität ermöglicht es, neue Werkzeuge hinzuzufügen, indem einige Beispiele bereitgestellt und der Filterprozess erneut ausgeführt wird.
Einschränkungen und Kritik
Das ursprüngliche Papier räumte mehrere Einschränkungen ein. Die Werkzeugaufrufe von Toolformer werden gierig generiert und können nicht basierend auf der Ausgabe des Werkzeugs überarbeitet werden, was zu kaskadierenden Fehlern führen kann, wenn der anfängliche Aufruf fehlerhaft ist. Das Modell besitzt auch nicht die Fähigkeit, mehrere Werkzeugaufrufe in einem einzigen Denkschritt zu verketten, was seine Verwendung bei komplexen mehrstufigen Problemen einschränkt. Darüber hinaus kann die selbstüberwachte Filterung manchmal irreführende Aufrufe auswählen, die den Verlust reduzieren, ohne die tatsächliche Aufgabenleistung zu verbessern.
Spätere Arbeiten anderer Forscher stellten fest, dass die Gewinne von Toolformer bei einigen Aufgaben bescheiden waren und dass seine Abhängigkeit von einer festen Menge von Werkzeugen die Generalisierung einschränkte. Es inspirierte jedoch eine Forschungslinie zu werkzeugaugmentierten Sprachmodellen, einschließlich späterer Systeme wie Gorilla und ART, die die Werkzeugmenge erweiterten und die Robustheit der Aufrufe verbesserten.
Auswirkungen und Vermächtnis
Toolformer zeigte, dass Sprachmodelle die Werkzeugnutzung mit minimaler Überwachung lernen können, ein Schritt hin zu fähigeren und zuverlässigeren KI-Systemen. Es beeinflusste spätere Entwicklungen in generativer KI und künstlicher Intelligenz, insbesondere bei der Integration externer Wissensquellen und Rechenwerkzeuge. Der Ansatz wurde sowohl von akademischen Laboren als auch von Industriegruppen übernommen und erweitert, einschließlich OpenAI und Google DeepMind, die ähnliche Werkzeugaufrufmechanismen in ihre Produktionsmodelle integriert haben.
Die Betonung des Papiers auf selbstüberwachtes Lernen für die Werkzeugakquise trug auch zu breiteren Diskussionen über maschinelles Lernen-Effizienz und die Grenzen rein parametrischen Wissens bei. Ab 2025 sind werkzeugaugmentierte Sprachmodelle eine Standardkomponente vieler eingesetzter KI-Assistenten, obwohl sie typischerweise ausgefeiltere Planungs- und Verifikationsmethoden verwenden als das ursprüngliche Toolformer.