Few-shot-Lernen ist die Fähigkeit, eine neue Aufgabe korrekt auszuführen, nachdem nur eine kleine Anzahl von Beispielen für diese Aufgabe gezeigt wurde, oft nur ein bis einige Dutzend. Im Kontext großer Sprachmodelle bezieht sich der Begriff am häufigsten auf eine spezifische Praxis: Das Platzieren mehrerer Eingabe-Ausgabe-Beispiele direkt im Prompt, unmittelbar vor der eigentlichen Abfrage, sodass das Modell das Muster ableiten und anwenden kann, ohne dass sich die zugrunde liegenden Gewichte ändern. Dies unterscheidet Few-shot-Lernen von traditionellen überwachten Ansätzen, bei denen das Lernen einer neuen Aufgabe das Sammeln eines beschrifteten Datensatzes und das Ausführen eines Optimierungsprozesses wie Feinabstimmung erfordert.
Die Rahmung wurde durch das GPT-3-Paper „Language Models are Few-Shot Learners" populär gemacht, das 2020 von Tom Brown und Koautoren bei OpenAI veröffentlicht wurde. Das Paper zeigte, dass ein ausreichend großes autoregressives Modell, das nur auf der Vorhersage des nächsten Tokens über große Textmengen trainiert wurde, Übersetzung, Fragenbeantwortung und Arithmetik angemessen durchführen konnte, wenn es eine Handvoll Demonstrationen in seinem Kontext erhielt, ohne Gradientenaktualisierungen. Dieses Ergebnis war eine der klarsten frühen Demonstrationen, dass allein die Skalierung, kombiniert mit einem allgemeinen Vortrainingsziel, aufgabenspezifische Trainingsdaten ersetzen konnte.
Mechanismus
Few-shot-Prompting funktioniert, weil die Parameter eines vortrainierten Modells bereits umfassendes statistisches Wissen darüber kodieren, wie Aufgaben verschiedener Art strukturiert sind; Die Beispiele im Prompt lehren das Modell keine neuen Fakten, sondern spezifizieren eher, welche Aufgabe, welches Format und welchen Stil es aus den vielen anwenden soll, die das Modell bereits erzeugen kann. Diese Fähigkeit wird allgemein unter dem breiteren Begriff In-Context-Lernen untersucht, dem Phänomen, dass transformerbasierte Modelle ihr Verhalten rein basierend auf dem Inhalt ihres Kontextfensters anpassen. Die Anzahl der benötigten Beispiele, ihre Reihenfolge, ihre Ähnlichkeit zur Zielabfrage und wie die Demonstrationen formatiert sind, haben sich alle als einflussreich auf die Genauigkeit erwiesen, manchmal erheblich, was Prompt-Design zu einem eigenen empirischen Handwerk gemacht hat, das eng mit Prompt-Engineering verwandt ist.
Beziehung zu Zero-shot und Feinabstimmung
Few-shot-Lernen liegt zwischen zwei anderen Regimen: Zero-shot-Lernen, bei dem ein Modell nur eine Anweisung und keine Beispiele erhält, und Feinabstimmung, bei der die Gewichte des Modells auf einem beschrifteten Datensatz aktualisiert werden. Da Modelle größer geworden sind und stärker mit Instruktionsabstimmung trainiert wurden, hat sich die Lücke zwischen Zero-shot- und Few-shot-Leistung für viele häufige Aufgaben verringert, da gut abgestimmte Modelle oft einer klaren Anweisung ohne Demonstrationen korrekt folgen können. Few-shot-Beispiele bleiben jedoch nützlich, um ein ungewöhnliches Ausgabeformat, ein idiosynkratisches Klassifikationsschema oder einen Stil zu spezifizieren, der schwer in Worten zu beschreiben, aber leicht zu zeigen ist. Im Vergleich zur Feinabstimmung hat Few-shot-Prompting den Vorteil, dass keine Trainingsinfrastruktur erforderlich ist und es sofort wirkt, aber es verbraucht bei jedem Aufruf Kontextfensterplatz, und seine Gewinne bleiben typischerweise nicht bestehen oder verstärken sich nicht wie bei einem feinabgestimmten Modell.
Rezeption und Vermächtnis
Das GPT-3-Few-shot-Ergebnis gestaltete neu, wie das Feld über Generalisierung dachte: Anstatt schmale Modelle für jede Aufgabe zu bauen, wurde es plausibel, ein großes, allgemeines Modell zu bauen und es zur Inferenzzeit allein durch Prompting zu spezialisieren. Dieser Wandel untermauerte das API-first-Geschäftsmodell, das OpenAI und spätere Wettbewerber übernahmen, und er deutete direkt auf die breitere Bewegung hin zu allgemeinen Chat-Assistenten wie ChatGPT hin. Spätere Arbeiten stellten in Frage, wie viel des scheinbaren „Lernens" echte Neuaufgaben-Erfassung widerspiegelte gegenüber dem Abrufen einer Aufgabe, die das Modell während des Vortrainings bereits etwas Ähnliches gesehen hatte, eine Debatte, die weiterhin prägt, wie Forscher Fähigkeitsbehauptungen interpretieren, die mit emergenten Fähigkeiten und Few-shot-Benchmarks verbunden sind.