Zero-shot learning ist die Fähigkeit eines Modells, eine Aufgabe korrekt auszuführen, ohne dass es während des Trainings oder in seiner Eingabeaufforderung beschriftete Beispiele für genau diese Aufgabe gesehen hat. Im Kontext großer Sprachmodelle bedeutet Zero-shot-Nutzung typischerweise, dass dem Modell nur eine Anweisung gegeben wird, wie etwa „Übersetze diesen Satz ins Französische“ oder „Klassifiziere diese Rezension als positiv oder negativ“, und eine korrekte Antwort ohne beigefügte Demonstrationen erwartet wird. Der Begriff stammt aus der Zeit vor großen Sprachmodellen und wurde ursprünglich in der Computervision und im klassischen maschinellen Lernen verwendet, um Klassifikatoren zu beschreiben, die Kategorien erkennen konnten, die nie in ihren Trainingsdaten vorkamen, meist indem ein neues Label über Zusatzinformationen wie Textbeschreibungen oder Attribute mit bekannten Labels in Beziehung gesetzt wurde.
In Sprachmodellen
Die moderne Zero-shot-Leistung in Sprachmodellen beruht auf zwei Entwicklungen. Erstens setzt groß angelegtes Pretraining auf breiten Textkorpora ein Modell einer enormen Bandbreite an Aufgabenformaten, Formulierungen und Genres aus, sodass eine neuartige Anweisung oft etwas ähnelt, das das Modell während des Trainings implizit gelernt hat, ohne dass ein dediziertes Beispiel nötig ist. Zweitens trainieren Instruktionsabstimmung und Alignment-Techniken wie RLHF Modelle explizit darauf, natürlichsprachliche Anweisungen zu befolgen, statt nur Text auf stilistisch plausible Weise fortzusetzen, was Assistenten wie ChatGPT direkt aus einer einfachen Anfrage nutzbar machte. Vor diesem zweiten Schritt konnten Basis-Modelle wie GPT-3 oft durch geschickte Aufforderungen zu einer Zero-shot-Aufgabe bewegt werden, aber das zuverlässige und hilfreiche Befolgen beliebiger Anweisungen ohne Beispiele verbesserte sich erheblich, sobald Instruktionsabstimmung branchenweit Standard wurde.
Zero-shot versus Few-shot
Zero-shot learning wird üblicherweise zusammen mit Few-shot learning und In-context learning als ein Punkt auf einem Spektrum diskutiert, das durch die Anzahl der Aufgabenbeispiele in der Eingabeaufforderung definiert ist: null für Zero-shot, eine Handvoll für Few-shot. Das GPT-3-Papier berichtete, dass Few-shot-Prompting auf demselben Basismodell generell besser abschnitt als Zero-shot-Prompting, besonders bei Aufgaben mit ungewöhnlichem Ausgabeformat, aber die Lücke hat sich für gut ausgerichtete Chat-Modelle bei häufigen Aufgaben verengt, da diese Modelle speziell darauf trainiert sind, schmucklose Anweisungen zu interpretieren und umzusetzen. Zero-shot-Prompting bleibt der Standardmodus der Interaktion für die meisten Verbraucher-Chatbots, da es eine unzumutbare Schnittstellenbelastung wäre, Nutzer vor jeder Anfrage um Beispiele zu bitten.
Chain-of-Thought und Zero-shot-Schlussfolgern
Eine bemerkenswerte Erweiterung ist Zero-shot-Chain-of-Thought-Prompting, bei dem das Anhängen einer einfachen Phrase wie „Lass uns Schritt für Schritt denken“ an eine Zero-shot-Anweisung die Genauigkeit bei arithmetischen und logischen Denkaufgaben messbar verbessert, ohne dass ausgearbeitete Beispiele bereitgestellt werden. Dieser Befund, der 2022 von Forschern berichtet wurde, zeigte, dass Denkfähigkeit, die in früheren Arbeiten durch Few-shot-Demonstrationen hervorgerufen wurde, oft auch Zero-shot ausgelöst werden konnte, indem das Modell einfach dazu aufgefordert wurde, Zwischenschritte zu externalisieren, und er floss direkt in die Designphilosophie späterer dedizierter Reasoning-Modelle ein.
Einschränkungen
Die Zero-shot-Leistung ist ungleichmäßig: Sie ist tendenziell am stärksten bei Aufgaben, die in natürlicher Sprache häufig vorkommen (Zusammenfassung, Übersetzung, Stimmungsanalyse), und schwächer bei Aufgaben, die präzise, ungewöhnliche Ausgabeformate oder domänenspezifische Konventionen erfordern, mit denen das Modell wenig Exposition hat. Mehrdeutige Anweisungen können auch anders interpretiert werden als beabsichtigt, wenn keine Beispiele das Verständnis des Modells verankern, was ein Grund ist, warum die Praxis des Prompt-Engineerings oft empfiehlt, bei Aufgaben, bei denen Zuverlässigkeit wichtig ist, mindestens ein paar Demonstrationen, eine Systemnachricht oder explizite Formatierungsregeln hinzuzufügen. Zero-shot-Fähigkeit wird auch häufig als Bewertungslinse in akademischen Benchmarks verwendet, da sie die Generalisierung eines Modells aus dem Pretraining direkter misst als Few-shot-Werte, die durch Beispiele, die zufällig eng mit der Testverteilung übereinstimmen, aufgebläht werden können.