Zero-shot-Prompting ist eine Technik in der künstlichen Intelligenz und dem maschinellen Lernen, bei der ein Modell aufgefordert wird, eine Aufgabe auszuführen, ohne dass ihm Beispiele oder Demonstrationen zur Verfügung gestellt werden. Das Modell muss sich ausschließlich auf sein vortrainiertes Wissen und die Anweisungen im Prompt verlassen, um die korrekte Ausgabe zu erzeugen. Dies steht im Gegensatz zum Few-shot-Prompting, bei dem einige Beispiele in den Prompt aufgenommen werden, um das Modell zu leiten. Zero-shot-Prompting ist eine grundlegende Fähigkeit moderner großer Sprachmodelle (LLMs), die es ihnen ermöglicht, eine breite Palette von Aufgaben mit minimalen aufgabenspezifischen Daten zu bewältigen.
Das Konzept hat seine Wurzeln im Zero-shot-Lernen (ZSL), einem Problemaufbau im maschinellen Lernen, bei dem ein Lernender Stichproben aus Klassen beobachtet, die während des Trainings nicht gesehen wurden, und deren Klasse vorhersagen muss. Der Name ist ein Wortspiel, das auf dem früheren Konzept des One-shot-Lernens in der Computer Vision basiert. Zero-shot-Methoden funktionieren im Allgemeinen, indem sie beobachtete und nicht beobachtete Klassen durch Zusatzinformationen verknüpfen, die beobachtbare unterscheidende Eigenschaften kodieren. Beispielsweise kann ein Modell, das darauf trainiert wurde, Pferde zu erkennen, aber nie ein Zebra gesehen hat, dennoch ein Zebra erkennen, wenn es weiß, dass Zebras wie gestreifte Pferde aussehen. Im Kontext des Promptings nutzt das Zero-shot-Prompting die internen Repräsentationen und das semantische Verständnis des Modells, um auf ungesehene Aufgaben zu verallgemeinern.
Hintergrund und Geschichte
Das erste Papier über Zero-shot-Lernen in der Verarbeitung natürlicher Sprache erschien 2008 von Chang, Ratinov, Roth und Srikumar auf der AAAI'08 unter dem Namen „dataless classification“. Das erste Papier über Zero-shot-Lernen in der Computer Vision erschien auf derselben Konferenz unter dem Namen „zero-data learning“. Der Begriff „Zero-shot-Lernen“ selbst tauchte erstmals in einem Papier von Palatucci, Hinton, Pomerleau und Mitchell auf der NIPS'09 aus dem Jahr 2009 auf. Diese Terminologie setzte sich durch, als eine Abwandlung des One-shot-Lernens, das Jahre zuvor in der Computer Vision eingeführt wurde.
In der Computer Vision lernten Zero-shot-Lernmodelle Parameter für gesehene Klassen zusammen mit ihren Klassenrepräsentationen, wobei sie sich auf die repräsentationale Ähnlichkeit zwischen Klassenbezeichnungen verließen, sodass Instanzen während der Inferenz neuen Klassen zugeordnet werden konnten. In der Verarbeitung natürlicher Sprache basierte die zentrale technische Richtung auf der Fähigkeit, „die Bezeichnungen zu verstehen“ - Bezeichnungen im selben semantischen Raum wie die zu klassifizierenden Dokumente darzustellen. Dies unterstützte die Klassifikation eines einzelnen Beispiels ohne jegliche annotierte Daten, die reinste Form der Zero-shot-Klassifikation. Das ursprüngliche Papier verwendete die Explicit-Semantic-Analysis-Repräsentation (ESA), spätere Papiere verwendeten jedoch dichte Repräsentationen. Dieser Ansatz wurde auf mehrsprachige Domänen, feine Entitätstypisierung und andere Probleme ausgeweitet. Über die reine Abhängigkeit von Repräsentationen hinaus wurde der rechnerische Ansatz erweitert, um von der Übertragung aus anderen Aufgaben wie Textimplikation und Fragebeantwortung abzuhängen.
Voraussetzungsinformationen für Zero-shot-Klassen
Zero-shot-Lernen erfordert Zusatzinformationen über die ungesehenen Klassen. Es gibt verschiedene Arten von Zusatzinformationen:
- Lernen mit Attributen: Klassen werden von vordefinierten strukturierten Beschreibungen begleitet. Beispielsweise könnten Vogelbeschreibungen „roter Kopf“ oder „langer Schnabel“ enthalten. Diese Attribute sind oft auf eine strukturierte, kompositionelle Weise organisiert, und die Berücksichtigung dieser Struktur verbessert das Lernen. Dieser Ansatz wurde hauptsächlich in der Computer Vision verwendet, mit einigen Beispielen in der Verarbeitung natürlicher Sprache.
- Lernen aus Textbeschreibungen: Klassenbezeichnungen wird eine Bedeutung zugeschrieben und sie werden oft mit Definitionen oder Freitext-Natursprachbeschreibungen angereichert, wie etwa einer Wikipedia-Beschreibung der Klasse. Dies war die zentrale Richtung in der Verarbeitung natürlicher Sprache.
- Klassen-Klassen-Ähnlichkeit: Klassen werden in einem kontinuierlichen Raum eingebettet. Ein Zero-shot-Klassifikator kann vorhersagen, dass eine Stichprobe einer bestimmten Position in diesem Raum entspricht, und die nächstgelegene eingebettete Klasse wird als vorhergesagte Klasse verwendet, selbst wenn während des Trainings keine solchen Stichproben beobachtet wurden.
Im Kontext des Zero-shot-Promptings sind die Zusatzinformationen implizit in den Parametern des Modells während des Vortrainings kodiert. Das Modell hat große Mengen an Text gesehen und Assoziationen zwischen Konzepten gelernt, wodurch es Anweisungen verstehen und angemessene Antworten ohne explizite Beispiele erzeugen kann.
Verallgemeinertes Zero-shot-Lernen
Das Standard-Setup des Zero-shot-Lernens geht davon aus, dass zum Testzeitpunkt nur Zero-shot-Stichproben (aus ungesehenen Klassen) gegeben sind. Beim verallgemeinerten Zero-shot-Lernen können zum Testzeitpunkt Stichproben sowohl aus neuen als auch aus bekannten Klassen auftreten. Dies stellt Herausforderungen dar, da es schwierig ist abzuschätzen, ob eine gegebene Stichprobe neu oder bekannt ist. Ansätze zur Bewältigung umfassen:
- Ein Gating-Modul, das darauf trainiert wird zu entscheiden, ob eine gegebene Stichprobe aus einer neuen oder einer alten Klasse stammt, und zur Inferenzzeit entweder eine harte oder weiche probabilistische Entscheidung ausgibt.
- Ein generatives Modul, das darauf trainiert wird, Merkmalsrepräsentationen ungesehener Klassen zu erzeugen, sodass ein Standard-Klassifikator auf Stichproben aus allen Klassen, gesehenen und ungesehenen, trainiert werden kann.
Für das Zero-shot-Prompting ist das verallgemeinerte Zero-shot-Lernen weniger relevant, da das Modell typischerweise aufgefordert wird, eine einzelne Aufgabe auszuführen, ohne zwischen gesehenen und ungesehenen Klassen unterscheiden zu müssen. Die zugrunde liegende Herausforderung der Verallgemeinerung bleibt jedoch für eine robuste Leistung wichtig.
Anwendungsdomänen
Zero-shot-Lernen und Zero-shot-Prompting wurden auf eine breite Palette von Bereichen angewendet:
- Bildklassifikation: Erkennen von Objekten oder Szenen, die während des Trainings nicht gesehen wurden.
- Semantische Segmentierung: Zuweisen von Bezeichnungen zu Pixeln in einem Bild, einschließlich ungesehener Kategorien.
- Bilderzeugung: Generieren von Bildern von Konzepten, die nicht explizit trainiert wurden.
- Objekterkennung: Erkennen von Objekten aus ungesehenen Klassen.
- Verarbeitung natürlicher Sprache: Textklassifikation, Stimmungsanalyse und Fragebeantwortung ohne aufgabenspezifische Trainingsdaten.
- Computerbiologie: Vorhersage von Eigenschaften biologischer Entitäten, wie etwa Proteinfunktionen, ohne beschriftete Beispiele.
- Abstraktes Denken: Lösen von Denkaufgaben, die Verallgemeinerung auf neuartige Situationen erfordern.
Im Zeitalter großer Sprachmodelle ist Zero-shot-Prompting zu einer Standardbewertungsmethode geworden. Modelle wie die von OpenAI, Anthropic und Google DeepMind entwickelten werden oft auf ihre Zero-shot-Leistung über verschiedene Benchmarks hinweg getestet. Diese Fähigkeit ist ein direktes Ergebnis des Trainings auf massiven Korpora und der Transformer-Architektur, die es dem Modell ermöglicht, große Mengen an Wissen zu verinnerlichen und Anweisungen zu befolgen.
Herausforderungen und Einschränkungen
Trotz seiner Leistungsfähigkeit hat Zero-shot-Prompting Einschränkungen. Das Modell kann plausible, aber falsche Antworten erzeugen, insbesondere bei Aufgaben, die spezialisiertes Wissen oder Denken erfordern. Die Qualität des Prompts ist von erheblicher Bedeutung; schlecht formulierte Anweisungen können zu suboptimalen Ergebnissen führen. Darüber hinaus ist die Zero-shot-Leistung oft geringer als die Few-shot- oder Feintuning-Leistung, da das Modell keine expliziten Beispiele hat, um seine Ausgabe zu kalibrieren. Forscher untersuchen weiterhin Methoden zur Verbesserung der Zero-shot-Fähigkeiten, wie etwa besseres Prompt-Engineering, Ketten-Denken (Chain-of-Thought) und Instruction-Tuning.