Zero-shot-Klassifikation ist ein Problemaufbau im maschinellen Lernen, bei dem ein Lernender zum Testzeitpunkt Stichproben aus Klassen beobachtet, die während des Trainings nicht beobachtet wurden, und deren Klasse vorhersagen muss. Der Name ist ein Wortspiel, das auf dem früheren Konzept des One-Shot-Lernens im Computer Vision basiert, bei dem die Klassifikation aus nur einem Beispiel gelernt werden kann. Zero-Shot-Methoden funktionieren im Allgemeinen, indem sie beobachtete und nicht beobachtete Klassen durch Zusatzinformationen verknüpfen, die beobachtbare unterscheidende Eigenschaften von Objekten kodieren. Wenn beispielsweise eine Reihe von Tierbildern zu klassifizieren ist, zusammen mit zusätzlichen textuellen Beschreibungen, wie Tiere aussehen, kann ein Modell, das darauf trainiert wurde, Pferde zu erkennen, aber nie ein Zebra gesehen hat, dennoch ein Zebra erkennen, wenn es auch weiß, dass Zebras wie gestreifte Pferde aussehen. Dieses Problem wird in Computer Vision, natürlicher Sprachverarbeitung und maschineller Wahrnehmung umfassend untersucht.
Hintergrund und Geschichte
Das erste Papier über Zero-Shot-Lernen in der natürlichen Sprachverarbeitung erschien in einem Papier von Chang, Ratinov, Roth und Srikumar aus dem Jahr 2008 auf der AAAI'08, aber der Name, der dem Lernparadigma dort gegeben wurde, war dataless classification. Das erste Papier über Zero-Shot-Lernen im Computer Vision erschien auf derselben Konferenz unter dem Namen Zero-Data-Lernen. Der Begriff Zero-Shot-Lernen selbst erschien erstmals in der Literatur in einem Papier von Palatucci, Hinton, Pomerleau und Mitchell aus dem Jahr 2009 auf der NIPS'09. Diese Terminologie wurde später in einem anderen Computer-Vision-Papier wiederholt, und der Begriff Zero-Shot-Lernen setzte sich durch, als eine Abwandlung des One-Shot-Lernens, das Jahre zuvor im Computer Vision eingeführt wurde.
Im Computer Vision lernen Zero-Shot-Lernmodelle Parameter für gesehene Klassen zusammen mit ihren Klassenrepräsentationen und verlassen sich auf repräsentationale Ähnlichkeit zwischen Klassenbezeichnungen, sodass während der Inferenz Instanzen in neue Klassen klassifiziert werden können. In der natürlichen Sprachverarbeitung baut die wichtigste technische Richtung auf der Fähigkeit auf, "die Bezeichnungen zu verstehen" - die Bezeichnungen im selben semantischen Raum darzustellen wie die zu klassifizierenden Dokumente. Dies unterstützt die Klassifikation eines einzelnen Beispiels ohne Beobachtung annotierter Daten, die reinste Form der Zero-Shot-Klassifikation. Das ursprüngliche Papier verwendete die Explicit Semantic Analysis (ESA)-Repräsentation, aber spätere Papiere verwendeten andere Repräsentationen, einschließlich dichter Repräsentationen. Dieser Ansatz wurde auch auf mehrsprachige Domänen, feine Entitätstypisierung und andere Probleme ausgeweitet. Darüber hinaus wurde der rechnerische Ansatz über die bloße Abhängigkeit von Repräsentationen hinaus erweitert, um auf Transfer von anderen Aufgaben wie textueller Folgerung und Fragebeantwortung zu setzen.
Das ursprüngliche Papier weist auch darauf hin, dass es über die Fähigkeit hinaus, ein einzelnes Beispiel zu klassifizieren, möglich ist, die Leistung auf halbüberwachte Weise (oder transduktives Lernen) zu verbessern, wenn eine Sammlung von Beispielen gegeben ist, unter der Annahme, dass sie aus derselben Verteilung stammen. Anders als bei der Standardverallgemeinerung im maschinellen Lernen, wo Klassifikatoren erwartungsgemäß neue Stichproben in Klassen einordnen, die sie bereits während des Trainings beobachtet haben, werden bei der Zero-Shot-Klassifikation während des Trainings des Klassifikators keine Stichproben aus den Klassen gegeben. Sie kann daher als extremer Fall der Domänenanpassung betrachtet werden.
Voraussetzungsinformationen für Zero-Shot-Klassen
Natürlich muss eine Form von Zusatzinformationen über diese Zero-Shot-Klassen gegeben sein, und diese Art von Informationen kann von mehreren Typen sein.
Lernen mit Attributen: Klassen werden von einer vordefinierten strukturierten Beschreibung begleitet. Für Vogelbeschreibungen könnte dies beispielsweise "roter Kopf", "langer Schnabel" umfassen. Diese Attribute sind oft auf strukturierte kompositorische Weise organisiert, und die Berücksichtigung dieser Struktur verbessert das Lernen. Während dieser Ansatz hauptsächlich im Computer Vision verwendet wurde, gibt es auch einige Beispiele dafür in der natürlichen Sprachverarbeitung.
Lernen aus textueller Beschreibung: Wie oben angemerkt, war dies die wichtigste Richtung, die in der natürlichen Sprachverarbeitung verfolgt wurde. Hier wird angenommen, dass Klassenbezeichnungen eine Bedeutung haben und oft mit Definitionen oder Freitext-Natursprachenbeschreibungen angereichert werden. Dies könnte beispielsweise eine Wikipedia-Beschreibung der Klasse umfassen.
Klassen-Klassen-Ähnlichkeit: Hier werden Klassen in einen kontinuierlichen Raum eingebettet. Ein Zero-Shot-Klassifikator kann vorhersagen, dass eine Stichprobe einer bestimmten Position in diesem Raum entspricht, und die nächste eingebettete Klasse wird als vorhergesagte Klasse verwendet, selbst wenn solche Stichproben während des Trainings nicht beobachtet wurden.
Verallgemeinertes Zero-Shot-Lernen
Das obige Zero-Shot-Klassifikationssetup nimmt an, dass zum Testzeitpunkt nur Zero-Shot-Stichproben gegeben sind, nämlich Stichproben aus neuen, ungesehenen Klassen. Beim verallgemeinerten Zero-Shot-Lernen können zum Testzeitpunkt Stichproben aus sowohl neuen als auch bekannten Klassen erscheinen. Dies stellt neue Herausforderungen für Klassifikatoren zum Testzeitpunkt dar, da es sehr schwierig ist, einzuschätzen, ob eine gegebene Stichprobe neu oder bekannt ist. Einige Ansätze, um dies zu behandeln, umfassen:
- ein Gating-Modul, das zuerst trainiert wird, um zu entscheiden, ob eine gegebene Stichprobe aus einer neuen Klasse oder einer alten stammt, und dann zur Inferenzzeit entweder eine harte Entscheidung oder eine weiche probabilistische Entscheidung ausgibt
- ein generatives Modul, das trainiert wird, um Merkmalsrepräsentationen der ungesehenen Klassen zu erzeugen - ein Standardklassifikator kann dann auf Stichproben aus allen Klassen, gesehenen und ungesehenen, trainiert werden.
Anwendungsdomänen
Zero-Shot-Lernen wurde auf die folgenden Felder angewendet:
- Bildklassifikation
- Semantische Segmentierung
- Bilderzeugung
- Objekterkennung
- Natürliche Sprachverarbeitung
- Computerbiologie
- Abstraktes Denken
Beziehung zur modernen KI
Mit dem Aufstieg von großen Sprachmodellen und Transformer-Architekturen ist Zero-Shot-Klassifikation zu einer prominenten Fähigkeit in modernen Systemen der künstlichen Intelligenz geworden. Modelle wie die von OpenAI, Anthropic und Google DeepMind entwickelten können Zero-Shot-Klassifikation auf Text durchführen, indem sie ihr vortrainiertes Verständnis von Sprache nutzen, ohne aufgabenspezifisches Feintuning zu benötigen. Dies stellt eine Verschiebung von den früheren attributbasierten und einbettungsbasierten Ansätzen hin zur Nutzung des semantischen Wissens dar, das in neuronalen Netzwerk-Gewichten kodiert ist. Im Computer Vision wurden ähnliche Fortschritte erzielt, indem Bild- und Textrepräsentationen abgeglichen werden, sodass Modelle Bilder in Kategorien einordnen können, die nur durch natürliche Sprache beschrieben werden. Die Technik ist auch grundlegend für viele Anwendungen in generativer KI, wo Modelle neuartige Eingaben verstehen und kategorisieren müssen.
Siehe auch
- Few-Shot-Lernen
- Transferlernen
- Schnelles Mapping
- Erklärungsbasiertes Lernen