Erklärungsbasiertes Lernen (EBL) ist eine Form des maschinellen Lernens, die eine sehr starke oder sogar perfekte Domänentheorie – eine formale Theorie eines Anwendungsbereichs, ähnlich einem Domänenmodell in der Ontologie-Entwicklung – nutzt, um aus Trainingsbeispielen Verallgemeinerungen zu bilden oder Konzepte zu formen. Im Gegensatz zu empirischen Methoden, die viele Beispiele benötigen, kann EBL aus einem einzigen Beispiel verallgemeinern, indem es die Domänentheorie verwendet, um zu erklären, warum das Beispiel ein Mitglied eines Konzepts ist. Diese Erklärung wird dann in eine wiederverwendbare Regel oder ein Makro kompiliert, das zukünftiges Denken beschleunigt. EBL ist auch mit der Kodierung im Gedächtnis verbunden, um das Lernen zu unterstützen, da die abgeleiteten Verallgemeinerungen für einen effizienten Abruf gespeichert werden.
Der Ansatz basiert auf der Idee, dass eine vollständige Domänentheorie im Prinzip alle Informationen enthält, die benötigt werden, um jede Frage über die Domäne zu entscheiden. Beispielsweise bilden die Regeln des Schachs eine perfekte Domänentheorie für Schach, die es ermöglicht, den besten Zug in jeder Position abzuleiten, obwohl dies in der Praxis aufgrund der kombinatorischen Explosion nicht handhabbar ist. EBL nutzt Trainingsbeispiele, um die Suche nach deduktiven Konsequenzen zu leiten, was den Prozess in der Praxis effizient macht.
Grundlegende Formulierung
Ein EBL-System nimmt vier Eingaben: einen Hypothesenraum (die Menge aller möglichen Schlussfolgerungen), eine Domänentheorie (Axiome über die interessierende Domäne), Trainingsbeispiele (spezifische Fakten, die einige Hypothesen ausschließen) und Operationalitätskriterien (Kriterien zur Bestimmung, welche Merkmale effizient erkennbar sind, wie solche, die direkt von Sensoren erfasst werden). Das System funktioniert, indem es einen kurzen Beweis jedes Trainingsbeispiels aus der Domänentheorie findet und diesen Beweis dann in eine Regel verallgemeinert, die schnell zur Klassifizierung ähnlicher zukünftiger Beispiele angewendet werden kann. Dieser Prozess erweitert die Datenbank der Domänentheorie und ermöglicht eine schnellere Klassifizierung verwandter Instanzen.
Der Hauptnachteil von EBL ist das Nutzenproblem, das erstmals von Minton analysiert wurde: Mit der wachsenden Anzahl gelernter Beweismakros können die Kosten ihrer Anwendung ihren Nutzen überwiegen. Dieses Problem hat Verfeinerungen bei der Auswahl und Verwendung gelernter Regeln vorangetrieben.
Anwendung in der Verarbeitung natürlicher Sprache
Ein besonders gutes Anwendungsgebiet für EBL ist die Verarbeitung natürlicher Sprache (NLP). Hier ist eine reichhaltige Domänentheorie – wie eine natürliche Sprachgrammatik – weder perfekt noch vollständig, kann aber mithilfe eines Treebanks als Trainingsbeispiele an eine bestimmte Anwendung oder Sprachverwendung angepasst werden. Rayner war Pionier dieser Arbeit, und die erste erfolgreiche industrielle Anwendung war eine kommerzielle natürliche Sprachschnittstelle zu relationalen Datenbanken. Die Methode wurde erfolgreich auf mehrere groß angelegte Systeme zur syntaktischen Analyse natürlicher Sprache angewendet, bei denen das Nutzenproblem gelöst wurde, indem die ursprüngliche Grammatik (Domänentheorie) weggelassen und spezialisierte LR-Parsing-Techniken verwendet wurden, was zu enormen Geschwindigkeitssteigerungen führte, jedoch auf Kosten der Abdeckung, aber mit einem Gewinn bei der Disambiguierung.
Bei der Anwendung von EBL auf NLP können Operationalitätskriterien manuell erstellt oder aus dem Treebank abgeleitet werden, entweder unter Verwendung der Entropie seiner Oder-Knoten oder eines Zielabdeckungs-/Disambiguierungs-Kompromisses (äquivalent zum Recall-/Precision-Kompromiss oder F-Score). EBL kann auch verwendet werden, um grammatikbasierte Sprachmodelle für die Spracherkennung aus allgemeinen Unifikationsgrammatiken zu kompilieren. Das Nutzenproblem wurde gelöst, indem die ursprüngliche Grammatik verworfen wurde, und die zitierten Artikel enthalten tendenziell den Ausdruck „Grammatikspezialisierung“ – ganz im Gegensatz zum ursprünglichen Begriff „erklärungsbasierte Verallgemeinerung“. Vielleicht wäre der beste Name für diese Technik datengetriebene Suchraumreduktion.
Andere Forscher, die an EBL für NLP arbeiteten, sind Guenther Neumann, Aravind Joshi, Srinivas Bangalore und Khalil Sima'an. EBL-ähnliche Techniken wurden auch auf die Oberflächengenerierung angewendet, das Gegenstück zum Parsing.
Beziehung zu anderen Lernparadigmen
EBL steht im Gegensatz zu empirischen oder induktiven Lernmethoden, wie sie in Machine learning und Deep learning verwendet werden, die große Datensätze zur Verallgemeinerung benötigen. Während Neural network-Ansätze wie Transformer (architecture)-Modelle in Large language model-Systemen statistische Muster aus massiven Korpora lernen, nutzt EBL explizites symbolisches Wissen. Dies macht EBL besonders geeignet für Domänen, in denen eine starke Theorie existiert, aber Daten knapp sind. Allerdings begrenzt EBLs Abhängigkeit von einer perfekten oder nahezu perfekten Domänentheorie seine Anwendbarkeit auf gut verstandene Domänen, während statistische Methoden verrauschte oder schlecht verstandene Probleme bewältigen können.
In der Computer Vision ist EBL mit dem One-Shot-Lernen verwandt, bei dem ein Modell aus einem einzigen Beispiel lernt, aber EBL erfordert eine Domänentheorie, um das Beispiel zu erklären, während One-Shot-Lernen oft Vorwissen aus verwandten Aufgaben nutzt. Zero-Shot-Lernen, das ungesehene Kategorien ohne Beispiele klassifiziert, teilt ebenfalls konzeptionelle Ähnlichkeiten, verwendet jedoch typischerweise semantische Einbettungen anstelle von deduktiven Beweisen.
Einschränkungen und Erweiterungen
Die primäre Einschränkung von EBL ist das Nutzenproblem, bei dem der Overhead der Speicherung und des Abgleichs gelernter Regeln die Leistung verschlechtern kann. Mintons Analyse zeigte, dass die Kosten der Anwendung gelernter Beweismakros mit ihrer Akkumulation prohibitiv werden können. Lösungen umfassen die selektive Beibehaltung nützlicher Regeln, wie in NLP-Anwendungen zu sehen, die die ursprüngliche Grammatik verwerfen. Erweiterungen von EBL haben die Kombination mit induktiven Methoden untersucht, wie die Verwendung von EBL zur Steuerung der Suche in Curriculum Learning oder zur Verfeinerung von Data Augmentation-Strategien. In der Artificial intelligence-Forschung hat EBL Arbeiten zur erklärungsbasierten Verallgemeinerung in Planung und Diagnose beeinflusst, obwohl moderne Generative AI-Systeme hauptsächlich auf statistischem Lernen basieren.
Siehe auch
- One-Shot-Lernen in der Computer Vision
- Zero-Shot-Lernen
- Machine learning
- Artificial intelligence