Knowledge-Graph-Embedding (KGE), auch bekannt als Knowledge Representation Learning (KRL) oder Multi-Relation Learning, ist eine Aufgabe des maschinellen Lernens, bei der eine niedrigdimensionale Darstellung der Entitäten und Relationen eines Wissensgraphen gelernt wird, während deren Bedeutung erhalten bleibt. Durch die Umwandlung symbolischer Graphdaten in dichte numerische Vektoren ermöglicht KGE die Nutzung von Wissensgraphen in verschiedenen Anwendungen wie Linkvorhersage, Triple-Klassifikation, Entitätserkennung, Clustering und Relationsextraktion. Der Ansatz fällt in das breitere Feld des Repräsentationslernens und ist eng mit maschinellem Lernen verbunden, das in modernen Systemen der künstlichen Intelligenz verwendet wird.
Ein Wissensgraph wird formal als eine Sammlung von Entitäten, Relationen und Fakten definiert, wobei jedes Faktum ein Triple (Kopf, Relation, Schwanz) ist, das eine Verknüpfung zwischen zwei Entitäten bezeichnet. Diese Struktur wird häufig mit der Notation des Resource Description Framework (RDF) ausgedrückt. Wissensgraphen repräsentieren domänenspezifisches Wissen in strukturierter Form und ermöglichen die Ableitung neuen Wissens nach einer Verfeinerung. Reale Anwendungen stehen jedoch vor Herausforderungen wie Datenknappheit und Rechenineffizienz. KGE adressiert diese Probleme, indem jede Entität und jede Relation in einen Vektor einer gewählten Dimension eingebettet wird, was effiziente Berechnung und Generalisierung ermöglicht.
Die Einbettung eines Wissensgraphen ist eine Funktion, die jede Entität und jede Relation in einen Vektor einer gegebenen Dimension übersetzt, die als Einbettungsdimension bezeichnet wird. Es ist möglich, Entitäten und Relationen mit unterschiedlichen Dimensionen einzubetten. Die resultierenden Einbettungsvektoren können dann für nachgelagerte Aufgaben verwendet werden. Eine Wissensgraph-Einbettung wird durch vier Aspekte charakterisiert: den Darstellungsraum (den niedrigdimensionalen Raum für Entitäten und Relationen), die Bewertungsfunktion (ein Maß für die Güte von Triple-Einbettungen), Kodierungsmodelle (wie eingebettete Darstellungen interagieren) und zusätzliche Informationen (alle zusätzlichen Graphdaten, die die Darstellung anreichern, oft über eine ad hoc Bewertungsfunktion integriert).
Einbettungsverfahren
Alle Algorithmen zur Erstellung einer Wissensgraph-Einbettung folgen einem gemeinsamen Ansatz. Zunächst werden Einbettungsvektoren mit zufälligen Werten initialisiert. Dann werden sie iterativ mit einem Trainingssatz von Triples optimiert. In jeder Iteration wird eine Stichprobe von Triples aus dem Trainingssatz gezogen, und ein korruptes Triple wird erzeugt, indem der Kopf oder der Schwanz (oder beide) durch eine andere Entität ersetzt wird, wodurch ein falsches Faktum entsteht. Die ursprünglichen und korrupten Triples werden zur Trainingsstichprobe hinzugefügt, und die Einbettungen werden durch Optimierung einer Bewertungsfunktion aktualisiert. Die Iteration stoppt, wenn eine Stoppbedingung erreicht ist, typischerweise basierend auf Überanpassung des Trainingssatzes. Am Ende sollten die gelernten Einbettungen semantische Bedeutung aus den Trainings-Triples extrahiert haben und ungesehene wahre Fakten korrekt vorhersagen.
Das allgemeine Verfahren kann in Pseudocode zusammengefasst werden. Gegeben einen Trainingssatz, eine Entitätsmenge, eine Relationsmenge und eine Einbettungsdimension initialisiert der Algorithmus Einbettungen zufällig. Solange die Stoppbedingung nicht erfüllt ist, wird eine Stichprobe aus dem Trainingssatz gezogen. Für jedes Triple in der Stichprobe wird ein korruptes Faktum gezogen, und sowohl die ursprünglichen als auch die korrupten Triples werden zur Trainingsstichprobe hinzugefügt. Die Einbettungen werden dann aktualisiert, um die Bewertungsfunktion zu minimieren, die die Plausibilität wahrer Triples im Vergleich zu korrupten misst.
Bewertungsfunktionen und Modelle
Bewertungsfunktionen sind zentral für KGE, da sie die Güte der eingebetteten Darstellung eines Triples bewerten. Verschiedene Modelle schlagen unterschiedliche Bewertungsfunktionen und Kodierungsmechanismen vor. Frühe Modelle wie TransE repräsentieren Relationen als Translationen im Einbettungsraum, wobei der Kopfvektor plus der Relationsvektor den Schwanzvektor approximieren sollte. Andere Modelle wie DistMult und ComplEx verwenden bilineare oder komplexwertige Bewertungsfunktionen, um reichhaltigere Interaktionen zu erfassen. Neuere Ansätze integrieren neuronale Netzwerk-Architekturen, einschließlich Deep-Learning-Modellen, um nichtlineare Einbettungen zu lernen. Diese Modelle variieren in ihrem Darstellungsraum, von euklidisch bis komplex oder hyperbolisch, und in ihrer Fähigkeit, verschiedene Relationstypen zu behandeln.
Kodierungsmodelle definieren, wie Entitäts- und Relationseinbettungen interagieren. Einige Modelle verwenden additive oder multiplikative Interaktionen, während andere Tensorfaktorisierung oder Schichten neuronaler Netze einsetzen. Die Wahl der Bewertungsfunktion und des Kodierungsmodells beeinflusst die Ausdruckskraft und die Recheneffizienz der Einbettung. Beispielsweise können Modelle mit höherer Ausdruckskraft komplexe relationale Muster erfassen, benötigen jedoch möglicherweise mehr Trainingsdaten und Rechenaufwand. Das Feld hat eine kontinuierliche Entwicklung erlebt, wobei neuere Modelle zusätzliche Informationen wie Entitätstypen, textuelle Beschreibungen oder zeitliche Einschränkungen integrieren, um die Leistung zu verbessern.
Anwendungen
Wissensgraph-Einbettungen ermöglichen eine breite Palette von Anwendungen. Linkvorhersage ist eine primäre Aufgabe, bei der das Modell fehlende Verknüpfungen zwischen Entitäten vorhersagt, was nützlich ist, um unvollständige Wissensgraphen zu vervollständigen. Triple-Klassifikation beinhaltet die Bestimmung, ob ein gegebenes Triple wahr oder falsch ist, und unterstützt die Faktenvalidierung. Entitätserkennung und Clustering nutzen Einbettungen, um ähnliche Entitäten zu gruppieren oder Entitäten in Text zu identifizieren. Relationsextraktion verwendet Einbettungen, um Beziehungen zwischen Entitäten in unstrukturierten Daten zu identifizieren. Diese Anwendungen sind in Bereichen wie dem Training von großen Sprachmodellen entscheidend, wo Wissensgraphen strukturierte Fakteninformationen liefern, sowie in generativen KI-Systemen, die Reasoning über Wissen erfordern.
In der Praxis wurde KGE in Empfehlungssystemen, Frage-Antwort-Systemen und der Wirkstoffforschung angewendet. Beispielsweise können Einbettungen Benutzer-Item-Interaktionen oder molekulare Strukturen darstellen und effiziente Ähnlichkeitssuchen ermöglichen. Die niedrigdimensionalen Vektoren sind auch mit Standard-Maschinenlern-Pipelines kompatibel, was die Integration mit anderen Modellen erlaubt. Ab den frühen 2020er Jahren wurden KGE-Techniken in industrielle Systeme von Unternehmen wie Google DeepMind und OpenAI integriert, oft kombiniert mit Transformer-Architekturen für verbessertes Reasoning.
Herausforderungen und zukünftige Richtungen
Trotz seiner Erfolge steht KGE vor mehreren Herausforderungen. Datenknappheit in realen Wissensgraphen begrenzt die Qualität der gelernten Einbettungen, da viele Entitäten und Relationen nur wenige beobachtete Triples haben. Skalierbarkeit ist ein weiteres Problem, da das Training auf großen Graphen erhebliche Rechenressourcen erfordert. Die Behandlung multi-relationaler und heterogener Daten, wie zeitlicher oder unsicherer Fakten, bleibt ein aktives Forschungsgebiet. Darüber hinaus ist die Bewertung von Einbettungen nicht trivial, da Standard-Benchmarks möglicherweise nicht alle Aspekte der semantischen Erhaltung erfassen.
Zukünftige Richtungen umfassen die Entwicklung interpretierbarerer Einbettungen, die Integration externer Wissensquellen und die Verbesserung der Robustheit gegenüber verrauschten Daten. Die Forschung untersucht auch die Integration von KGE mit neuronalen Netzwerk-Modellen wie Residualnetzwerk- und U-Net-Architekturen, obwohl diese in anderen Bereichen häufiger vorkommen. Die Verwendung von Datenaugmentierungs-Techniken und Curriculum-Lern-Strategien könnte helfen, Datenknappheit zu adressieren. Da Systeme der künstlichen Intelligenz zunehmend wissensgetrieben werden, wird KGE wahrscheinlich eine immer wichtigere Rolle dabei spielen, Maschinen zu befähigen, strukturierte Informationen zu verstehen und darüber zu reasoning.