Informationsextraktion (IE) ist ein Bereich der natürlichen Sprachverarbeitung, der automatisch strukturierte Informationen aus unstrukturiertem oder semistrukturiertem Text ableitet. Sie umfasst Aufgaben wie die Erkennung benannter Entitäten, die Extraktion von Relationen und die Extraktion von Ereignissen und ist grundlegend für den Aufbau von Wissensbasen, Frage-Antwort-Systemen und Text-Mining-Anwendungen. IE-Systeme wandeln Rohtext in maschinenlesbare Daten um und ermöglichen so nachgelagerte Aufgaben wie Suche, Schlussfolgerung und Analytik.
Die Ursprünge der Informationsextraktion reichen bis in die 1960er- und 1970er-Jahre zurück, mit frühen Systemen wie dem Linguistic String Project an der New York University und dem FRUMP-System, das Ende der 1970er-Jahre an der Yale University entwickelt wurde. Das Feld gewann in den 1980er-Jahren durch die Message Understanding Conferences (MUC) an Bedeutung, eine Reihe von Wettbewerben, die von der U.S. Defense Advanced Research Projects Agency (DARPA) finanziert wurden und Standard-IE-Aufgaben wie die Erkennung benannter Entitäten und das Ausfüllen von Vorlagen definierten. Später weitete das Automatic Content Extraction (ACE)-Programm, das von 1999 bis 2008 vom U.S. National Institute of Standards and Technology (NIST) betrieben wurde, den Umfang um Entitäts-, Relations- und Ereignisextraktion mit komplexeren Annotationsrichtlinien aus.
Kerntätigkeiten
Informationsextraktion umfasst typischerweise mehrere Teilaufgaben. Die Erkennung benannter Entitäten (NER) identifiziert Erwähnungen von Entitäten wie Personen, Organisationen, Orten, Datumsangaben und numerischen Ausdrücken. Die Relationsextraktion bestimmt semantische Beziehungen zwischen Entitäten, wie „arbeitet für“ oder „befindet sich in“. Die Ereignisextraktion identifiziert Vorkommnisse, die im Text beschrieben werden, einschließlich des Ereignisauslösers, der Teilnehmer und der zeitlichen Attribute. Die Koreferenzauflösung verknüpft verschiedene Erwähnungen derselben Entität über ein Dokument hinweg, was für die Aggregation von Informationen wesentlich ist. Diese Aufgaben werden häufig in einer Pipeline ausgeführt, obwohl moderne Systeme sie möglicherweise gemeinsam modellieren.
Methoden und Ansätze
Frühe IE-Systeme stützten sich auf handgefertigte Regeln und Wörterbücher. Zum Beispiel nutzte das FASTUS-System, das in den 1990er-Jahren am SRI International entwickelt wurde, endliche Zustandsmaschinen, um Muster zu identifizieren. Statistische Methoden wie Hidden-Markov-Modelle und verallgemeinerte Zufallsfelder wurden in den 2000er-Jahren populär, wie das Stanford-NER-System zeigt. Mit dem Aufkommen des Deep Learning erzielten neuronale Netzarchitekturen – insbesondere rekurrente neuronale Netze und später Tranformatoren – den Stand der Technik. Modelle wie BERT, die 2018 von Google eingeführt wurden, verwenden kontextualisierte Wortrepräsentationen, die die Genauigkeit der Entitäts- und Relationsextraktion deutlich verbessern. In jüngerer Zeit wurden große Sprachmodelle (LLMs) über Prompting und Feintuning auf IE angewendet, wodurch eine Few-shot-Unterstützung mit minimalen aufgabenspezifischen Trainingsdaten ermöglicht wird.
Anwendungen
Informationsextraktion wird in der Industrie und Forschung umfassend eingesetzt. Im biomedizinischen Bereich extrahieren Systeme Gen-Krankheits-Assoziationen und Wechselwirkungen von Medikamenten auswissenschaftlicher Literatur und unterstützen so die Arzneimittelforschung. Im Finanzwesen überwacht IE Nachrichten und Berichte, um Unternehmensgewinne, Fusachten und Risikoindikatoren zu extrahieren. Rechtstechnik verwendet IE zur Identifikation von Klauseln und Parteien in PRODUKTEN Verträge. Suchmaschinen nutzen IE, um Wissenspanels und strukturierte Snippets zu generieren. Social-Media-Analysen setzen IE ein, um Produktwähnungen und öffentliche Stimmungen zu verfolgen. Die extrahieren Daten füllen häufig die Wissensdaten, wie die von Google’s Knowledge-Graphen, die entitätsbasierte Suchfunktionen unterstützen.
Herausforderungen und Einschränkungen
Trotz Fortschritten sieht sich die IE mehreren Herausforderungen gegenüber. Ambiguität in der Sprache, wie Polysemien und Koreferenz, kann zu Fehlern führen. Die Domänenübertragung bleibt schwierig: Modelle, die auf einem bestimmten Bereich (z. B. Nachrichten) trainiert sind, verschlechtern sich oft, wenn sie auf einen anderen (z. B. medizinische Texte) angewendet werden. Für ressourcenärmere Sprachen und spezifische Fachbegriffe fehlen ausreichende Trainingsdaten. Außerdem bleibt die Extraktion von Ereignissen mit komplexen Zeit- und Kausalbeziehungen eine offene Frage. Die Auswertung ist ebenfalls schwierig, da Anmerkungen zwischen Datensätzen und Aufgaben variieren. Bis Anfang der 2020er-Jahre bekamen LLM einige Probleme, führen aber neue ein, wie Halluzination und Inkonsistenz bei extrahierten Tatsachen.
Zukünftige Richtungen
Die aktuelle Forschung konzentriert sich auf die gemeinsame Extraktion von Entitäten und Relationen mithilfe graphischer neuronaler Netze, um Wechselwirkungen zu erfassen, und auf der MIS Zentrale in eine Einbindung externer Wissensbasen, um die Genualität zu verbessern. Es gibt auch Interesse an inklusivem und lebenslangen Lernen, in denen sich IE-Systeme an neue Domänen anpassen, ohne früheres Wissen zu vergessen. Mit dem Aufkommen der generative KI gibt es zunehmend Arbeiten zur Verwendung von LLM für IE in einer konversationalen oder befehlsbeherrschten Art und zudem zur Gewährleung, dass extrahierte Information erklärbar und vertrauenswürdig ist. Die Integration von IE mit dem Aufbaut von Wissen Graphen und der Folgerung bleibt ein dynamischer Bereich mit potenziellen Anwendungen in der automatisierten Wissenschaftserkennung und im Unternehmensdaten.
Siehe auch
- Natürliche Sprachverarbeitung
- Wissensgraph
- Erkennung und Extraktion benannter Entitäten
- Relationsextraktion
- Großes Sprachmodell