Text Mining, auch bekannt als Text Data Mining (TDM) oder Text Analytics, ist der Prozess der Gewinnung hochwertiger Informationen aus Text. Es umfasst die Entdeckung neuer, bisher unbekannter Informationen durch Computer, indem automatisch Muster und Trends aus schriftlichen Quellen wie Websites, Büchern, E-Mails, Bewertungen und Artikeln extrahiert werden. Das Feld kombiniert Techniken aus künstlicher Intelligenz, maschinellem Lernen und Statistik, um unstrukturierten Text in strukturierte Daten für die Analyse umzuwandeln. Hochwertige Informationen beziehen sich typischerweise auf eine Kombination aus Relevanz, Neuheit und Interesse und werden durch Methoden wie statistisches Musterlernen und natürliche Sprachverarbeitung gewonnen.
Die Disziplin entstand aus frühen Arbeiten im Information Retrieval und Knowledge Discovery, mit Wurzeln in den 1980er Jahren, als die Lebenswissenschaftsforschung und der staatliche Geheimdienst erstmals automatisierte Textanalyse anwendeten. Eine typische Anwendung scannt eine Reihe von Dokumenten in einer natürlichen Sprache und modelliert entweder die Dokumentmenge für die prädiktive Klassifikation oder befüllt eine Datenbank oder einen Suchindex mit extrahierten Informationen. Das Dokument ist die grundlegende Einheit, definiert als eine Einheit von Textdaten, die in vielen Sammlungen existiert.
Kernaufgaben und Perspektiven
Text Mining umfasst mehrere typische Aufgaben: Textkategorisierung, Text-Clustering, Konzept- und Entitätsextraktion, Erstellung granularer Taxonomien, Sentimentanalyse, Dokumentzusammenfassung und Entitätsbeziehungsmodellierung. Laut Hotho et al. (2005) kann das Feld aus drei Perspektiven betrachtet werden: Informationsextraktion, Data Mining und Knowledge Discovery in Databases (KDD). Der Prozess umfasst in der Regel die Strukturierung des Eingabetextes (Parsing, Hinzufügen oder Entfernen linguistischer Merkmale und Einfügen in eine Datenbank), das Ableiten von Mustern innerhalb der strukturierten Daten und schließlich die Bewertung und Interpretation der Ausgabe.
Textanalyse umfasst Information Retrieval, lexikalische Analyse zur Untersuchung von Wortfrequenzverteilungen, Mustererkennung, Tagging und Annotation, Informationsextraktion, Data-Mining-Techniken einschließlich Link- und Assoziationsanalyse, Visualisierung und prädiktive Analytik. Das übergeordnete Ziel ist es, Text in Daten für die Analyse umzuwandeln, wobei die Interpretation eine kritische Endphase darstellt.
Text Analytics und geschäftliche Nutzung
Text Analytics beschreibt eine Reihe von linguistischen, statistischen und maschinellen Lerntechniken, die den Informationsgehalt von Textquellen für Business Intelligence, explorative Datenanalyse, Forschung oder Untersuchungen modellieren und strukturieren. Der Begriff ist grob synonym mit Text Mining; Ronen Feldman modifizierte 2004 eine Beschreibung von „Text Mining“ aus dem Jahr 2000, um „Text Analytics“ zu beschreiben. Letzterer Begriff wird heute häufiger im Geschäftsumfeld verwendet, während „Text Mining“ in frühen Anwendungsbereichen wie der Lebenswissenschaftsforschung und dem staatlichen Geheimdienst gebräuchlich bleibt.
Im Geschäftsumfeld wird Text Analytics angewendet, um Probleme unabhängig oder in Verbindung mit Abfragen und Analysen von strukturierten, numerischen Daten zu lösen. Es wird oft behauptet, dass 80 % der geschäftsrelevanten Informationen in unstrukturierter Form vorliegen, hauptsächlich als Text. Diese Techniken entdecken und präsentieren Wissen - Fakten, Geschäftsregeln und Beziehungen - das sonst in Textform eingeschlossen und für automatisierte Verarbeitung unzugänglich bliebe.
Analyseprozesse und Teilaufgaben
Text-Mining-Systeme umfassen typischerweise mehrere Teilaufgaben. Dimensionsreduktion ist eine wichtige Vorverarbeitungstechnik, die verwendet wird, um Grundwörter zu identifizieren und die Größe von Textdaten zu reduzieren. Information Retrieval oder Korpusidentifikation ist ein vorbereitender Schritt, der eine Reihe von Textmaterialien aus dem Web, Dateisystemen, Datenbanken oder Inhaltskorpus-Managern sammelt oder identifiziert.
Während einige Systeme ausschließlich fortgeschrittene statistische Methoden anwenden, verwenden viele andere umfangreiche natürliche Sprachverarbeitung, wie Part-of-Speech-Tagging, syntaktisches Parsing und andere linguistische Analysen. Named Entity Recognition verwendet Gazetteers oder statistische Techniken, um benannte Textmerkmale wie Personen, Organisationen, Ortsnamen, Börsentickersymbole und Abkürzungen zu identifizieren. Disambiguierung verwendet kontextuelle Hinweise, um zu entscheiden, ob sich „Ford“ beispielsweise auf einen ehemaligen US-Präsidenten, einen Fahrzeughersteller, einen Filmstar oder eine Flussüberquerung bezieht. Musteridentifizierte Entitäten wie Telefonnummern und E-Mail-Adressen können über reguläre Ausdrücke erkannt werden.
Weitere Teilaufgaben umfassen Dokument-Clustering (Identifizierung von Mengen ähnlicher Dokumente), Koreferenzauflösung (Identifizierung von Nominalphrasen, die sich auf dasselbe Objekt beziehen), Extraktion von Beziehungen, Fakten und Ereignissen sowie Sentimentanalyse (Erkennung subjektiven Materials und Extraktion von Einstellungen, Meinungen, Stimmungen und Emotionen). Quantitative Textanalyse, die aus den Sozialwissenschaften stammt, verwendet menschliche Beurteiler oder Computer, um semantische oder grammatische Beziehungen zwischen Wörtern für Zwecke wie psychologische Profilerstellung zu extrahieren. Die Vorverarbeitung umfasst in der Regel Tokenisierung, Filterung und Stemming.
Anwendungen in verschiedenen Bereichen
Text-Mining-Technologie wird breit auf staatliche, Forschungs- und Geschäftsbedürfnisse angewendet. Juristen nutzen sie für E-Discovery, während Regierungen und Militärgruppen sie für nationale Sicherheit und Geheimdienste einsetzen. Wissenschaftliche Forscher integrieren Text Mining, um große Mengen von Textdaten zu organisieren, Ideen zu bestimmen, die durch Text kommuniziert werden (z. B. Sentimentanalyse in sozialen Medien), und wissenschaftliche Entdeckungen in Bereichen wie Lebenswissenschaften und Bioinformatik zu unterstützen. Im Geschäftsumfeld unterstützen Anwendungen Wettbewerbsintelligenz und automatisierte Werbeschaltung.
Sicherheitsanwendungen
Viele Text-Mining-Softwarepakete werden für Sicherheitsanwendungen vermarktet, insbesondere für die Überwachung und Analyse von Online-Klartextquellen wie Internetnachrichten und Blogs zu Zwecken der nationalen Sicherheit. Text Mining ist auch an der Untersuchung von Textverschlüsselung und -entschlüsselung beteiligt.
Biomedizinische Anwendungen
Eine Reihe von Text-Mining-Anwendungen in der biomedizinischen Literatur wurde beschrieben, darunter die Extraktion von Beziehungen zwischen Genen und Krankheiten, die Identifizierung von Arzneimittelwechselwirkungen und die Unterstützung literaturbasierter Entdeckungen. Diese Anwendungen kombinieren oft Named Entity Recognition mit Relation Extraction, um strukturierte Wissensbasen aus unstrukturierten Forschungspapieren aufzubauen.
Beziehung zur modernen KI
Text Mining hat sich parallel zu Fortschritten im maschinellen Lernen und Deep Learning entwickelt. Moderne Ansätze nutzen zunehmend große Sprachmodelle und Transformer-Architekturen für Aufgaben wie Sentimentanalyse und Entitätsextraktion, obwohl traditionelle statistische Methoden weiterhin verwendet werden. Das Feld bleibt eine grundlegende Komponente von generativer KI-Systemen, die auf Text-Mining-Techniken für Datenvorbereitung und -bewertung angewiesen sind.