Eine Dokument-Term-Matrix (DTM) ist eine dünn besetzte Matrix, die in der Verarbeitung natürlicher Sprache und der Informationsabfrage verwendet wird, um die Häufigkeit von Begriffen (Wörtern oder n-Grammen) über eine Sammlung von Dokumenten darzustellen. In ihrer Standardform entspricht jede Zeile einem einzelnen Dokument, jede Spalte einem eindeutigen Begriff aus dem Vokabular des Korpus, und jede Zelle enthält einen numerischen Wert, typischerweise die Termhäufigkeit (die Anzahl, wie oft dieser Begriff in diesem Dokument vorkommt). Die DTM dient als primäre Eingabe für viele Textanalysealgorithmen, einschließlich Themenmodellierung, Dokument-Clustering und Klassifikationsmodellen im maschinellen Lernen.
Die Matrix wird oft normalisiert oder gewichtet, um Dokumentlänge und Begriffswichtigkeit zu berücksichtigen. Ein gängiges Gewichtungsschema ist die Termhäufigkeit-inverse Dokumenthäufigkeit (TF-IDF), die Begriffe, die in vielen Dokumenten vorkommen, herabstuft und seltene Begriffe hochstuft. Andere Transformationen umfassen binäre Kodierung (Vorhandensein oder Abwesenheit) und sublineare Skalierung (z. B. log(1 + Häufigkeit)). Die DTM unterscheidet sich von einer Term-Dokument-Matrix, die ihre Transponierte ist, obwohl beide in der Praxis oft austauschbar verwendet werden.
Konstruktion und Vorverarbeitung
Die Erstellung einer DTM erfordert mehrere Vorverarbeitungsschritte. Zuerst wird der Rohtext in einzelne Begriffe tokenisiert, typischerweise durch Aufteilen an Leerzeichen und Satzzeichen. Stoppwörter (häufige Wörter wie 'der' und 'und') werden oft entfernt, und Stemming oder Lemmatisierung reduziert Wörter auf ihre Grundformen (z. B. 'laufen' zu 'lauf'). Das Vokabular wird dann als die Menge eindeutiger Begriffe über alle Dokumente definiert, oft gefiltert nach minimaler und maximaler Dokumenthäufigkeit, um sehr seltene oder allgegenwärtige Begriffe zu entfernen. Die resultierende Matrix wird normalerweise in einem dünn besetzten Format gespeichert, da die meisten Zellen Null sind, insbesondere bei großen Korpora.
Für groß angelegte Anwendungen bieten Bibliotheken wie scikit-learn in Python effiziente Implementierungen (z. B. CountVectorizer und TfidfVectorizer). Diese Werkzeuge übernehmen Tokenisierung, Vokabularaufbau und Speicherung dünn besetzter Arrays. Die Matrix kann auch inkrementell für Streaming-Daten konstruiert werden, obwohl dies weniger üblich ist.
Anwendungen im maschinellen Lernen
Im maschinellen Lernen ist die DTM eine Standard-Feature-Repräsentation für Text. Klassische Algorithmen wie logistische Regression, Support-Vektor-Maschinen und Naive-Bayes-Klassifikatoren arbeiten direkt auf der Matrix. Beispielsweise verwendet Spam-Erkennung eine DTM, bei der jedes Dokument eine E-Mail ist, und das Modell lernt Gewichte für jeden Begriff. Clustering-Algorithmen wie k-Means oder hierarchisches Clustering gruppieren Dokumente basierend auf ihren Termvektoren, was Aufgaben wie die Kategorisierung von Nachrichtenartikeln ermöglicht.
Themenmodelle wie die latente Dirichlet-Allokation (LDA) nehmen eine DTM als Eingabe und leiten latente Themen als Verteilungen über Begriffe ab. Die Matrix bildet auch die Grundlage für Informationsabfrage-Systeme, bei denen die Kosinusähnlichkeit zwischen Dokumentvektoren Suchergebnisse rankt. Im tiefen Lernen ist die DTM als direkte Eingabe weniger üblich, da neuronale Netze typischerweise dichte Einbettungen verwenden, aber sie bleibt nützlich für Basismodelle und für interpretierbare Features.
Beziehung zu modernen Sprachmodellen
Mit dem Aufkommen von großen Sprachmodellen und Transformer-Architekturen wurde die DTM weitgehend durch dichte Vektorrepräsentationen wie Worteinbettungen und kontextuelle Einbettungen ersetzt. Die DTM spielt jedoch weiterhin eine Rolle in bestimmten Pipelines. Beispielsweise wird sie für Feature-Engineering in Hybridmodellen, zur Bewertung der Vokabularabdeckung und für Aufgaben verwendet, die exaktes Begriffsmatching erfordern, wie juristische Dokumentenanalyse oder biomedizinisches Text-Mining. Die Matrix dient auch als Benchmark für den Vergleich klassischer und neuronaler Ansätze.
In generativen KI-Systemen wird die DTM selten direkt verwendet, aber ihre Konzepte der Termhäufigkeit und Dokumentgewichtung fließen in Techniken wie TF-IDF-basierte Abfrage in retrieval-augmentierten Generierungssystemen (RAG) ein. Diese Systeme kombinieren einen dünn besetzten Abfrageschritt (oft unter Verwendung eines DTM-ähnlichen Index) mit einem dichten neuronalen Retriever, um die Antwortqualität zu verbessern.
Einschränkungen und Alternativen
Die DTM hat bemerkenswerte Einschränkungen. Sie ignoriert die Wortreihenfolge, behandelt jeden Begriff als unabhängig (die Bag-of-Words-Annahme) und leidet unter hoher Dimensionalität und Dünnbesetztheit. Sie erfasst auch keine semantische Ähnlichkeit zwischen verschiedenen Wörtern (z. B. 'Auto' und 'Fahrzeug'). Alternativen umfassen n-Gramm-Repräsentationen (die kurze Sequenzen erfassen), Hashing-Vektorisierer (die Speicher reduzieren) und dichte Einbettungen aus Modellen wie Word2vec oder BERT. Trotz dieser Nachteile bleibt die DTM eine einfache, interpretierbare und recheneffiziente Basislinie für viele Textaufgaben.
Historischer Kontext
Die DTM wird seit den frühen Tagen der Informationsabfrage in den 1960er Jahren verwendet, insbesondere im SMART-System, das an der Cornell University von Gerard Salton entwickelt wurde. Sie wurde in den 1990er und 2000er Jahren mit dem Wachstum des Webs und digitaler Bibliotheken zu einem Eckpfeiler des Text-Minings. Ihre mathematischen Eigenschaften wurden im Bereich der Informationsabfrage ausführlich untersucht, und sie bleibt ein Standard-Lehrmittel in Kursen zu Textanalytik und Verarbeitung natürlicher Sprache.
Siehe auch
- Bag-of-Words
- TF-IDF
- Themenmodellierung
- Text-Mining
Referenzen
- Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Salton, G., & McGill, M. J. (1983). Introduction to Modern Information Retrieval. McGraw-Hill.