TF-IDF (Term Frequency-Inverse Document Frequency) ist eine numerische Statistik, die dazu dienen soll, die Bedeutung eines Wortes für ein Dokument in einer Sammlung oder einem Korpus widerzuspiegeln. Sie ist das Produkt zweier Komponenten: der Termfrequenz (TF), die misst, wie oft ein Begriff in einem Dokument vorkommt, und der inversen Dokumentfrequenz (IDF), die Begriffe, die häufig in vielen Dokumenten vorkommen, heruntergewichtet. Die Technik wurde in den 1970er Jahren entwickelt und wurde zu einer grundlegenden Methode in der Informationswiedergewinnung, Textklassifikation und Suchmaschinen-Rankings, bevor maschinelles Lernen und neuronale Netze basierte Ansätze aufkamen.
Die Kernintuition hinter TF-IDF ist, dass ein Begriff, der in einem einzelnen Dokument häufig vorkommt, aber selten im Rest des Korpus, wahrscheinlich sehr beschreibend für den Inhalt dieses Dokuments ist. Umgekehrt kommen gebräuchliche Wörter wie „der" oder „und" in fast jedem Dokument vor und haben daher wenig Unterscheidungskraft. Durch die Kombination von lokaler Häufigkeit mit globaler Seltenheit weist TF-IDF jedem Begriff-Dokument-Paar ein Gewicht zu, das verwendet werden kann, um Dokumente als Vektoren in einem hochdimensionalen Raum darzustellen, was Ähnlichkeitsberechnungen und Clustering ermöglicht.
Historische Entwicklung
Das Konzept, Begriffe nach ihrer Dokumentfrequenz zu gewichten, hat Wurzeln in den 1950er und 1960er Jahren, mit frühen Arbeiten von Hans Peter Luhn bei Xerox PARC und anderen. Die moderne Formulierung von TF-IDF wird oft Karen Spärck Jones zugeschrieben, die 1972 ein wegweisendes Papier mit dem Titel „A Statistical Interpretation of Term Specificity and Its Application in Retrieval" veröffentlichte. Ihre Arbeit etablierte die inverse Dokumentfrequenz-Komponente als logarithmischen Skalierungsfaktor. Spätere Verfeinerungen durch Gerard Salton und seine Kollegen an der Cornell University integrierten TF-IDF in das SMART-Informationswiedergewinnungssystem, das zu einer Standardforschungsplattform wurde.
Mathematische Formulierung
Für einen Begriff \( t \) in einem Dokument \( d \) ist die Termfrequenz \( tf(t,d) \) typischerweise die rohe Anzahl der Vorkommen, obwohl Varianten logarithmische Skalierung oder binäre Präsenz verwenden. Die inverse Dokumentfrequenz ist definiert als:
\[ idf(t) = \log \frac{N}{df(t)} \]
wobei \( N \) die Gesamtzahl der Dokumente im Korpus und \( df(t) \) die Anzahl der Dokumente ist, die den Begriff enthalten. Das TF-IDF-Gewicht ist dann:
\[ tfidf(t,d) = tf(t,d) \times idf(t) \]
In der Praxis wird oft Glättung hinzugefügt, um eine Division durch Null für Begriffe zu vermeiden, die im Korpus nicht vorkommen, und Normalisierung (wie L2-Normalisierung) wird auf Dokumentvektoren angewendet, um Längenverzerrungen zu mildern.
Anwendungen in der Informationswiedergewinnung
In klassischen Informationswiedergewinnungssystemen werden TF-IDF-Gewichte verwendet, um Dokumente gegen eine Benutzerabfrage zu ranken. Die Abfrage wird als Vektor von TF-IDF-Gewichten dargestellt, und Dokumente werden nach Kosinusähnlichkeit zwischen dem Abfragevektor und jedem Dokumentvektor gerankt. Dieses Vektorraummodell, das von Salton popularisiert wurde, war in den 1980er und 1990er Jahren der dominante Ansatz für Suchmaschinen. TF-IDF unterliegt auch vielen Text-Mining-Aufgaben, einschließlich Dokument-Clustering, Schlüsselwort-Extraktion und automatischer Zusammenfassung.
Einschränkungen und moderner Kontext
TF-IDF hat mehrere bekannte Einschränkungen. Es behandelt Begriffe als unabhängig und ignoriert semantische Beziehungen und Wortreihenfolge. Es schneidet auch bei kurzen Dokumenten oder Abfragen aufgrund spärlicher Begriffüberlappung schlecht ab. Mit dem Aufkommen von großen Sprachmodellen und Transformer-basierten Architekturen haben dichte Vektor-Embeddings TF-IDF für viele Aufgaben weitgehend ersetzt, da sie kontextuelle Bedeutung erfassen. TF-IDF bleibt jedoch weit verbreitet als Basislinie, als Merkmal für traditionelle maschinelle Lernmodelle und in Bereichen mit begrenzten Rechenressourcen. Es ist auch eine häufige Komponente in hybriden Wiedergewinnungssystemen, die spärliche und dichte Signale kombinieren.
Varianten und Erweiterungen
Es gibt mehrere Varianten von TF-IDF, einschließlich BM25 (Best Matching 25), das Termfrequenz-Sättigung und Dokumentlängen-Normalisierung einführt und in modernen Suchsystemen oft bevorzugt wird. Andere Erweiterungen integrieren Part-of-Speech-Tagging oder verwenden sublineare TF-Skalierung. Die Okapi-BM25-Rankingfunktion, die in den 1990er Jahren von Stephen Robertson und Karen Spärck Jones entwickelt wurde, bleibt ein Standard in der Informationswiedergewinnung und wird in vielen Open-Source-Suchmaschinen wie Elasticsearch verwendet.
Siehe auch
- Informationswiedergewinnung
- Maschinelles Lernen
- Natürliche Sprachverarbeitung
- Vektorraummodell