TF-IDF (term frequency-inverse document frequency) est une statistique numérique destinée à refléter l'importance d'un mot dans un document au sein d'une collection ou d'un corpus. C'est le produit de deux composantes : la fréquence du terme (TF), qui mesure la fréquence d'apparition d'un terme dans un document, et la fréquence inverse de document (IDF), qui réduit le poids des termes apparaissant fréquemment dans de nombreux documents. Cette technique a été développée dans les années 1970 et est devenue une méthode fondatrice en recherche d'information, en classification de textes et en classement des moteurs de recherche avant l'essor des approches basées sur l'apprentissage automatique et les réseaux de neurones.
L'intuition centrale derrière TF-IDF est qu'un terme qui apparaît souvent dans un document unique mais rarement dans le reste du corpus est susceptible d'être hautement descriptif du contenu de ce document. À l'inverse, des mots courants comme « le » ou « et » apparaissent dans presque tous les documents et portent donc peu de pouvoir discriminatif. En combinant la fréquence locale avec la rareté globale, TF-IDF attribue à chaque paire terme-document un poids qui peut être utilisé pour représenter les documents comme des vecteurs dans un espace de haute dimension, permettant des calculs de similarité et le regroupement.
Développement historique
Le concept de pondération des termes par leur fréquence de document trouve ses racines dans les années 1950 et 1960, avec des travaux précoces de Hans Peter Luhn au Xerox PARC et d'autres. La formulation moderne de TF-IDF est souvent attribuée à Karen Spärck Jones, qui a publié un article fondateur en 1972 intitulé « A Statistical Interpretation of Term Specificity and Its Application in Retrieval ». Ses travaux ont établi la composante de fréquence inverse de document comme un facteur d'échelle logarithmique. Des raffinements ultérieurs par Gerard Salton et ses collègues de l'Université Cornell ont intégré TF-IDF dans le système de recherche d'information SMART, qui est devenu une plateforme de recherche standard.
Formulation mathématique
Pour un terme \( t \) dans un document \( d \), la fréquence du terme \( tf(t,d) \) est généralement le nombre brut d'occurrences, bien que des variantes utilisent une échelle logarithmique ou une présence binaire. La fréquence inverse de document est définie comme :
\[ idf(t) = \log \frac{N}{df(t)} \]
où \( N \) est le nombre total de documents dans le corpus et \( df(t) \) est le nombre de documents contenant le terme. Le poids TF-IDF est alors :
\[ tfidf(t,d) = tf(t,d) \times idf(t) \]
En pratique, un lissage est souvent ajouté pour éviter la division par zéro pour les termes absents du corpus, et une normalisation (telle que la normalisation L2) est appliquée aux vecteurs de documents pour atténuer le biais de longueur.
Applications en recherche d'information
Dans les systèmes classiques de recherche d'information, les poids TF-IDF sont utilisés pour classer les documents par rapport à une requête utilisateur. La requête est représentée comme un vecteur de poids TF-IDF, et les documents sont classés par similarité cosinus entre le vecteur de requête et chaque vecteur de document. Ce modèle d'espace vectoriel, popularisé par Salton, était l'approche dominante pour les moteurs de recherche dans les années 1980 et 1990. TF-IDF sous-tend également de nombreuses tâches de fouille de textes, y compris le regroupement de documents, l'extraction de mots-clés et le résumé automatique.
Limites et contexte moderne
TF-IDF présente plusieurs limites connues. Il traite les termes comme indépendants, ignorant les relations sémantiques et l'ordre des mots. Il fonctionne également mal sur les documents ou requêtes courts en raison du chevauchement de termes clairsemé. Avec l'avènement des grands modèles de langage et des architectures basées sur les transformeurs, les plongements vectoriels denses ont largement remplacé TF-IDF pour de nombreuses tâches, car ils capturent le sens contextuel. Cependant, TF-IDF reste largement utilisé comme référence, comme caractéristique pour les modèles traditionnels d'apprentissage automatique, et dans des domaines avec des ressources computationnelles limitées. C'est également un composant courant dans les systèmes de recherche hybrides qui combinent des signaux épars et denses.
Variantes et extensions
Plusieurs variantes de TF-IDF existent, notamment BM25 (Best Matching 25), qui introduit la saturation de la fréquence du terme et la normalisation de la longueur du document, et qui est souvent préféré dans les systèmes de recherche modernes. D'autres extensions intègrent l'étiquetage morphosyntaxique ou utilisent une échelle TF sous-linéaire. La fonction de classement Okapi BM25, développée dans les années 1990 par Stephen Robertson et Karen Spärck Jones, reste une norme en recherche d'information et est utilisée dans de nombreux moteurs de recherche open source comme Elasticsearch.
Voir aussi
- Recherche d'information
- Apprentissage automatique
- Traitement du langage naturel
- Modèle d'espace vectoriel