Une matrice document-terme (MDT) est une matrice creuse utilisée en traitement automatique du langage naturel et en recherche d'information pour représenter la fréquence des termes (mots ou n-grammes) dans un ensemble de documents. Dans sa forme standard, chaque ligne correspond à un document unique, chaque colonne à un terme unique du vocabulaire du corpus, et chaque cellule contient une valeur numérique, généralement la fréquence du terme (le nombre de fois où ce terme apparaît dans ce document). La MDT sert d'entrée principale pour de nombreux algorithmes d'analyse de texte, notamment la modélisation thématique, le regroupement de documents et les modèles de classification en Machine learning.
La matrice est souvent normalisée ou pondérée pour tenir compte de la longueur des documents et de l'importance des termes. Un schéma de pondération courant est la fréquence de terme - fréquence inverse de document (TF-IDF), qui réduit le poids des termes apparaissant dans de nombreux documents et augmente celui des termes rares. D'autres transformations incluent l'encodage binaire (présence ou absence) et la mise à l'échelle sous-linéaire (par exemple, log(1 + fréquence)). La MDT se distingue d'une matrice terme-document, qui est sa transposée, bien que les deux soient souvent utilisées de manière interchangeable en pratique.
Construction et prétraitement
La construction d'une MDT nécessite plusieurs étapes de prétraitement. Tout d'abord, le texte brut est tokenisé en termes individuels, généralement en divisant sur les espaces et la ponctuation. Les mots vides (mots courants comme « le » et « et ») sont souvent supprimés, et la racinisation ou la lemmatisation réduit les mots à leurs formes de base (par exemple, « courant » à « courir »). Le vocabulaire est ensuite défini comme l'ensemble des termes uniques dans tous les documents, souvent filtré par une fréquence documentaire minimale et maximale pour éliminer les termes très rares ou omniprésents. La matrice résultante est généralement stockée dans un format creux, car la plupart des cellules sont nulles, en particulier pour les grands corpus.
Pour les applications à grande échelle, des bibliothèques telles que scikit-learn en Python fournissent des implémentations efficaces (par exemple, CountVectorizer et TfidfVectorizer). Ces outils gèrent la tokenisation, la construction du vocabulaire et le stockage des tableaux creux. La matrice peut également être construite de manière incrémentale pour les données en flux, bien que cela soit moins courant.
Applications en apprentissage automatique
En Machine learning, la MDT est une représentation de caractéristiques standard pour le texte. Des algorithmes classiques comme la régression logistique, les machines à vecteurs de support et les classifieurs naïfs de Bayes opèrent directement sur la matrice. Par exemple, la détection de spam utilise une MDT où chaque document est un courriel, et le modèle apprend des poids pour chaque terme. Les algorithmes de regroupement tels que k-moyennes ou le regroupement hiérarchique regroupent les documents en fonction de leurs vecteurs de termes, permettant des tâches comme la catégorisation d'articles de presse.
Les modèles thématiques, tels que l'allocation de Dirichlet latente (LDA), prennent une MDT en entrée et infèrent des thèmes latents comme des distributions sur les termes. La matrice sous-tend également les systèmes de Information retrieval, où la similarité cosinus entre les vecteurs de documents classe les résultats de recherche. En Deep learning, la MDT est moins courante comme entrée directe, car les réseaux neuronaux utilisent généralement des plongements denses, mais elle reste utile pour les modèles de base et pour les caractéristiques interprétables.
Relation avec les modèles de langage modernes
Avec l'essor des Large language models et des architectures Transformer (architecture), la MDT a été largement supplantée par des représentations vectorielles denses comme les plongements de mots et les plongements contextuels. Cependant, la MDT joue encore un rôle dans certaines chaînes de traitement. Par exemple, elle est utilisée pour l'ingénierie de caractéristiques dans les modèles hybrides, pour évaluer la couverture du vocabulaire et pour des tâches nécessitant une correspondance exacte de termes, comme l'analyse de documents juridiques ou la fouille de textes biomédicaux. La matrice sert également de référence pour comparer les approches classiques et neuronales.
Dans les systèmes de Generative AI, la MDT est rarement utilisée directement, mais ses concepts de fréquence de terme et de pondération documentaire informent des techniques comme la recherche basée sur TF-IDF dans les systèmes de génération augmentée par récupération (RAG). Ces systèmes combinent une étape de récupération creuse (utilisant souvent un index de type MDT) avec un récupérateur neuronal dense pour améliorer la qualité des réponses.
Limites et alternatives
La MDT présente des limites notables. Elle ignore l'ordre des mots, traite chaque terme comme indépendant (l'hypothèse du sac de mots) et souffre d'une haute dimensionnalité et d'une forte parcimonie. Elle échoue également à capturer la similarité sémantique entre différents mots (par exemple, « voiture » et « automobile »). Les alternatives incluent les représentations en n-grammes (qui capturent des séquences courtes), les vectoriseurs par hachage (qui réduisent la mémoire) et les plongements denses de modèles comme Word2vec ou BERT. Malgré ces inconvénients, la MDT reste une référence simple, interprétable et efficace sur le plan computationnel pour de nombreuses tâches textuelles.
Contexte historique
La MDT est utilisée depuis les débuts de la recherche d'information dans les années 1960, notamment dans le système SMART développé à l'Université Cornell par Gerard Salton. Elle est devenue une pierre angulaire de la fouille de textes dans les années 1990 et 2000 avec la croissance du web et des bibliothèques numériques. Ses propriétés mathématiques ont été étudiées en profondeur dans le domaine de la Information retrieval, et elle reste un outil d'enseignement standard dans les cours sur l'analyse de textes et le Natural language processing.
Voir aussi
- sac de mots
- TF-IDF
- modélisation-thématique
- fouille de textes
Références
- Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Salton, G., & McGill, M. J. (1983). Introduction to Modern Information Retrieval. McGraw-Hill.