Una matriz documento-término (DTM) es una matriz dispersa utilizada en el procesamiento del lenguaje natural y la recuperación de información para representar la frecuencia de términos (palabras o n-gramas) en una colección de documentos. En su forma estándar, cada fila corresponde a un único documento, cada columna a un término único del vocabulario del corpus, y cada celda contiene un valor numérico, típicamente la frecuencia del término (el número de veces que ese término aparece en ese documento). La DTM sirve como entrada principal para muchos algoritmos de análisis de texto, incluidos el modelado de temas, la agrupación de documentos y los modelos de clasificación en aprendizaje automático.
La matriz a menudo se normaliza o pondera para tener en cuenta la longitud del documento y la importancia del término. Un esquema de ponderación común es la frecuencia de término-frecuencia inversa de documento (TF-IDF), que reduce el peso de los términos que aparecen en muchos documentos y aumenta el de los términos raros. Otras transformaciones incluyen la codificación binaria (presencia o ausencia) y el escalado sublineal (por ejemplo, log(1 + frecuencia)). La DTM es distinta de una matriz término-documento, que es su transpuesta, aunque a menudo se usan indistintamente en la práctica.
Construcción y preprocesamiento
Construir una DTM requiere varios pasos de preprocesamiento. Primero, el texto bruto se tokeniza en términos individuales, típicamente dividiendo por espacios en blanco y puntuación. Las palabras vacías (palabras comunes como 'el' y 'y') a menudo se eliminan, y la derivación o lematización reduce las palabras a sus formas base (por ejemplo, 'corriendo' a 'correr'). El vocabulario se define entonces como el conjunto de términos únicos en todos los documentos, a menudo filtrado por frecuencia de documento mínima y máxima para eliminar términos muy raros o ubicuos. La matriz resultante suele almacenarse en un formato disperso, ya que la mayoría de las celdas son cero, especialmente en corpus grandes.
Para aplicaciones a gran escala, bibliotecas como scikit-learn en Python proporcionan implementaciones eficientes (por ejemplo, CountVectorizer y TfidfVectorizer). Estas herramientas manejan la tokenización, la construcción del vocabulario y el almacenamiento de matrices dispersas. La matriz también puede construirse incrementalmente para datos en streaming, aunque esto es menos común.
Aplicaciones en el aprendizaje automático
En aprendizaje automático, la DTM es una representación de características estándar para texto. Algoritmos clásicos como la regresión logística, las máquinas de vectores de soporte y los clasificadores naive Bayes operan directamente sobre la matriz. Por ejemplo, la detección de spam utiliza una DTM donde cada documento es un correo electrónico, y el modelo aprende pesos para cada término. Algoritmos de agrupación como k-means o la agrupación jerárquica agrupan documentos basándose en sus vectores de términos, lo que permite tareas como la categorización de artículos de noticias.
Los modelos de temas, como la asignación latente de Dirichlet (LDA), toman una DTM como entrada e infieren temas latentes como distribuciones sobre términos. La matriz también sustenta los sistemas de recuperación de información, donde la similitud coseno entre vectores de documentos clasifica los resultados de búsqueda. En aprendizaje profundo, la DTM es menos común como entrada directa, ya que las redes neuronales suelen usar incrustaciones densas, pero sigue siendo útil para modelos de referencia y para características interpretables.
Relación con los modelos de lenguaje modernos
Con el auge de los modelos de lenguaje grandes y las arquitecturas transformadoras, la DTM ha sido en gran medida superada por representaciones vectoriales densas como las incrustaciones de palabras y las incrustaciones contextuales. Sin embargo, la DTM aún desempeña un papel en ciertos flujos de trabajo. Por ejemplo, se utiliza para la ingeniería de características en modelos híbridos, para evaluar la cobertura del vocabulario y para tareas que requieren coincidencia exacta de términos, como el análisis de documentos legales o la minería de textos biomédicos. La matriz también sirve como punto de referencia para comparar enfoques clásicos y neuronales.
En los sistemas de IA generativa, la DTM rara vez se usa directamente, pero sus conceptos de frecuencia de término y ponderación de documentos informan técnicas como la recuperación basada en TF-IDF en sistemas de generación aumentada por recuperación (RAG). Estos sistemas combinan un paso de recuperación dispersa (a menudo usando un índice similar a una DTM) con un recuperador neuronal denso para mejorar la calidad de las respuestas.
Limitaciones y alternativas
La DTM tiene limitaciones notables. Ignora el orden de las palabras, trata cada término como independiente (la suposición de bolsa de palabras) y sufre de alta dimensionalidad y dispersión. También falla en capturar la similitud semántica entre diferentes palabras (por ejemplo, 'coche' y 'automóvil'). Las alternativas incluyen representaciones de n-gramas (que capturan secuencias cortas), vectorizadores de hash (que reducen memoria) e incrustaciones densas de modelos como Word2vec o BERT. A pesar de estos inconvenientes, la DTM sigue siendo una línea base simple, interpretable y computacionalmente eficiente para muchas tareas de texto.
Contexto histórico
La DTM se ha utilizado desde los primeros días de la recuperación de información en la década de 1960, notablemente en el sistema SMART desarrollado en la Universidad de Cornell por Gerard Salton. Se convirtió en una piedra angular de la minería de textos en las décadas de 1990 y 2000 con el crecimiento de la web y las bibliotecas digitales. Sus propiedades matemáticas se estudiaron extensamente en el campo de la recuperación de información, y sigue siendo una herramienta de enseñanza estándar en cursos de analítica de texto y procesamiento del lenguaje natural.
Véase también
- bolsa de palabras
- TF-IDF
- modelado-de-temas
- minería de textos
Referencias
- Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Salton, G., & McGill, M. J. (1983). Introduction to Modern Information Retrieval. McGraw-Hill.