Uma matriz documento-termo (MDT) é uma matriz esparsa usada em processamento de linguagem natural e recuperação de informação para representar a frequência de termos (palavras ou n-gramas) em uma coleção de documentos. Em sua forma padrão, cada linha corresponde a um único documento, cada coluna a um termo único do vocabulário do corpus, e cada célula contém um valor numérico, tipicamente a frequência do termo (o número de vezes que esse termo aparece naquele documento). A MDT serve como entrada primária para muitos algoritmos de análise de texto, incluindo modelagem de tópicos, agrupamento de documentos e modelos de classificação em aprendizado de máquina.
A matriz é frequentemente normalizada ou ponderada para levar em conta o comprimento do documento e a importância do termo. Um esquema de ponderação comum é a frequência do termo-frequência inversa do documento (TF-IDF), que reduz o peso de termos que aparecem em muitos documentos e aumenta o peso de termos raros. Outras transformações incluem codificação binária (presença ou ausência) e escala sublinear (por exemplo, log(1 + frequência)). A MDT é distinta de uma matriz termo-documento, que é sua transposta, embora as duas sejam frequentemente usadas de forma intercambiável na prática.
Construção e pré-processamento
Construir uma MDT requer várias etapas de pré-processamento. Primeiro, o texto bruto é tokenizado em termos individuais, tipicamente dividindo por espaços em branco e pontuação. Palavras de parada (palavras comuns como 'o' e 'e') são frequentemente removidas, e a stemming ou lematização reduz palavras às suas formas base (por exemplo, 'correndo' para 'correr'). O vocabulário é então definido como o conjunto de termos únicos em todos os documentos, frequentemente filtrado por frequência mínima e máxima no documento para remover termos muito raros ou onipresentes. A matriz resultante é geralmente armazenada em um formato esparso, pois a maioria das células é zero, especialmente para corpora grandes.
Para aplicações em larga escala, bibliotecas como scikit-learn em Python fornecem implementações eficientes (por exemplo, CountVectorizer e TfidfVectorizer). Essas ferramentas lidam com tokenização, construção de vocabulário e armazenamento de arrays esparsos. A matriz também pode ser construída incrementalmente para dados em fluxo, embora isso seja menos comum.
Aplicações em aprendizado de máquina
Em aprendizado de máquina, a MDT é uma representação padrão de características para texto. Algoritmos clássicos como regressão logística, máquinas de vetores de suporte e classificadores naive Bayes operam diretamente na matriz. Por exemplo, a detecção de spam usa uma MDT onde cada documento é um e-mail, e o modelo aprende pesos para cada termo. Algoritmos de agrupamento como k-means ou agrupamento hierárquico agrupam documentos com base em seus vetores de termos, permitindo tarefas como categorização de artigos de notícias.
Modelos de tópicos, como a alocação latente de Dirichlet (LDA), recebem uma MDT como entrada e inferem tópicos latentes como distribuições sobre termos. A matriz também sustenta sistemas de recuperação de informação, onde a similaridade de cosseno entre vetores de documentos classifica resultados de busca. Em aprendizado profundo, a MDT é menos comum como entrada direta, pois redes neurais tipicamente usam embeddings densos, mas continua útil para modelos de linha de base e para características interpretáveis.
Relação com modelos de linguagem modernos
Com o surgimento de modelos de linguagem grandes e arquiteturas transformers, a MDT foi amplamente substituída por representações vetoriais densas, como embeddings de palavras e embeddings contextuais. No entanto, a MDT ainda desempenha um papel em certos pipelines. Por exemplo, é usada para engenharia de características em modelos híbridos, para avaliar a cobertura de vocabulário e para tarefas que exigem correspondência exata de termos, como análise de documentos legais ou mineração de texto biomédico. A matriz também serve como referência para comparar abordagens clássicas e neurais.
Em sistemas de IA generativa, a MDT raramente é usada diretamente, mas seus conceitos de frequência de termos e ponderação de documentos informam técnicas como recuperação baseada em TF-IDF em sistemas de geração aumentada por recuperação (RAG). Esses sistemas combinam uma etapa de recuperação esparsa (frequentemente usando um índice semelhante a MDT) com um recuperador neural denso para melhorar a qualidade das respostas.
Limitações e alternativas
A MDT tem limitações notáveis. Ela ignora a ordem das palavras, trata cada termo como independente (a suposição de saco de palavras) e sofre de alta dimensionalidade e esparsidade. Também falha em capturar similaridade semântica entre palavras diferentes (por exemplo, 'carro' e 'automóvel'). Alternativas incluem representações de n-gramas (que capturam sequências curtas), vetorizadores de hash (que reduzem memória) e embeddings densos de modelos como Word2vec ou BERT. Apesar dessas desvantagens, a MDT permanece uma linha de base simples, interpretável e computacionalmente eficiente para muitas tarefas de texto.
Contexto histórico
A MDT tem sido usada desde os primeiros dias da recuperação de informação na década de 1960, notavelmente no sistema SMART desenvolvido na Universidade Cornell por Gerard Salton. Tornou-se uma pedra angular da mineração de texto nas décadas de 1990 e 2000 com o crescimento da web e das bibliotecas digitais. Suas propriedades matemáticas foram estudadas extensivamente no campo da recuperação de informação, e permanece uma ferramenta de ensino padrão em cursos de análise de texto e processamento de linguagem natural.
Ver também
- saco de palavras
- TF-IDF
- modelagem-de-topicos
- mineração de texto
Referências
- Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Salton, G., & McGill, M. J. (1983). Introduction to Modern Information Retrieval. McGraw-Hill.