Mineração de texto, também conhecida como mineração de dados textuais (TDM) ou análise de texto, é o processo de extrair informações de alta qualidade a partir de texto. Envolve a descoberta, por computador, de informações novas e anteriormente desconhecidas, extraindo automaticamente padrões e tendências de recursos escritos, como sites, livros, e-mails, avaliações e artigos. O campo combina técnicas de inteligência artificial, aprendizado de máquina e estatística para transformar texto não estruturado em dados estruturados adequados para análise. Informações de alta qualidade geralmente se referem a uma combinação de relevância, novidade e interesse, e são obtidas por meio de métodos como aprendizado estatístico de padrões e processamento de linguagem natural.
A disciplina emergiu dos primeiros trabalhos em recuperação de informações e descoberta de conhecimento, com raízes na década de 1980, quando a pesquisa em ciências da vida e a inteligência governamental aplicaram pela primeira vez a análise automatizada de texto. Uma aplicação típica examina um conjunto de documentos em linguagem natural e, ou modela o conjunto de documentos para classificação preditiva, ou popula um banco de dados ou índice de busca com informações extraídas. O documento é a unidade básica, definido como uma unidade de dados textuais que existe em muitas coleções.
Tarefas Principais e Perspectivas
A mineração de texto abrange várias tarefas típicas: categorização de texto, agrupamento de texto, extração de conceitos e entidades, produção de taxonomias granulares, análise de sentimentos, sumarização de documentos e modelagem de relações entre entidades. De acordo com Hotho et al. (2005), o campo pode ser visto sob três perspectivas: extração de informações, mineração de dados e descoberta de conhecimento em bancos de dados (KDD). O processo geralmente envolve estruturar o texto de entrada (análise sintática, adição ou remoção de características linguísticas e inserção em um banco de dados), derivar padrões dentro dos dados estruturados e, finalmente, avaliar e interpretar a saída.
A análise de texto envolve recuperação de informações, análise lexical para estudar distribuições de frequência de palavras, reconhecimento de padrões, marcação e anotação, extração de informações, técnicas de mineração de dados, incluindo análise de links e associações, visualização e análise preditiva. O objetivo geral é transformar texto em dados para análise, sendo a interpretação uma fase final crítica.
Análise de Texto e Uso Empresarial
A análise de texto descreve um conjunto de técnicas linguísticas, estatísticas e de aprendizado de máquina que modelam e estruturam o conteúdo informacional de fontes textuais para inteligência de negócios, análise exploratória de dados, pesquisa ou investigação. O termo é aproximadamente sinônimo de mineração de texto; Ronen Feldman modificou uma descrição de 2000 de "mineração de texto" em 2004 para descrever "análise de texto". Este último termo é agora usado com mais frequência em ambientes empresariais, enquanto "mineração de texto" permanece comum em áreas de aplicação iniciais, como pesquisa em ciências da vida e inteligência governamental.
Nos negócios, a análise de texto é aplicada para responder a problemas de forma independente ou em conjunto com consultas e análise de dados numéricos estruturados. Frequentemente, afirma-se que 80% das informações relevantes para os negócios se originam em forma não estruturada, principalmente texto. Essas técnicas descobrem e apresentam conhecimento - fatos, regras de negócio e relacionamentos - que, de outra forma, permaneceriam bloqueados em forma textual e impenetráveis ao processamento automatizado.
Processos de Análise e Subtarefas
Os sistemas de mineração de texto geralmente envolvem várias subtarefas. A redução de dimensionalidade é uma técnica importante de pré-processamento usada para identificar palavras-raiz e reduzir o tamanho dos dados textuais. A recuperação de informações ou identificação de corpus é uma etapa preparatória que coleta ou identifica um conjunto de materiais textuais da Web, sistemas de arquivos, bancos de dados ou gerenciadores de corpus de conteúdo.
Embora alguns sistemas apliquem exclusivamente métodos estatísticos avançados, muitos outros usam processamento extensivo de linguagem natural, como marcação de partes do discurso, análise sintática e outras análises linguísticas. O reconhecimento de entidades nomeadas usa gazeteiros ou técnicas estatísticas para identificar características textuais nomeadas, como pessoas, organizações, nomes de lugares, símbolos de tickers de ações e abreviações. A desambiguação usa pistas contextuais para decidir, por exemplo, se "Ford" se refere a um ex-presidente dos EUA, um fabricante de veículos, uma estrela de cinema ou uma travessia de rio. Entidades identificadas por padrões, como números de telefone e endereços de e-mail, podem ser discernidas por meio de expressões regulares.
Outras subtarefas incluem agrupamento de documentos (identificação de conjuntos de documentos semelhantes), resolução de coreferência (identificação de sintagmas nominais que se referem ao mesmo objeto), extração de relacionamentos, fatos e eventos, e análise de sentimentos (discernimento de material subjetivo e extração de atitudes, opiniões, humores e emoções). A análise quantitativa de texto, oriunda das ciências sociais, usa juízes humanos ou computadores para extrair relações semânticas ou gramaticais entre palavras para fins como perfilamento psicológico. O pré-processamento geralmente envolve tokenização, filtragem e derivação.
Aplicações em Diversos Domínios
A tecnologia de mineração de texto é amplamente aplicada às necessidades governamentais, de pesquisa e empresariais. Profissionais jurídicos a usam para descoberta eletrônica, enquanto governos e grupos militares a usam para segurança nacional e inteligência. Pesquisadores científicos incorporam a mineração de texto para organizar grandes conjuntos de dados textuais, determinar ideias comunicadas por meio de texto (por exemplo, análise de sentimentos em mídias sociais) e apoiar a descoberta científica em campos como ciências da vida e bioinformática. Nos negócios, as aplicações apoiam a inteligência competitiva e a colocação automatizada de anúncios.
Aplicações de Segurança
Muitos pacotes de software de mineração de texto são comercializados para aplicações de segurança, especialmente monitoramento e análise de fontes de texto simples online, como notícias da Internet e blogs, para fins de segurança nacional. A mineração de texto também está envolvida no estudo de criptografia e descriptografia de texto.
Aplicações Biomédicas
Uma variedade de aplicações de mineração de texto na literatura biomédica foi descrita, incluindo a extração de relações entre genes e doenças, a identificação de interações medicamentosas e o apoio à descoberta baseada em literatura. Essas aplicações frequentemente combinam reconhecimento de entidades nomeadas com extração de relações para construir bases de conhecimento estruturadas a partir de artigos de pesquisa não estruturados.
Relação com a IA Moderna
A mineração de texto evoluiu junto com os avanços em aprendizado de máquina e aprendizado profundo. Abordagens modernas cada vez mais aproveitam modelos de linguagem de grande escala e arquiteturas transformers para tarefas como análise de sentimentos e extração de entidades, embora métodos estatísticos tradicionais permaneçam em uso. O campo continua sendo um componente fundamental dos sistemas de IA generativa, que dependem de técnicas de mineração de texto para preparação e avaliação de dados.