Extração de informações (EI) é um campo do processamento de linguagem natural que deriva automaticamente informações estruturadas de texto não estruturado ou semiestruturado. Ela abrange tarefas como reconhecimento de entidades nomeadas, extração de relações e extração de eventos, sendo fundamental para a construção de bases de conhecimento, sistemas de perguntas e respostas e aplicações de mineração de texto. Sistemas de EI transformam texto bruto em dados legíveis por máquina, permitindo tarefas downstream como busca, raciocínio e análise.
As origens da extração de informações remontam às décadas de 1960 e 1970, com sistemas pioneiros como o Linguistic String Project na Universidade de Nova York e o sistema FRUMP, desenvolvido na Universidade Yale no final dos anos 1970. O campo ganhou destaque na década de 1980 com as Conferências de Compreensão de Mensagens (MUC), uma série de competições financiadas pela Agência de Projetos de Pesquisa Avançada de Defesa dos EUA (DARPA) que definiram tarefas padrão de EI, como reconhecimento de entidades nomeadas e preenchimento de modelos. Posteriormente, o programa Automatic Content Extraction (ACE), conduzido pelo Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) de 1999 a 2008, expandiu o escopo para incluir extração de entidades, relações e eventos com diretrizes de anotação mais complexas.
Tarefas Principais
A extração de informações tipicamente envolve várias subtarefas. O reconhecimento de entidades nomeadas (REN) identifica menções a entidades como pessoas, organizações, locais, datas e expressões numéricas. A extração de relações determina relações semânticas entre entidades, como "trabalha para" ou "localizado em". A extração de eventos identifica ocorrências descritas no texto, incluindo o gatilho do evento, participantes e atributos temporais. A resolução de correferência conecta diferentes menções da mesma entidade em um documento, sendo essencial para agregar informações. Essas tarefas são frequentemente executadas em um pipeline, embora sistemas modernos possam modelá-las de forma conjunta.
Métodos e Abordagens
Os primeiros sistemas de EI dependiam de regras e dicionários elaborados manualmente. Por exemplo, o sistema FASTUS, desenvolvido na SRI International na década de 1990, usava transdutores de estados finitos para identificar padrões. Métodos estatísticos, como modelos ocultos de Markov e campos aleatórios condicionais (CRFs), tornaram-se populares nos anos 2000, como exemplificado pelo sistema Stanford NER. Com o advento do aprendizado profundo, arquiteturas de redes neurais, particularmente redes neurais recorrentes e, posteriormente, transformers, alcançaram resultados de ponta. Modelos como o BERT, introduzido pelo Google em 2018, usam representações de palavras contextualizadas que melhoram significativamente a precisão da extração de entidades e relações. Mais recentemente, grandes modelos de linguagem (LLMs) têm sido aplicados à EI por meio de prompting e fine-tuning, permitindo extração zero-shot e few-shot com dados mínimos de treinamento específicos da tarefa.
Aplicações
A extração de informações é amplamente utilizada na indústria e na pesquisa. No domínio biomédico, sistemas extraem associações entre genes e doenças e interações medicamentosas da literatura científica, auxiliando na descoberta de fármacos. Em finanças, a EI monitora notícias e relatórios para extrair lucros de empresas, fusões e indicadores de risco. A tecnologia jurídica usa EI para identificar cláusulas e partes em contratos. Mecanismos de busca utilizam EI para gerar painéis de conhecimento e trechos estruturados. A análise de mídias sociais emprega EI para rastrear menções a produtos e sentimento público. Os dados extraídos frequentemente alimentam grafos de conhecimento, como o Knowledge Graph do Google, que potencializa recursos de busca baseados em entidades.
Desafios e Limitações
Apesar do progresso, a EI enfrenta vários desafios. A ambiguidade na linguagem, como polissemia e correferência, pode levar a erros. A adaptação de domínio continua difícil: modelos treinados em um domínio (por exemplo, notícias) frequentemente degradam quando aplicados a outro (por exemplo, texto médico). Idiomas com poucos recursos e jargões especializados carecem de dados de treinamento suficientes. Além disso, extrair eventos com relações temporais e causais complexas ainda é um problema em aberto. A avaliação também é complicada porque as anotações variam entre conjuntos de dados e tarefas. A partir do início dos anos 2020, os LLMs mitigaram alguns problemas, mas introduziram novos, como alucinação e inconsistência nos fatos extraídos.
Direções Futuras
A pesquisa atual concentra-se na extração conjunta de entidades e relações, usando redes neurais de grafos para capturar interações, e na incorporação de bases de conhecimento externas para melhorar a precisão. Há também interesse em aprendizado incremental e ao longo da vida, no qual sistemas de EI se adaptam a novos domínios sem esquecer conhecimento anterior. Com o avanço da IA generativa, há um trabalho crescente no uso de LLMs para EI de maneira conversacional ou orientada por instruções, e na garantia de que as informações extraídas sejam explicáveis e confiáveis. A integração da EI com a construção e o raciocínio sobre grafos de conhecimento permanece uma área vibrante, com aplicações potenciais em descoberta científica automatizada e gestão de dados empresariais.