Um rede de transição recursiva com popping filtrado (FPRTN) é um modelo computacional para análise sintática de linguagem natural, descrito pela primeira vez em um relatório técnico de 1988 por pesquisadores da Universidade de Edimburgo. Ele estende o formalismo anterior de rede de transição recursiva (RTN) adicionando um mecanismo chamado popping filtrado, que permite à rede lidar com certas construções gramaticais sensíveis ao contexto que RTNs simples não conseguem processar. As FPRTNs foram desenvolvidas como parte de pesquisas sobre análise sintática determinística e foram posteriormente reconhecidas como uma influência inicial em abordagens conexionistas e neurais para análise sintática.
A ideia central de uma FPRTN é uma rede de estados e transições que pode chamar sub-redes recursivamente, semelhante a um autômato com pilha. Em uma RTN padrão, uma operação de pop retorna o controle de uma sub-rede ao chamador, mas isso pode levar a ambiguidades quando múltiplas sub-redes estão ativas. O popping filtrado adiciona uma condição - um filtro - que deve ser satisfeita antes que um pop seja permitido, restringindo assim o espaço de busca e permitindo que o analisador lide com dependências de longa distância e fenômenos de concordância. O filtro é tipicamente baseado em estruturas de características ou informações de contexto que são propagadas através da rede.
Desenvolvimento Histórico
A FPRTN foi introduzida no final dos anos 1980 como parte do Programa de Pesquisa em Linguagem Natural Alvey no Reino Unido. A publicação principal foi um relatório de 1988 intitulado "Filtered Popping in Recursive Transition Networks" por pesquisadores incluindo Chris Mellish e outros na Universidade de Edimburgo. O trabalho baseou-se em modelos RTN anteriores dos anos 1970, como os de William Woods na Bolt Beranek and Newman (BBN), que foram usados no sistema de perguntas e respostas LUNAR. O grupo de Edimburgo visava melhorar a eficiência e a cobertura de analisadores baseados em RTN para textos do mundo real.
A abordagem foi posteriormente discutida no contexto de "redes de transição aumentadas" (ATNs), que adicionaram mecanismos de registros e condições às RTNs. As FPRTNs ofereciam uma alternativa mais restrita às ATNs, focando em análise sintática determinística e reduzindo o retrocesso. A técnica também foi explorada em análise sintática conexionista, onde as condições de filtro eram implementadas como ativações de redes neurais, ligando os paradigmas simbólico e subsimbólico.
Descrição Técnica
Formalmente, uma FPRTN é um grafo direcionado com um conjunto de estados, um conjunto de transições rotuladas e um conjunto de operações de chamada e retorno de sub-redes. Cada transição pode ser associada a uma condição, e cada operação de pop tem um filtro que deve ser satisfeito. O analisador mantém uma pilha de contextos de sub-redes ativas. Quando um pop é tentado, o filtro verifica a entrada atual e o topo da pilha; se o filtro falhar, o pop é bloqueado, e o analisador deve explorar caminhos alternativos. Esse mecanismo é semelhante ao uso de unificação de características em gramáticas baseadas em unificação e pode ser visto como um precursor da análise sintática baseada em características usada em sistemas modernos de NLP.
Uma propriedade chave das FPRTNs é que elas são mais expressivas que gramáticas regulares, mas menos expressivas que gramáticas totalmente sensíveis ao contexto. Elas podem lidar com dependências cruzadas em série, comuns em línguas como o holandês e o alemão suíço, mas fazem isso de maneira computacionalmente tratável. O mecanismo de filtragem pode ser implementado eficientemente, e o modelo foi mostrado capaz de analisar certas construções em tempo polinomial, enquanto ATNs irrestritas poderiam ser exponenciais.
Influência em Modelos Neurais
Embora as FPRTNs tenham sido desenvolvidas na tradição simbólica, elas foram citadas como inspiração para modelos neurais posteriores de análise sintática. Nos anos 1990, pesquisadores da Universidade de Edimburgo e de outros lugares exploraram implementações conexionistas de RTNs, onde as decisões de transição eram feitas por redes neurais. Essa linha de trabalho influenciou o desenvolvimento de modelos sequência a sequência e redes recorrentes para processamento de linguagem. Mais recentemente, a ideia de usar estruturas semelhantes a pilhas com controladores aprendidos apareceu em modelos como a máquina de pilha neural e o computador neural diferenciável, desenvolvidos no Google DeepMind nos anos 2010.
O mecanismo de popping filtrado é conceitualmente relacionado aos mecanismos de atenção e portas em transformadores modernos. Por exemplo, a atenção de múltiplas cabeças em transformadores pode ser vista como uma versão suave de filtragem, onde a informação é seletivamente propagada com base em relevância aprendida. A pilha explícita em FPRTNs é análoga à codificação posicional e ao processamento em camadas em transformadores, embora estes últimos não sejam explicitamente projetados para estrutura sintática. Pesquisadores notaram que as FPRTNs fornecem um quadro formal claro para entender os vieses indutivos de analisadores neurais.
Aplicações e Legado
As FPRTNs foram usadas principalmente em analisadores experimentais para inglês e outras línguas. Elas foram incorporadas ao Alvey Natural Language Toolkit, distribuído a universidades do Reino Unido no final dos anos 1980. O formalismo também foi usado no desenvolvimento do Core Language Engine (CLE) na SRI International, um projeto importante nos anos 1990. O CLE usava uma combinação de gramática de unificação e estruturas de controle semelhantes a RTN, e seu design influenciou sistemas comerciais posteriores, como os componentes de compreensão de linguagem dos primeiros assistentes de voz.
Nos anos 2000, o interesse em análise sintática simbólica declinou em favor de abordagens estatísticas e neurais, mas o conceito de FPRTN permanece relevante no estudo de formalismos gramaticais e no design de sistemas híbridos. A ideia de popping filtrado foi aplicada a outros domínios, como análise de programas e análise semântica, onde restrições sensíveis ao contexto são necessárias. A partir dos anos 2020, o formalismo é ocasionalmente citado em pesquisas sobre grandes modelos de linguagem e sua capacidade de capturar estrutura sintática, com alguns estudos comparando o comportamento de transformadores ao de analisadores baseados em RTN.
Ver Também
- rede de transição recursiva
- rede de transição aumentada
- processamento de linguagem natural
- análise sintática
- gramática de unificação
- rede neural
- transformador
- sequência a sequência
- Google DeepMind