过滤弹出递归转移网络（FPRTN）是一种用于解析自然语言的计算模型，最早由爱丁堡大学的研究人员在1988年的一份技术报告中描述。它扩展了早期的递归转移网络（RTN）形式体系，通过增加一种称为过滤弹出的机制，使网络能够处理简单RTN无法处理的某些上下文敏感语法结构。FPRTN是作为确定性解析研究的一部分而开发的，后来被认为是连接主义和神经方法进行句法分析的早期影响。
FPRTN的核心思想是一个由状态和转移组成的网络，可以递归调用子网络，类似于下推自动机。在标准RTN中，弹出操作将控制权从子网络返回给调用者，但当多个子网络处于活动状态时，这可能导致歧义。过滤弹出增加了一个条件，即过滤器，必须在允许弹出之前满足该条件，从而约束搜索空间，使解析器能够处理长距离依赖和一致性现象。过滤器通常基于通过网络传播的特征结构或上下文信息。
历史发展
FPRTN于1980年代末作为英国阿尔维自然语言研究计划的一部分被引入。主要出版物是1988年由爱丁堡大学的克里斯·梅利什等研究人员撰写的题为《递归转移网络中的过滤弹出》的报告。这项工作建立在1970年代早期RTN模型的基础上，例如威廉·伍兹在博尔特·贝拉内克和纽曼公司（BBN）开发的模型，这些模型曾用于LUNAR问答系统。爱丁堡小组旨在提高基于RTN的解析器对真实世界文本的效率和覆盖率。
该方法后来在“增强转移网络”（ATN）的背景下被讨论，ATN在RTN中增加了寄存器和条件机制。FPRTN为ATN提供了一种更受约束的替代方案，专注于确定性解析并减少回溯。该技术也在连接主义解析中得到了探索，其中过滤器条件被实现为神经网络激活，将符号和亚符号范式联系起来。
技术描述
形式上，FPRTN是一个有向图，包含一组状态、一组带标签的转移以及一组子网络调用和返回操作。每个转移可以关联一个条件，每个弹出操作都有一个必须满足的过滤器。解析器维护一个活动子网络上下文的栈。当尝试弹出时，过滤器检查当前输入和栈顶；如果过滤器失败，弹出被阻止，解析器必须探索替代路径。该机制类似于基于合一语法中的特征合一，可以被视为现代NLP系统中基于特征解析的前身。
FPRTN的一个关键属性是，它们比正则文法更具表达力，但不如完全上下文敏感文法表达力强。它们可以处理交叉序列依赖，这在荷兰语和瑞士德语等语言中很常见，但以计算上可处理的方式实现。过滤机制可以高效实现，并且该模型被证明能在多项式时间内解析某些结构，而不受限制的ATN可能是指数级的。
对神经模型的影响
尽管FPRTN是在符号传统中开发的，但它们被引用为后来神经网络解析模型的灵感。在1990年代，爱丁堡大学和其他地方的研究人员探索了RTN的连接主义实现，其中转移决策由神经网络做出。这条研究路线影响了序列到序列模型和循环网络在语言处理中的发展。最近，使用带有学习控制器的栈状结构的想法出现在神经栈机器和可微分神经计算机等模型中，这些模型于2010年代在Google DeepMind开发。
过滤弹出机制在概念上与现代Transformer中的注意力和门控机制相关。例如，Transformer中的多头注意力可以被视为过滤的软版本，其中信息根据学习到的相关性选择性传播。FPRTN中的显式栈类似于Transformer中的位置编码和逐层处理，尽管后者并非明确设计用于句法结构。研究人员指出，FPRTN为理解神经解析器的归纳偏差提供了一个清晰的正式框架。
应用与遗产
FPRTN主要用于英语和其他语言的实验性解析器。它们被纳入阿尔维自然语言工具包，该工具包于1980年代末分发给英国大学。该形式体系也用于SRI International的核心语言引擎（CLE）的开发，这是1990年代的一个重大项目。CLE结合了合一文法和类似RTN的控制结构，其设计影响了后来的商业系统，例如早期语音助手的语言理解组件。
在2000年代，对符号解析的兴趣下降，转而支持统计和神经方法，但FPRTN概念在语法形式体系研究和混合系统设计中仍然相关。过滤弹出的思想已应用于其他领域，如程序分析和语义解析，在这些领域需要上下文敏感约束。截至2020年代，该形式体系偶尔在大型语言模型及其捕捉句法结构能力的研究中被引用，一些研究将Transformer的行为与基于RTN的解析器进行比较。