基于规则的机器翻译(RBMT)是一种经典的机器翻译方法,它根据源语言和目标语言的语言信息生成输出句子。这些信息来自单语、双语或多语词典以及语法规则,这些规则涵盖了每种语言的主要语义、形态和句法规律。RBMT系统分析源句子,并使用显式规则构建目标句子,这与神经机器翻译等数据驱动方法形成对比。尽管RBMT在数十年间一直是主导范式,但它已逐渐被更高效的方法所取代,尤其是基于深度学习和大语言模型的方法。
历史
最早的RBMT系统出现在20世纪70年代初。其中最具影响力的是Systran,它于1968年开始开发,并在冷战期间被广泛用于俄语和英语的翻译。Systran后来扩展到许多语言对,并于1976年被欧洲委员会采用。另一个著名的早期系统是日本的机器翻译项目,该项目在20世纪80年代催生了商业系统。如今,常见的RBMT系统包括Apertium(一个用于相关语言之间翻译的开源平台)和GramTrans(一个用于斯堪的纳维亚及其他欧洲语言的商业系统)。
RBMT的类型
RBMT系统通常分为三类。直接系统,也称为基于词典的机器翻译,通过基本规则将输入词映射到输出词,通常不进行深层句法分析。基于转换的系统对源语言进行形态和句法分析,然后将结构转换到目标语言。基于中间语言的系统使用一种称为中间语言的抽象意义表示,该表示独立于任何特定语言。RBMT通常与基于实例的机器翻译形成对比,后者使用平行语料库而非显式规则。混合机器翻译系统将RBMT的原理与统计或神经方法相结合。
基本原理
RBMT的核心方法是在保持意义的同时,将源句子的结构与目标句子的结构联系起来。例如,将“A girl eats an apple”从英语翻译成德语,需要一本将每个英语单词映射到德语对应词的词典、英语句子结构规则、德语句子结构规则以及将这两种结构关联起来的规则。该过程通常涉及几个阶段:获取每个源词的词性信息,确定动词的句法信息(如时态和语态),解析源句子(通常是部分解析),将词翻译成目标语言,最后生成适当的屈折形式。在该示例中,输出为“Ein Mädchen isst einen Apfel”,其中冠词和名词的格根据德语语法进行调整。
本体
本体是知识的正式表示,包括领域内的概念和关系。在自然语言处理中,本体可以作为机器翻译的知识来源,帮助解决词汇歧义。例如,句子“I saw a man with a microscope”可以有多种解释,但大型本体可以根据上下文减少可能的解释。1993年开发的PANGLOSS基于知识的机器翻译系统体现了本体是如何构建的。它旨在合并LDOCE词典和WordNet,以结合简洁定义与语义关系。定义匹配算法根据定义中的共享词自动合并意义,而层次匹配算法使用分类结构来解决歧义。由此产生的本体约有50,000个节点,支持系统中的解析和生成。
组件
典型的RBMT系统由几个组件组成:源语言形态分析器(提供词的形态信息)、源语言解析器(分析句子句法)、翻译器(将源词映射到目标语言词)、目标语言形态生成器(生成适当的屈折形式)以及目标语言解析器(组成最终句子)。此外,至少需要三本词典:用于形态分析的源语言词典、用于翻译的双语词典和用于生成的目标语言词典。这些组件协同工作,应用定义翻译过程的语言规则。
局限性与遗产
RBMT系统有几个局限性。它们需要大量人工开发规则和词典,这既耗时又昂贵。它们通常难以处理习语表达、歧义以及形态复杂的语言。因此,统计方法以及后来的神经方法,如Sequence-to-Sequence (Seq2Seq)模型和Transformer (architecture)架构,已在商业应用中基本取代了RBMT。然而,RBMT的原理在混合系统和平行数据稀缺的低资源语言环境中仍然具有影响力。对语言知识和可解释性的重视继续为人工智能和机器学习的研究提供信息。