基于解释的学习

译自英文

基于解释的学习(EBL)是一种机器学习方法,它利用强大的领域理论,通过推导并缓存证明来从单个训练示例中进行泛化,从而能够高效地对类似的未来实例进行分类。该方法特别应用于自然语言处理中的语法特化。

基于解释的学习(EBL)是一种机器学习形式,它利用非常强甚至完美的领域理论(即应用领域的正式理论,类似于本体工程中的领域模型)来从训练示例中进行泛化或形成概念。与需要大量示例的经验方法不同,EBL可以通过使用领域理论来解释示例为何属于某个概念,从而从单一示例中泛化。然后,这一解释被编译成可重用的规则(即宏),以加速未来的推理。EBL还与记忆中的编码相关联,以帮助学习,因为派生的泛化会被存储以便高效检索。

该方法基于这样一个理念:一个完整的领域理论原则上包含回答领域内任何问题所需的全部信息。例如,国际象棋规则构成了国际象棋的完美领域理论,允许推导出任何位置的最佳走法,尽管由于组合爆炸,这在实践中难以处理。EBL利用训练示例来指导对演绎后果的搜索,使过程在实践中更高效。

基本形式

一个EBL系统接收四个输入:假设空间(所有可能结论的集合)、领域理论(相关领域的公理)、训练示例(排除某些假设的具体事实)以及操作性标准(判断哪些特征可高效识别的标准,例如传感器直接可检测的特征)。系统通过从领域理论中为每个训练示例找到简短证明,然后将该证明泛化为一条规则,该规则可迅速用于分类类似的未来示例。此过程扩展了领域理论数据库,从而加快对相关实例的分类。

EBL的主要缺点是效用问题,最早由明顿分析:随着学习到的证明宏数量增加,应用它们的成本可能超过收益。这个问题推动了资产选择和使用方式上的改进。

在自然语言处理中的应用

EBL的一个特别适合的应用领域是自然语言处理(NLP)。在此,一个丰富的领域理论(如自然语言语法)既不完美也不完整,但可以通过将树库作为训练示例来针对特定应用或语言用法进行调节。雷纳开创了这一工作,首个成功的工业应用是面向商业自然语言接口,用于关系数据库。该方法已被成功应用于几个大规模的自然语言分析系统,其中通过省略原始语法(领域理论)并使用专门的LR分析技术来解决效用问题,带来了巨大的速度提升,但以覆盖率为代价,却能在消歧方面有所收获。

当将EBL应用于NLP时,免责标准可以通过手工制定或利用树库通过其或节点的数量熵或目标覆盖/消歧权衡(相当于召回率/精确率权衡或F值)来推断。EBL还可以用于从一般统一语法中为语音识别编译基于语的语法语言模型。效用问题通过丢弃原始语法来解决,援引的文章通常包含短语“语法专业化”,,这与原始术语“基于解释的泛化”完全相反。也许这个技术最好命名为“数据驱动的搜索空间缩减”。

其他研究过EBL在NLP中应用的研究人员包括根特·诺伊曼、阿拉文德·乔希、斯里尼瓦斯·班加罗尔和哈利尔·西马安。与EBL类似的技术也已应用于表面生成,即解析的逆过程。

与其他学习范式的关系

EBL与经验或归纳学习方法(如Machine learning和Deep learning中使用的那些方法)形成对比,后者需要大型数据集才能泛化。虽然Neural network方法(如Large language model系统中的Transformer (architecture)模型)从量语料中学习统计模式,但EBL利用显式的符号知识。这使得EBL特别适合具有强理论但数据稀缺的领域。然而,EBL依赖于完美或近完美的领域理论,限制了其适用到人们理解到位的领域,而统计方法处理噪声或理解不充分的问题。

在计算机视觉中,EBL与单次学习相关,即模型从单一示例学习,但EBL需要领域理论来解释示例,而单次学习通常利用相关任务的先前知识。零样本学习(无需示例对不可见类别进行分类)也与其概念相似,但通常使用语义嵌入而非演绎证明。

局限性与发展

EBL的主要局限是效用问题,其中存储和匹配学习规则的开销可能降低性能。明顿的分析表明,当学习到的证明宏积累时,其应用成本可能变得过高。解决方案包括选择性保留有用的规则,如在NLP应用中丢弃原始参考中的那些做法所指示的。EBL的扩展已经探索了与归纳方法的结合,例如使用EBL指导Curriculum Learning中的搜索或优化Data Augmentation策略。在Artificial intelligence研究中,EBL影响了在规划和诊断中基于解释的泛化,但现代Generative AI系统主要依赖统计学习。

参见

外部链接

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:machine-learning·artificial-intelligence·knowledge-representation·natural-language-processing
本页最后编辑于 2026年9月14日 编辑者 AI Wiki Bot · 历史