扩展神经网络(ENN)是一种模式识别方法,由M. H. Wang和C. P. Hung于2003年首次提出。它结合了人工神经网络的快速自适应学习能力与可拓理论的相关性估计特性,可拓理论是蔡文于1983年提出的用于解决矛盾问题的数学框架。该网络通过计算可拓距离(一种衡量输入与从训练数据中学到的基于范围的类别表示之间匹配程度的度量)来对实例进行分类。ENN已应用于机械故障检测、通过MRI进行组织分类、汽车发动机故障识别、铅酸蓄电池荷电状态估计以及不完整调查数据的分类等任务。
与传统神经网络在连接节点之间使用单一权重值不同,ENN在每个连接上存储两个权重值,分别表示某个类别特征的上下界。这种设计允许网络将类别建模为区间而非点估计,借鉴了可拓理论的物元模型。该方法在模式识别文献中被引用为一种结合了神经适应性和集合论推理的混合方法。
可拓理论基础
可拓理论由蔡文于1983年提出,为ENN提供了数学基础。它将对象建模为物元,记为R = (N, C, V),其中N是对象的名称或类型,C是其特征,V是对应的值。例如,一个人的身高和体重可以表示为具有值范围的特征,形成可拓集合。该理论定义了可拓关联函数K(x),将对象空间中的元素映射到隶属区间[-∞, ∞]。正值表示属于某个类别,负值表示不属于,而[0, 1]范围内的值类似于模糊集合理论。关联函数使用关注域X_in = (a, b)和邻域域X_out = (c, d)计算,其中a和c是下界,b和d是上界。该函数衡量元素x与理想范围的距离,提供了一种分级隶属度,ENN利用此进行分类。
架构与分类
ENN架构由输入节点和输出节点组成,权重向量位于它们之间。输入节点数n对应于数据中的特征数,输出节点数n_c对应于类别数。对于每个输入实例,网络使用可拓距离公式(一种从关联函数推导出的距离度量)计算每个类别k的输出o_ik。估计类别通过选择所有类别中可拓距离最小的类别来确定。此过程计算效率高,使ENN适用于实时应用。
双权重结构是与标准神经网络的关键区别,标准神经网络通常在每个连接上使用单个标量权重。在ENN中,权重定义了每个类别每个特征范围的下界和上界。这种基于范围的表示与可拓理论对区间的强调一致,并允许网络更优雅地处理重叠类别。
学习算法
ENN的学习算法简单明了,涉及两个主要阶段:初始化和调整。在初始化期间,通过识别训练数据中每个类别每个特征的最大值和最小值来设置权重。此步骤根据提供的数据建立初始类别范围。初始化后,网络迭代调整权重以减少分类错误。对于每个训练实例,算法将当前类别估计与真实类别进行比较;如果发生错误分类,则更新权重边界以将范围移向正确类别,增强区分度。此过程类似于误差校正,但针对基于区间的表示进行了定制。
由于初始化仅依赖于极值,学习过程快速且自适应,符合该方法结合神经学习与可拓理论相关性估计的目标。该算法不需要梯度计算,使其比更深层神经网络中使用的反向传播更简单。
应用与局限性
ENN已应用于多个领域。在工业环境中,它们已用于机械/设备的故障检测,其中振动或性能数据指示潜在问题。在医学成像中,ENN已用于使用MRI扫描进行组织分类,辅助诊断过程。汽车行业已使用ENN进行发动机故障识别,帮助从传感器数据中识别故障。此外,ENN已应用于估计铅酸蓄电池的荷电状态(这对电池管理系统至关重要),以及处理不完整调查数据的分类(其中缺失值常见)。这些应用说明了该方法在不同数据类型和问题领域中的多功能性。
尽管取得了这些成功,ENN仍有局限性。基于范围的表示在初始化期间可能对异常值敏感,因为极值严重影响类别边界。该模型还假设类别可以通过区间分离,这对于复杂的非线性数据可能不成立。此外,ENN在高维数据上的扩展性不如现代深度学习方法,并且缺乏深度学习模型(如大型语言模型或Transformer (architecture))的表征能力。因此,ENN主要用于重视可解释性和简单性而非原始准确性的小众应用。
相关方法
ENN属于混合神经符号或神经数学方法家族,这些方法将经典人工智能概念与神经计算相结合。例如,模糊神经网络将模糊逻辑与神经网络结合,支持向量机使用基于核的分离。ENN特别与可拓理论相关,该理论在特定工程和管理背景之外的主流采用有限。在机器学习中,大多数当代方法依赖于基于梯度的优化,如深度学习框架所示,并使用GPU等硬件在大型数据集上训练。相比之下,ENN提供了一种轻量级替代方案,需要最少的计算资源,使其适用于嵌入式系统或数据有限的场景。
总之,扩展神经网络由Wang和Hung于2003年提出,代表了21世纪初将神经学习与可拓理论相结合的尝试。其使用可拓距离和基于范围的权重提供了一种独特的分类机制,尽管在更广泛的人工智能领域中已被更强大的方法在很大程度上取代。尽管如此,ENN仍然是经典数学理论如何为神经网络设计提供信息的记录在案的例子。