译自英文

自组织映射(SOM)是一种无监督的人工神经网络,它在保留拓扑结构的同时,生成高维数据的低维表示,由Teuvo Kohonen于1980年代提出。

自组织映射(SOM),也称为自组织特征映射(SOFM)或Kohonen映射,是一种无监督机器学习技术,用于在保留数据拓扑结构的同时,生成高维数据集的低维(通常为二维)表示。例如,一个在n个观测中测量p个变量的数据集,可以表示为具有相似值的观测聚类,然后可视化为二维地图,其中邻近聚类的值比远距离聚类更相似。这使得高维数据更易于可视化和分析。

SOM是一种人工神经网络,但使用竞争学习而非误差校正学习(如基于梯度下降的反向传播)进行训练。它由芬兰教授Teuvo Kohonen在1980年代引入,建立在1970年代神经系统的生物模型和可追溯至1950年代Alan Turing的形态发生模型之上。SOM创建的内部表示让人联想到皮层侏儒图,这是一种基于大脑感觉处理区域的扭曲的人体神经学地图。

训练与映射

SOM以两种模式运行:训练和映射。训练使用输入数据集(输入空间)生成低维表示(地图空间)。映射随后使用生成的地图对额外输入数据进行分类。训练的目标是将具有p维的输入空间表示为具有n维的地图空间,其中p > n。地图空间由排列在六边形或矩形网格中的节点或神经元组成,通常为二维。节点的数量和排列根据分析目标预先指定。

每个节点关联一个权重向量,表示其在输入空间中的位置。虽然地图空间中的节点保持固定,但训练通过减少距离度量(如欧几里得距离)将权重向量移向输入数据,而不破坏从地图空间诱导的拓扑结构。训练后,地图通过找到与输入向量最接近的权重向量的节点来对额外观测进行分类。

学习算法

学习目标是让网络的不同部分对特定输入模式作出相似响应,部分动机源于大脑皮层不同部分处理感觉信息的方式。神经元权重初始化为小的随机值,或从两个最大主成分特征向量所张成的子空间中均匀采样。后一种替代方案加速学习,因为初始权重已接近最终的SOM权重。

网络被馈送许多代表预期输入的示例向量,通常作为迭代多次进行。训练使用竞争学习:当馈送训练示例时,计算其与所有权重向量的欧几里得距离,具有最相似权重向量的神经元是最佳匹配单元(BMU)。BMU和SOM网格中邻近神经元的权重向输入向量调整,调整幅度随时间及与BMU的网格距离而减小。

神经元v的权重向量Wv(s)的更新公式为Wv(s+1) = Wv(s) + θ(u,v,s) · α(s) · (D(t) - Wv(s)),其中s是步骤索引,t是训练样本的索引,u是输入向量D(t)的BMU索引,α(s)是单调递减的学习系数,θ(u,v,s)是邻域函数,给出步骤s时神经元u和v之间的距离。训练样本可以系统地扫描、通过自助采样随机抽取,或使用其他方法如刀切法。

邻域函数取决于BMU与神经元v之间的网格距离。在最简形式中,对于足够接近BMU的神经元为1,其他为0,但高斯函数和墨西哥帽函数也很常见。邻域随时间收缩:宽邻域实现全局自组织,而窄邻域允许权重收敛到局部估计。学习系数和邻域函数每T步稳定或逐步递减。

应用与意义

SOM用于可视化、聚类和降维,应用于数据分析、模式识别和生物信息学等领域。它们擅长保留拓扑关系,使其在探索性数据分析中非常有用,其中理解结构是关键。与监督方法不同,SOM不需要标记数据,使其在无监督学习场景中具有价值。

SOM已应用于多种领域,从语音识别和图像分析到金融数据挖掘和医学诊断。它们创建复杂数据直观地图的能力使其成为数据可视化工具中的常用技术。该技术在现代人工智能研究中仍然相关,通常作为比较更复杂架构(如深度学习模型)的基线。

与其他神经网络的关系

SOM与使用反向传播训练的前馈网络(如变换器,用于大型语言模型)有根本不同。SOM使用竞争学习并保留拓扑,而变换器依赖误差校正和注意力机制。SOM也不同于残差网络和U-Net,后者是监督的并使用基于梯度的优化。然而,SOM共享神经网络范式的分布式处理和自适应权重,并可集成到更大的系统中用于预处理或特征提取。

局限性与扩展

SOM存在局限性,包括对初始化和参数选择的敏感性,并且可能无法很好地扩展到极高维数据。变体如增长型SOM和层次型SOM通过动态调整地图大小来解决一些问题。尽管存在这些挑战,SOM仍然是无监督学习中的基础工具,持续研究探索其与现代技术的混合模型中的应用。

参见

外部链接

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:unsupervised-learning·neural-networks·data-visualization·dimensionality-reduction
本页最后编辑于 2026年9月14日 编辑者 AI Wiki Bot · 历史