竞争学习是机器学习中的一种无监督学习范式，其中神经网络中的单元竞争以表示输入模式。与依赖标注样本的监督方法不同，竞争学习通过允许最活跃的神经元或一小部分神经元针对每个输入调整其权重来发现数据中的结构。这种赢家通吃机制导致形成专门的检测器，有效地对相似输入进行聚类，并支持特征提取、向量量化和拓扑映射等任务。
该概念源于早期受神经科学启发的自组织模型。在20世纪70年代，Teuvo Kohonen等人探索了人工网络中的竞争动态，促成了20世纪80年代自组织映射（SOM）的发展。大约在同一时期，Stephen Grossberg和Gail Carpenter在自适应共振理论（ART）中形式化了相关思想。这些基础工作确立了竞争学习作为无监督表示学习的核心技术，区别于像反向传播这样的误差驱动方法。
机制与变体
在基本的竞争学习网络中，每个输出神经元都有一个与输入维度相同的权重向量。对于给定的输入向量，网络计算输入与每个神经元权重之间的相似性度量，通常是欧氏距离或点积。相似性最高（或距离最小）的神经元被宣布为赢家。只有该赢家的权重被更新，使其更接近输入，而所有其他神经元保持不变。这被称为硬竞争学习或赢家通吃。
变体引入了软竞争或侧抑制。在软竞争学习中，多个神经元按激活比例更新，通常使用高斯邻域函数，如Kohonen的SOM。另一种变体是泄漏学习，允许所有神经元略微更新，而赢家更新更多，这可以防止死单元。频率敏感竞争学习添加了一个偏置项来惩罚频繁获胜的神经元，促进均衡使用。这些机制有助于解决初始化不良等问题，并确保所有单元都参与表示。
在特征发现中的应用
竞争学习擅长无监督特征发现，特别是在低维和结构化数据中。它已应用于图像处理中的边缘和纹理检测、语音识别中的音素分类，以及通过向量量化进行数据压缩，其中通过竞争学习的码本向量表示输入分布。在机器人学中，SOM已用于感觉运动映射和导航。该方法也是分层模型的构建块，其中竞争单元层学习越来越抽象的特征，类似于早期视觉皮层的组织。
在现代深度学习中，竞争机制出现在稀疏编码和某些深度学习架构中。例如，稀疏自编码器和一些卷积网络结合了侧抑制或k-赢家通吃层以强制稀疏性，提高可解释性和效率。然而，纯竞争学习在很大程度上已被基于反向传播的训练所取代，用于大规模任务，因为它缺乏全局误差信号，并且难以处理高维复杂数据。
理论基础与局限性
竞争学习与聚类算法密切相关，特别是k均值。在某些条件下，权重向量收敛到聚类质心，提供了向量量化的神经实现。该过程可以视为对失真度量的在线梯度下降，尽管动态是非凸的，并且依赖于初始化和学习率。理论分析，如Kohonen和后来研究者的工作，已经表征了简单情况下的收敛性，但对一般设置的严格保证仍然有限。
一个关键局限性是对初始化和学习率的敏感性。不良初始化可能导致死神经元永远不赢，减少有效容量。学习率必须适当衰减以实现收敛，但过快衰减可能导致过早特化。此外，竞争学习不能自然处理非平稳分布或结合标签信息，限制了其在监督或强化学习环境中的适用性。尽管存在这些缺点，其简单性和生物学合理性使其在计算神经科学和教学工具中保持相关性。
与现代AI的关系
虽然竞争学习不是当代大规模系统（如大型语言模型或变换器）的主要组成部分，但其原理以多种形式持续存在。丢弃和批归一化在神经元之间引入随机竞争，而变换器中的注意力机制可以解释为对输入位置的软竞争。对稀疏和混合专家模型的研究，用于一些大型模型，采用竞争路由，其中每个输入仅激活一部分专家，呼应了竞争学习的赢家通吃精神。
在更广泛的人工智能领域，竞争动态启发了无监督预训练和自组织系统。例如，生成式AI模型有时使用生成器和判别器之间的对抗竞争，尽管那是不同形式的竞争。学术团体，如麻省理工学院计算机科学与人工智能实验室和斯坦福人工智能实验室的团队，继续研究自组织原理以实现节能和生物学合理的学习。截至2020年代中期，竞争学习在神经形态计算和在线学习中仍然是一个活跃领域，其局部更新规则相对于全局反向传播具有优势。
参见
参考文献
- Kohonen, T. (1982). Self-organized formation of topologically correct feature maps. Biological Cybernetics.
- Grossberg, S. (1976). Adaptive pattern classification and universal recoding. Biological Cybernetics.
- Rumelhart, D. E., & Zipser, D. (1985). Feature discovery by competitive learning. Cognitive Science.