格罗斯伯格网络是指由认知科学家斯蒂芬·格罗斯伯格自20世纪60年代起开创的一类人工神经网络架构和学习原理。这些网络的显著特点在于其关注受生物学启发的机制，用于在线、无监督和实时学习，并解决稳定性-可塑性困境，即在不抹除先前获取知识的前提下学习新模式。该术语涵盖基础模型，如竞争学习、分流网络和自适应共振理论（ART），这些模型对理论神经科学和实际机器学习应用均产生了影响。
格罗斯伯格网络基于神经动力学原理运作，使用微分方程来建模神经元活动和突触修饰。与许多后期依赖监督反向传播的深度学习模型不同，这些网络强调自组织过程，其中神经元通过竞争和协作形成输入模式的稳定表征。这种方法能够在变化环境中实现自适应学习，使其适用于模式识别、分类和感觉-运动控制等任务。
历史发展
斯蒂芬·格罗斯伯格于20世纪60年代末在洛克菲勒大学提出了他的首批神经模型，将大脑回路如何处理信息的思想形式化。1976年，他发表了竞争学习的基础理论，其中输出神经元根据输入相似性竞争激活，胜者更新其权重。这项工作促成了分流网络的发展，该类网络建模兴奋和抑制信号之间的非线性交互，比简单感知器更贴近地模拟生物神经元。
到20世纪80年代中期，格罗斯伯格及其合作者盖尔·卡彭特开发了自适应共振理论，首次于1987年提出。ART网络通过使用警戒参数控制新类别的形成时机，来解决稳定性-可塑性问题，使系统能够对新输入保持可塑性，同时稳定既有知识。这标志着与基于反向传播方法的显著分离，强调实时、增量学习，而无需预先指定的训练集。
核心架构原则
典型的格罗斯伯格网络由输入层、竞争或识别层，以及有时一个定向子系统组成，如ART模型所示。输入层向识别层发送信号，其中神经元通过侧向抑制进行竞争，即强神经元抑制弱神经元，确保给定输入仅激活一个类别。突触权重通过类似赫布规则的机制进行修改，通常进行归一化以防止失控增长。
一个关键特征是可塑性与稳定性之间的平衡，通过增益控制和重置信号等机制实现。在ART中，如果输入与现有类别不够匹配（由警戒参数决定），定向子系统触发重置，导致网络招募新神经元或细化现有神经元。这使得网络能够持续学习而不会发生灾难性遗忘，这是困扰许多神经网络模型的问题。
应用与影响
格罗斯伯格网络已应用于多个领域，包括遥感图像分类、医学诊断和机器人导航。在20世纪90年代，基于ART的系统被用于雷达目标识别和语音处理，利用其从流式数据中学习的能力。这些模型还启发了认知架构，如格罗斯伯格在认知信息处理中的自适应共振理论，该理论试图解释视觉感知和注意等现象。
在人工智能和机器学习中，格罗斯伯格的工作为前馈和反向传播范式提供了早期替代方案。虽然深度学习在2012年后因残差网络和变换器的进展而崛起，ART启发的方法在无监督学习和持续学习研究中仍保持相关性。研究人员已将ART模块与现代架构集成，以解决顺序任务中的灾难性遗忘问题。
与当代方法的比较
与基于变换器的大型语言模型和生成式AI系统不同，这些系统需要大规模数据集和计算资源，格罗斯伯格网络轻量且实时运行。它们不使用丢弃或批归一化，而是依赖分布式表征和竞争动态。这使得它们更具可解释性和能效性，尽管在复杂高维任务上通常精度较低。
格罗斯伯格公式的理论严谨性与现代机器学习实践的实证性质形成对比，其中如Adam和层归一化等方法以启发式方式调优。然而，课程学习和数据增强等概念与格罗斯伯格数十年前提出的渐进式、分阶段学习具有概念根源。
遗产与当前研究
格罗斯伯格的贡献已获得神经科学和计算机科学领域的认可，影响了从麻省理工学院计算机科学与人工智能实验室到卡内基梅隆大学的研究。截至21世纪20年代，ART网络继续出现在增量学习和自适应机器人研究中，通常与强化学习或序列到序列模型结合。稳定性-可塑性原则也为神经形态硬件的设计和谷歌深度思维及其他实验室中持续学习的理论分析提供参考。
尽管未达到OpenAI或Anthropic所使用的基于变换器系统的商业普及度，格罗斯伯格网络仍是寻求生物合理性学习算法的研究者的基准。它们对实时适应性和噪声鲁棒性的强调，与边缘计算和自主系统的新兴需求相契合，其中AMD和英特尔芯片日益支持设备端推理。