交互激活与竞争（IAC）网络是一类人工神经网络模型，强调处理单元之间的双向信息流和动态竞争。该模型于20世纪80年代初提出，旨在捕捉感知、注意和语言理解等认知过程如何从众多相互连接节点的同时激活中涌现。与前馈网络单向处理信息不同，IAC网络允许单元通过兴奋性和抑制性连接相互影响，形成一个随时间趋于稳定状态的动态系统。
IAC网络的架构通常由多个层或单元池组成，每个单元池代表特征、字母、单词或概念。同一池内的单元相互抑制（竞争），而不同池中一致的单元相互兴奋（交互）。这种设计反映了对大脑神经处理的假设，即相邻神经元常相互抑制，而相距较远但相关的神经元可增强活动。网络通过迭代更新单元激活来运行，基于加权输入并带有衰减项以防止过度兴奋，直至系统达到平衡。
历史发展
IAC模型最著名的阐述出自詹姆斯·L·麦克莱兰和大卫·E·鲁梅尔哈特1981年关于单词感知的论文，该论文成为并行分布式处理（PDP）研究的基石。他们的工作展示了网络如何解释单词优势效应，即字母在单词语境中比单独呈现时识别更准确。该模型后来扩展到其他领域，包括语音感知和语义记忆。PDP研究小组，基于加州大学圣迭戈分校和卡内基梅隆大学，在1986年的著作《并行分布式处理》中推广了IAC网络，该书还引入了多层网络学习中的反向传播。然而，IAC网络本身通常是手工构建而非训练得到的，依赖源于理论原理的固定连接权重。
核心原则
IAC网络基于三个关键原则运作：交互激活、竞争和约束满足。交互激活意味着单元既能发送也能接收信号，允许自上而下和自下而上的影响塑造处理过程。竞争确保在池内只有一部分单元变得强烈激活，实现一种赢家通吃的动态。约束满足指网络能够找到其输入的全局一致解释，通过并行调整激活来解决冲突。这使得IAC网络特别适合建模感知消歧和不确定性下的决策。
IAC网络中的激活更新规则通常遵循一个微分方程，其中单元激活的变化是其当前激活、来自其他单元的净输入和衰减参数的函数。兴奋性连接增加激活，而抑制性连接减少激活，总输入按学习率缩放。网络运行固定次数的迭代，或直到激活变化低于阈值，此时活动模式代表网络的输出。
应用与影响
IAC网络已应用于广泛的认知现象。除了视觉单词识别，它们还被用于建模阅读的各个方面，包括阅读障碍以及单词频率和规则性的影响。它们也被应用于语音感知，模拟连续语音中音素的识别，以及语义启动，其中相关概念相互激活。在20世纪90年代，IAC风格模型被用于探索更高层次的认知，如类比推理和决策，通常采用结合符号和联结主义元素的混合系统。
IAC网络的影响超越了认知科学，延伸到人工智能和机器学习。双向处理和迭代细化的思想预示了深度学习的后续发展，如Transformer中的注意力机制。例如，现代语言模型中使用的多头注意力允许单元动态加权来自其他位置的输入，类似于IAC网络中的交互激活。然而，与IAC网络不同，Transformer使用梯度下降和大规模数据集进行端到端训练，而非依赖手工指定的权重。
与现代神经网络的比较
现代深度学习模型，如深度神经网络和大型语言模型，在几个基本方面与IAC网络不同。首先，它们通常使用具有多层和数百万参数的前馈或循环架构，而IAC网络较浅且单元较少。其次，现代网络使用Adam或随机梯度下降等优化算法从数据中学习权重，而IAC网络通常是手动设计的。第三，IAC网络强调生物合理性和认知现实性，而现代模型优先考虑基准上的任务性能。尽管存在这些差异，IAC网络仍然是理解分布式表征和竞争如何产生智能行为的有价值理论框架。
遗产与当前相关性
尽管IAC网络不再处于人工智能研究的前沿，但它们仍在认知科学和计算神经科学中被研究。它们提供了神经动力学的透明且可解释模型，而这在大型深度学习系统中往往缺乏。研究人员已使用IAC原则设计神经形态硬件，并启发约束满足和概率推断的新算法。交互激活的概念也与使AI系统更鲁棒和上下文敏感的尝试产生共鸣，如注意力和记忆研究中所见。截至2020年代，IAC网络主要具有历史和教学意义，但其关于双向处理和竞争的核心思想仍与理解生物和人工智能相关。
参见
- 神经网络
- 并行分布式处理（若可用可链接）
- 认知科学（若可用可链接）
- 联结主义（若可用可链接）
- Transformer
- 多头注意力
- 深度学习