BCPNN（贝叶斯置信传播神经网络）是一类通过贝叶斯概率传播实现学习和推理的人工神经网络模型。与主要通过误差反向传播调整突触权重的传统联结主义模型不同，BCPNN框架使用贝叶斯规则维护并更新对假设（如输入模式或类别）的置信值，从而实现概率推理和联想记忆。该方法源于计算神经科学，并已被探索应用于从模式识别到认知架构的多个领域。
BCPNN模型于20世纪80年代末提出，并在随后的几十年中得到完善，已在学术和工业研究环境中得到研究，尤其是在诺基亚贝尔实验室和三星研究院等机构。该模型的设计强调生物合理性，与皮层处理过程相呼应，其中神经元对刺激的概率分布进行编码。BCPNN已被用于工作记忆、决策和序列学习的模拟，并对后来的机器学习和神经网络理论研究产生了影响。
核心原理
BCPNN算法通过计算每个单元（神经元）在给定输入下的后验概率来运行，使用一种贝叶斯推理形式。每个单元之间的连接存储的不是单一权重，而是一组近似突触前和突触后活动联合概率的参数。在学习过程中，这些概率根据观察到的共激活情况进行更新，通常使用类似赫布的学习规则，当单元同时激活时增加置信度。推理涉及在网络中传播这些置信值，通常通过迭代或循环处理，以收敛到对输入的最可能解释。
一个关键特征是使用“置信度”度量，可解释为对数概率比。这使得网络能够表示不确定性，并以原则性的方式整合来自多个来源的证据。与随机失活或批归一化等正则化训练方法不同，BCPNN的概率公式为处理噪声或不完整数据提供了自然机制。
历史发展
BCPNN概念由Anders Lansner及其同事在20世纪80年代末提出，建立在早期贝叶斯网络和神经建模工作的基础上。20世纪90年代初的早期出版物展示了其在联想记忆任务中的实用性，网络能够以高容量和鲁棒性存储和检索模式。多年来，该模型被扩展以包含循环连接、时间动态和多层架构。
20世纪90年代在诺基亚贝尔实验室的研究探索了BCPNN在电信应用中的用途，如信号分类和故障检测。后来，三星研究院研究了BCPNN在设备端AI中的应用，利用其低功耗和增量学习特性。该模型也在人工智能安全性和可解释性的背景下被提及，因为其概率性质为决策提供了透明度。
应用
BCPNN已被应用于多个领域。在认知建模中，它模拟了人类记忆的某些方面，如模式完成和干扰效应。在机器人学中，基于BCPNN的控制器已被用于感觉运动学习，使机器人能够适应变化的环境。在自然语言处理中，BCPNN的变体已被探索用于序列预测，尽管它们在很大程度上已被基于Transformer的大型语言模型所取代。
近年来，BCPNN已被考虑用于边缘计算和嵌入式系统，其简单的更新规则和低内存占用具有优势。例如，三星电子已为移动设备中高效片上学习的BCPNN方法申请了专利。此外，该模型已被用于神经科学研究以理解皮层信息处理，卡内基梅隆大学和多伦多大学的研究考察了其与神经数据的一致性。
与其他模型的比较
BCPNN与依赖Adam优化器和SGD变体进行训练的主流深度学习方法有根本不同。深度网络使用基于梯度的优化来最小化损失函数，而BCPNN使用局部的、类似赫布的更新，更具生物合理性。这使得BCPNN不易发生灾难性遗忘，更适合持续学习场景。然而，BCPNN在图像识别或语言建模等大规模任务上尚未达到同样的可扩展性，而残差网络和Transformer在这些任务中表现出色。
在不确定性表示方面，BCPNN类似于贝叶斯神经网络，但避免了采样或变分推理的计算开销。其置信传播可被视为一种信念传播形式，与概率图模型相关联。这一联系启发了将BCPNN与多头注意力机制相结合的混合方法，以在结构化数据上获得改进的性能。
当前状态与未来方向
截至2020年代中期，BCPNN仍是计算神经科学和神经形态计算领域的活跃研究方向。目前正在努力在专用硬件上实现BCPNN，如Graphcore的IPU和Groq的张量流处理器，以利用其并行和事件驱动的特性。该模型无需反向传播即可进行在线学习的能力使其在机器人和自主系统的实时应用中具有吸引力。
未来方向包括将BCPNN与生成式AI框架集成，其概率基础可增强生成输出的可靠性。研究人员还在探索使用稀疏连接和模型剪枝技术将BCPNN扩展到更大网络的方法。虽然BCPNN可能不会取代主导范式，但其独特特性确保了其在专业领域的持续相关性。