灾难性干扰，又称灾难性遗忘，是指人工神经网络在学习新信息时突然且剧烈地遗忘先前所学信息的倾向。这一现象是机器学习和深度学习中的核心挑战，尤其是当模型在多个任务上按顺序训练时。它是稳定性-可塑性困境的极端表现，该困境指的是在使网络对新信息敏感却不被其干扰方面的困难。
神经网络是认知科学中联结主义方法的关键组成部分。关于灾难性干扰在模拟人类记忆中的问题，最早由McCloskey和Cohen（1989）以及Ratcliff（1990）的研究引入科学界关注。这些研究凸显了人工网络与人类记忆之间的根本差异：人类通常不会表现出如此剧烈的遗忘，而标准反向传播网络则经常如此。
稳定性-可塑性困境
稳定性-可塑性困境描述了系统整合新信息的能力（可塑性）与保留现有知识的能力（稳定性）之间的权衡。查找表和联结主义网络分别位于该频谱的两端。查找表在添加新信息时保持完全稳定，但无法对未见过的输入进行泛化。相比之下，联结主义网络（如标准反向传播网络）能够泛化新输入，但对新信息高度敏感，导致灾难性干扰的发生。
在模拟人类记忆时，这种敏感性是个问题，因为人类在获取新知识的同时通常能保留已学信息。这种对比表明生物记忆系统采用了人工网络所缺乏的机制，例如互补学习系统或突触巩固机制。
顺序学习实验
McCloskey和Cohen（1989）通过两个反向传播网络的实验展示了灾难性干扰。在第一个实验中，他们训练一个网络学习涉及数字一的个位数加法事实（例如，1+1到9+1和1+2到1+9），直到对所有问题都能正确回答。然后，他们用相同的网络训练涉及数字二的加法事实（例如，2+1到2+9和1+2到9+2）。仅经过一次关于二的事实训练后，网络在关于一的事实上的表现骤降，常常产生近似错误答案的输出。即使重叠问题（如2+1和1+2）也表现出显著干扰。
在第二个实验中，McCloskey和Cohen复制了Barnes和Underwood（1959）关于人类回溯性干扰的经典研究。他们训练网络学习配对联想（A-B和A-C列表），并添加上下文模式以区分列表。当网络同时训练两个列表时，所有联想都能正确学习。但当按顺序训练时（先A-B，后A-C），在人类中产生50%正确率的A-C训练量在网络上对A-B联想的正确率降至近0%。网络对B提示的输出常常类似C的反应，表明新学习已覆盖旧知识。
McCloskey和Cohen尝试通过多种操作减少干扰，包括改变隐藏单元数量、调整学习率、对A-B列表进行过度训练、冻结某些连接权重、以及更改目标值。这些方法均未令人满意地减轻灾难性遗忘。
识别记忆发现
Ratcliff（1990）将这些发现扩展到反向传播模型在标准识别记忆程序中的应用，即项目按顺序学习。他发现了两个主要问题。首先，当学习新信息时，掌握良好的信息在小型和大型网络中都会发生灾难性遗忘。其次，即使是单次学习尝试也会导致旧信息大量丢失，与McCloskey和Cohen的结果一致。
Ratcliff还观察到输出常常是先前输入和新输入的混合。在较大的网络中，按组学习的项目（例如AB后CD）比逐个学习的项目（例如A后B再C）更抵抗遗忘，尽管遗忘仍然很严重。添加新隐藏单元并不会减少干扰。
对现代人工智能的影响
灾难性干扰在当代Artificial intelligence系统（包括Large language model和基于Transformer (architecture)的架构）中仍是一项重大挑战。当这些模型在新任务或数据集上进行微调时，可能会在先前学习过的任务上性能下降。这个问题与持续学习特别相关，因为模型需要适应新信息而不遗忘旧知识，尤其在无需保留全部历史数据的情况下。
研究者已开发出多种缓解灾难性遗忘的策略，如Curriculum Learning、Model Pruning和正则化技术。然而，目前尚无通用解决方案，这个问题仍是Neural network理论与应用中的活跃研究领域。
结论
灾难性干扰凸显了标准神经网络的根本局限，并强调复制人类记忆的复杂性。McCloskey和Cohen以及Ratcliff的研究确立了这一现象及其特征，为后续构建更稳定和适应性更强的学习系统提供了基础。