破滅的干渉（catastrophic interference）は、破滅的忘却（catastrophic forgetting）としても知られ、人工ニューラルネットワークが新しい情報を学習した際に、以前に学習した情報を突然かつ劇的に忘れてしまう傾向を指す。この現象は、機械学習と深層学習における中心的な課題であり、特にモデルが複数のタスクに対して逐次的に訓練される場合に顕著である。これは、安定性と可塑性のジレンマ（stability-plasticity dilemma）の急進的な現れであり、新しい情報に敏感でありながら、それによって混乱しないネットワークを構築することの難しさを指す。
ニューラルネットワークは、認知科学におけるコネクショニスト的アプローチの主要な構成要素である。人間の記憶をモデル化する際の破滅的干渉の問題は、McCloskeyとCohen（1989年）およびRatcliff（1990年）の研究によって初めて科学的に注目された。これらの研究は、人工ネットワークと人間の記憶との間の根本的な違いを浮き彫りにした。すなわち、人間は通常そのような劇的な忘却を示さないのに対し、標準的なバックプロパゲーションネットワークはしばしばそれを示すのである。
安定性と可塑性のジレンマ
安定性と可塑性のジレンマは、新しい情報を統合するシステムの能力（可塑性）と、既存の知識を保持する能力（安定性）との間のトレードオフを説明する。ルックアップテーブルとコネクショニストネットワークは、このスペクトルの両端に位置する。ルックアップテーブルは、新しい情報が追加されても完全に安定しているが、未見の入力に対して一般化することはできない。対照的に、標準的なバックプロパゲーションネットワークなどのコネクショニストネットワークは、新しい入力に対して一般化できるが、新しい情報に非常に敏感であり、しばしば破滅的干渉を引き起こす。
この感度は、人間の記憶をモデル化する際に問題となる。なぜなら、人間は新しい知識を獲得しながらも、一般的に以前に学習した情報を保持するからである。この対比は、生物学的記憶システムが、補完的学習システムやシナプス固定化などの、人工ネットワークに欠けているメカニズムを採用していることを示唆している。
逐次学習実験
McCloskeyとCohen（1989年）は、バックプロパゲーションネットワークを用いた2つの実験を通じて破滅的干渉を実証した。最初の実験では、数字の1を含む一桁の加算の事実（例：1+1から9+1、および1+2から1+9）を、ネットワークがすべてに正しく応答するまで訓練した。その後、同じネットワークを数字の2を含む加算の事実（例：2+1から2+9、および1+2から9+2）で訓練した。2の事実に関するわずか1回の訓練試行後、ネットワークの1の事実に関する性能は劇的に低下し、しばしば誤った回答に似た出力を生成した。2+1や1+2のような重複する問題でさえも、有意な混乱を示した。
2番目の実験では、McCloskeyとCohenは、BarnesとUnderwood（1959年）による人間の遡及干渉に関する古典的研究を再現した。彼らは、対連合（A-BおよびA-Cリスト）を、リストを区別するための文脈パターンを用いてネットワークを訓練した。両方のリストを同時に訓練した場合、ネットワークはすべての連合を正しく学習した。しかし、逐次的に訓練した場合（最初にA-B、次にA-C）、人間で50%の正答率を生み出すA-C訓練の量が、ネットワークではA-B連合に対してほぼ0%の正答率をもたらした。Bプロンプトに対するネットワークの出力は、しばしばC応答に似ており、新しい学習が古い知識を上書きしたことを示していた。
McCloskeyとCohenは、隠れユニットの数の変更、学習率の調整、A-Bリストの過剰訓練、特定の結合重みの固定、ターゲット値の変更など、さまざまな操作を通じて干渉を軽減しようと試みた。これらのいずれも、破滅的忘却を十分に緩和することはできなかった。
再認記憶の知見
Ratcliff（1990年）は、項目が逐次的に学習される標準的な再認記憶手続きに適用されたバックプロパゲーションモデルを用いて、これらの知見を拡張した。彼は2つの主要な問題を特定した。第一に、よく学習された情報が、新しい情報が学習されるにつれて破滅的に忘れられることであり、これは小規模および大規模の両方のネットワークで見られた。第二に、新しい情報による単一の学習試行でさえも、古い情報の有意な喪失を引き起こすことであり、これはMcCloskeyとCohenの結果と類似していた。
Ratcliffはまた、出力がしばしば以前の入力と新しい入力の混合であることを観察した。大規模なネットワークでは、グループで学習された項目（例：AB、次にCD）は、個別に学習された項目（例：A、次にB、次にC）よりも忘却に対して耐性があったが、忘却は依然として substantial であった。新しい隠れユニットを追加しても干渉は減少しなかった。
現代のAIへの影響
破滅的干渉は、人工知能システム、特に大規模言語モデルやトランスフォーマーベースのアーキテクチャにおいて、依然として重要な課題である。これらのモデルが新しいタスクやデータセットに対してファインチューニングされると、以前に学習したタスクの性能を失う可能性がある。この問題は、モデルが古い知識を忘れずに新しい情報に適応しなければならない継続学習において特に重要である。
研究者たちは、カリキュラム学習、モデル枝刈り、正則化技術など、破滅的忘却を緩和するためのさまざまな戦略を開発してきた。しかし、普遍的な解決策は存在せず、この問題はニューラルネットワークの理論と応用における活発な研究分野であり続けている。
結論
破滅的干渉は、標準的なニューラルネットワークの根本的な限界を浮き彫りにし、人間の記憶を再現することの複雑さを強調する。McCloskeyとCohenおよびRatcliffの研究は、この現象とその特徴を確立し、より安定した適応可能な学習システムを構築するための継続的な取り組みの基盤を提供した。