Katastrophale Interferenz, auch bekannt als katastrophales Vergessen, ist die Tendenz eines künstlichen neuronalen Netzes, zuvor gelernte Informationen abrupt und drastisch zu vergessen, wenn es neue Informationen lernt. Dieses Phänomen ist eine zentrale Herausforderung im maschinellen Lernen und Deep Learning, insbesondere wenn Modelle sequenziell auf mehreren Aufgaben trainiert werden. Es ist eine radikale Ausprägung des Stabilitäts-Plastizitäts-Dilemmas, das die Schwierigkeit beschreibt, ein Netzwerk zu schaffen, das empfindlich auf neue Informationen reagiert, ohne von ihnen gestört zu werden.
Neurale Netze sind ein Schlüsselelement des konnektionistischen Ansatzes in der Kognitionswissenschaft. Das Problem der katastrophalen Interferenz bei der Modellierung des menschlichen Gedächtnisses wurde erstmals durch Forschung von McCloskey und Cohen (1989) sowie Ratcliff (1990) wissenschaftlich aufgezeigt. Diese Studien hoben einen grundlegenden Unterschied zwischen künstlichen Netzen und dem menschlichen Gedächtnis hervor: Während Menschen typischerweise kein so drastisches Vergessen zeigen, tun dies standardmäßige Backpropagation-Netze oft.
Das Stabilitäts-Plastizitäts-Dilemma
Das Stabilitäts-Plastizitäts-Dilemma beschreibt den Kompromiss zwischen der Fähigkeit eines Systems, neue Informationen zu integrieren (Plastizität), und seiner Fähigkeit, vorhandenes Wissen zu bewahren (Stabilität). Nachschlagetabellen und konnektionistische Netze liegen an entgegengesetzten Enden dieses Spektrums. Eine Nachschlagetabelle bleibt völlig stabil, wenn neue Informationen hinzugefügt werden, kann aber nicht auf ungesehene Eingaben verallgemeinern. Im Gegensatz dazu können konnektionistische Netze, wie etwa standardmäßige Backpropagation-Netze, auf neuartige Eingaben verallgemeinern, sind aber hochgradig empfindlich gegenüber neuen Informationen, was oft zu katastrophaler Interferenz führt.
Diese Empfindlichkeit ist problematisch, wenn menschliches Gedächtnis modelliert werden soll, da Menschen im Allgemeinen zuvor gelernte Informationen behalten, während sie neues Wissen erwerben. Der Kontrast deutet darauf hin, dass biologische Gedächtnissysteme Mechanismen einsetzen, die künstlichen Netzen fehlen, wie etwa komplementäre Lernsysteme oder synaptische Konsolidierung.
Sequential-Lern-Experimente
McCloskey und Cohen (1989) demonstrierten katastrophale Interferenz durch zwei Experimente mit Backpropagation-Netzen. Im ersten Experiment trainierten sie ein Netzwerk auf einstelligen Additionsaufgaben mit der Zahl Eins (z.B. 1+1 bis 9+1 und 1+2 bis 1+9), bis es alle korrekt beantwortete. Anschließend trainierten sie dasselbe Netz erfolgt auf Additionen mit der Zahl Zwei (z.B. 2+1 bis 2+9 und 1+2 bis 9+2). Nach nur einem Trainingsdurchgang mit den Zweiereinheiten sank die Leistung des Netzes bei den Einser-Aufgaben drastisch, häufig mit Ergebnissen, die fehlerhaften Antworten ähnelten. Und überlappende Probleme wie 2+1 und 1+2 zeigten deutliche Störungen.
In einem zweiten Experiment replizierten McCloskey und Cohen eine klassische Studie zu retroaktiver Interferenzeit beim Menschen von Barnes und Underwood (1959). Sie trainierten ein Netzwerk auf gepaarten Assoziationen (A-B- und A-C-Listen) mit Kontextmustern zur Unterscheidung der Listen. Bei gleichzeitigem Training auf beiden Listen lernte das Netzwerk alle Assoziationen korrekt. Bei sequentialem Training (zuerst A-B, dann A-C) trug jedoch das Ausmaß des A-C-Trainings, das beim Menschen 50% korrekte Antworten erzeugte, bei 0% korrekte Antworten für die A-B-Assoziationen im Netzwerk. Die Ausgaben des Netzwerks für B-Abfragen jähneerweise oft C-Antworten, was darauf hinweist, dass das neue Lernen das alte Wissen überschrieben hatte.
McCloskey und Cohen versuchten, die Interferenz durch verschiedene Modulationen zu reduzieren, darunter das Anpassen der Anzahl der Hidden-Units, das Justieren derLernrate, ein Überlernen der A-B-Liste exponieren, das Einfrieren bestimmter Verbindungsgewichte und das Ändern der Zielwerte. Nichts davon milderte das katastrophale Wortvergessen zalways z z.
Erkennungsgedächtnis-Befunde
Ratcliff (1990) erweiterte diese Erkenntnisse mit Backpropagation-Modellen auf Standardschutz der Überkennungsgedächtnis-Prozeduren, bei denen Items sequenziell gelerntensiert wurden. Er identifizierte zwei Hauptprobleme. Erstens wurde gut gelernte Information katastrophalt vergessen, als neue Informationen gelernt besagen wurden – sowohl in kleinen als auch in großen Netzen. Zweitens führte bereits ein einzelnes Lernversuch mit neuen Informationen zu einem signifikanten Verlust alter Informationen, vergleichbar mit den Ergebnissen von McCloskey und Cohen.
Während zudem beobachtete Ratcliff, dass Ausgaben oft eine Mischung von früheren und neuen Eingaben waren. In größeren Netzen waren in Gruppen gelernte Objekte (z.B. AB S.S., AB, AB, AB) resistenter gegenänzliches Vergessen als einzeln gelernte Objekte (z.b.w., A, B, C), obschoonverhalt weiterhin erheblich war. Das Erhöhen der Anzahl der Hidden-Units verringerte letzer Interferente nicht.
Implikationen für moderne KI
Katastrophale Interferenz bleibt eine signifikante Herausforder DATEr in heutigen Artificial intelligence-Systemen, einschließlich Large language modelern und auf Transformer (architecture)-basierten Architekturen. Wenn diese Modelle weiter auf neue Aufgaben oder Datensätze trainiert werden, können sie an Leistung bei zuvor gelernten Aufgaben verlieren. Dieses Problem ist insbesondere beim kontinuierlichen Lernen relevant, bei demierenigung Well as bei kontinuierlichem lernen, bei dem modèle sich an (Model) anvorangegangene Kenntnisse an Einflussst.
Forscher haben verschiedene Strategien zurMilderung katastrophale Forgvergesen entwickelt, wie etwa Curriculum Learning, Model Pruning und Regulierungstechniken. Jedoch gibt es keine universelleLösung, und das Problem bleibt ein aktives Forschungsfeld in theaves der Neural network-Theorie leer und Anwendung.
Schlussfolgerung
Katastrophale Interferenz hebt eine grundlegende Einschränkung standardmäßiger neuraler Netze hervor und verdeutlicht die Komplexität der Ausnutzung menschlichen Gedächtnisses. Die Arbeit von McCloskey und Cohen sowie Ratcliff etablierte das Phänomen und seine Merkmale und legte Stronger Grundlage für laufende Bemüh, stabilere und anpassungsfähie Lernsysteme zu entwickeln.