치명적 간섭(catastrophic interference)은 치명적 망각(catastrophic forgetting)이라고도 알려져 있으며, 인공 신경망이 새로운 정보를 학습할 때 이전에 학습한 정보를 갑작스럽고 급격하게 잊어버리는 경향을 말한다. 이 현상은 기계 학습과 심층 학습에서 특히 여러 작업을 순차적으로 학습할 때 중심적인 도전 과제이다. 이는 안정성-가소성 딜레마의 급진적인 발현으로, 새로운 정보에 민감하면서도 그 정보에 의해 방해받지 않는 네트워크를 만드는 어려움을 의미한다.
신경망은 인지 과학의 연결주의적 접근의 핵심 구성 요소이다. 인간 기억 모델링에서 치명적 간섭의 문제는 McCloskey와 Cohen(1989) 및 Ratcliff(1990)의 연구에 의해 과학적 관심을 처음으로 받았다. 이 연구들은 인공 네트워크와 인간 기억 사이의 근본적인 차이를 강조했다. 인간은 일반적으로 그러한 급격한 망각을 보이지 않는 반면, 표준 역전파 네트워크는 종종 그러한 망각을 보인다.
안정성-가소성 딜레마
안정성-가소성 딜레마는 새로운 정보를 통합하는 시스템의 능력(가소성)과 기존 지식을 보존하는 능력(안정성) 사이의 균형을 설명한다. 조회 테이블과 연결주의 네트워크는 이 스펙트럼의 양극단에 있다. 조회 테이블은 새로운 정보가 추가될 때 완전히 안정적으로 유지되지만 보지 못한 입력에 일반화할 수 없다. 반면, 표준 역전파 네트워크와 같은 연결주의 네트워크는 새로운 입력에 일반화할 수 있지만 새로운 정보에 매우 민감하여 종종 치명적 간섭을 초래한다.
이러한 민감성은 인간 기억을 모델링할 때 문제가 된다. 인간은 일반적으로 새로운 지식을 습득하면서 이전에 학습한 정보를 유지하기 때문이다. 이러한 대조는 생물학적 기억 시스템이 보완 학습 시스템이나 시냅스 강화와 같은 인공 네트워크가 결여한 메커니즘을 사용한다는 것을 시사한다.
순차 학습 실험
McCloskey와 Cohen(1989)은 역전파 네트워크를 사용한 두 가지 실험을 통해 치명적 간섭을 입증했다. 첫 번째 실험에서 그들은 숫자 1이 포함된 한 자리 덧셈 사실(예: 1+1부터 9+1까지 및 1+2부터 1+9까지)을 네트워크가 모두 올바르게 응답할 때까지 훈련했다. 그런 다음 숫자 2가 포함된 덧셈 사실(예: 2+1부터 2+9까지 및 1+2부터 9+2까지)을 동일한 네트워크에 훈련했다. 2의 사실에 대한 단 한 번의 훈련 시행 후, 네트워크의 1의 사실에 대한 성능은 급격히 떨어졌으며 종종 잘못된 답변과 유사한 출력을 생성했다. 2+1 및 1+2와 같은 중복 문제조차도 상당한 방해를 보였다.
두 번째 실험에서 McCloskey와 Cohen은 Barnes와 Underwood(1959)의 인간에 대한 회고적 간섭에 관한 고전 연구를 재현했다. 그들은 목록을 구별하기 위해 맥락 패턴을 사용하여 짝 연합(A-B 및 A-C 목록)에 네트워크를 훈련했다. 두 목록을 동시에 훈련했을 때 네트워크는 모든 연합을 올바르게 학습했다. 그러나 순차적으로 훈련했을 때(A-B 먼저, 그 다음 A-C), 인간에서 50% 정확한 응답을 생성한 A-C 훈련량은 네트워크에서 A-B 연합에 대해 거의 0% 정확한 응답을 초래했다. B 프롬프트에 대한 네트워크의 출력은 종종 C 응답과 유사하여 새로운 학습이 이전 지식을 덮어썼음을 나타냈다.
McCloskey와 Cohen은 은닉 유닛 수 변경, 학습률 조정, A-B 목록에 대한 과잉 훈련, 특정 연결 가중치 고정, 목표 값 변경 등 다양한 조작을 통해 간섭을 줄이려고 시도했다. 이러한 방법 중 어느 것도 치명적 망각을 만족스럽게 완화하지 못했다.
재인 기억 연구 결과
Ratcliff(1990)은 항목이 순차적으로 학습되는 표준 재인 기억 절차에 적용된 역전파 모델을 사용하여 이러한 발견을 확장했다. 그는 두 가지 주요 문제를 식별했다. 첫째, 잘 학습된 정보는 작은 네트워크와 큰 네트워크 모두에서 새로운 정보가 학습됨에 따라 치명적으로 망각되었다. 둘째, 새로운 정보에 대한 단 한 번의 학습 시행조차도 이전 정보의 상당한 손실을 초래하여 McCloskey와 Cohen의 결과와 유사했다.
Ratcliff는 또한 출력이 종종 이전 및 새로운 입력의 혼합임을 관찰했다. 더 큰 네트워크에서 그룹으로 학습된 항목(예: AB 다음 CD)은 개별적으로 학습된 항목(예: A 다음 B 다음 C)보다 망각에 더 저항했지만, 망각은 여전히 상당했다. 새로운 은닉 유닛을 추가해도 간섭이 줄어들지 않았다.
현대 AI에 대한 시사점
치명적 간섭은 인공 지능 시스템, 특히 대규모 언어 모델 및 트랜스포머 기반 아키텍처에서 여전히 중요한 도전 과제로 남아 있다. 이러한 모델이 새로운 작업이나 데이터 세트에 미세 조정될 때 이전에 학습한 작업에 대한 성능을 잃을 수 있다. 이 문제는 모델이 이전 지식을 잊지 않고 새로운 정보에 적응해야 하는 지속적 학습에서 특히 관련이 있다.
연구자들은 커리큘럼 학습, 모델 가지치기, 정규화 기술과 같은 치명적 망각을 완화하기 위한 다양한 전략을 개발했다. 그러나 보편적인 해결책은 존재하지 않으며, 이 문제는 신경망 이론 및 응용에서 활발한 연구 영역으로 남아 있다.
결론
치명적 간섭은 표준 신경망의 근본적인 한계를 강조하며 인간 기억을 복제하는 복잡성을 강조한다. McCloskey와 Cohen 및 Ratcliff의 연구는 이 현상과 그 특성을 확립하여 더 안정적이고 적응 가능한 학습 시스템을 구축하기 위한 지속적인 노력의 기초를 제공했다.