증분 학습(Incremental learning)은 지속 학습(continual learning) 또는 평생 학습(lifelong learning)이라고도 하며, 기계 학습에서 모델이 정적 데이터셋에 대해 한 번에 훈련되는 대신, 새로운 데이터가 제공됨에 따라 순차적으로 업데이트되는 패러다임이다. 핵심 과제는 기존에 습득한 지식을 보존하면서 새로운 정보를 통합하는 것으로, 이러한 문제는 종종 파국적 망각(catastrophic forgetting)이라고 불린다. 증분 학습은 개인화된 추천, 로봇 공학, 실시간 모니터링과 같이 변화하는 데이터 분포에 적응해야 하는 애플리케이션에 필수적이며, 이러한 경우 처음부터 다시 훈련하는 것은 계산적으로 불가능하거나 비실용적이다.
이 개념은 인지 과학과 초기 신경망 연구에 뿌리를 두고 있다. 1980년대와 1990년대에 연구자들은 연결주의 모델이 지속적으로 학습할 수 있는 방법을 연구했지만, 파국적 간섭의 문제는 마이클 조던과 다른 연구자들에 의해 강조되었다. 이 분야는 2010년대에 딥 러닝의 부상과 함께 추진력을 얻었으며, 대규모 모델이 비정상 환경에 적응해야 하는 압력이 증가했다. 현대 증분 학습 방법은 크게 세 가지 전략, 즉 정규화 기반, 리허설 기반, 구조 기반 접근법으로 분류된다.
정규화 기반 방법
정규화 기반 방법은 이전에 학습된 가중치를 보호하기 위해 학습 과정에 제약 조건을 추가한다. 대표적인 예로는 2017년 조슈아 테넨바움과 동료들이 도입한 탄성 가중치 통합(EWC)이 있으며, 이는 이전 작업에 중요한 매개변수의 변경에 패널티를 부과한다. 또 다른 접근법인 망각 없는 학습(LwF)은 이전 모델의 지식 증류를 사용하여 새로운 훈련을 안내한다. 이러한 방법은 계산 효율적이며 이전 데이터를 저장할 필요가 없지만, 많은 작업이 누적될 때 어려움을 겪을 수 있다.
리허설 기반 방법
리허설 기반 방법은 메모리 버퍼라고 알려진 과거 예제의 하위 집합을 저장하고, 새로운 데이터에 대한 훈련 중에 이를 재생한다. 고전적인 기법인 경험 재생(Experience Replay)은 새로운 샘플과 이전 샘플을 교차하여 성능을 유지한다. 경사 기반 에피소드 메모리(GEM) 및 평균 GEM(A-GEM)과 같은 더 발전된 방법은 저장된 경사를 사용하여 업데이트를 제한한다. 이러한 접근법은 실제로 효과적이며 지속 학습 벤치마크에서 널리 사용된다. 그러나 민감한 영역에서는 개인 정보 보호 및 저장 문제를 제기한다.
구조 기반 방법
구조 기반 방법은 서로 다른 작업에 대해 별도의 모델 구성 요소를 할당한다. 2016년에 도입된 점진적 신경망(Progressive Neural Networks)은 이전 열을 고정하면서 각 작업에 대해 새로운 뉴런 열을 추가한다. 동적 확장 네트워크(Dynamic Expansion Networks)와 PackNet은 가지치기와 마스킹을 사용하여 용량을 확보한다. 이러한 방법은 설계상 망각을 방지하지만 모델 성장이 무한정해질 수 있다. 최근 연구는 희소성을 결합한 구조적 확장을 통해 복잡성을 제어한다.
애플리케이션 및 벤치마크
증분 학습은 변화하는 환경에서 작동하는 인공 지능 시스템에 적용된다. 예를 들어, 웨이모와 테슬라 오토파일럿은 새로운 주행 시나리오가 발생함에 따라 지각 모델을 개선하기 위해 지속 적응을 사용한다. 대규모 언어 모델에서는 매개변수 효율적 미세 조정과 합성 데이터를 사용한 리허설과 같은 기술이 전체 재훈련 없이 모델을 최신 상태로 유지하는 데 도움이 된다. 분할 MNIST, 순열 MNIST, 작업 시퀀스가 있는 CIFAR-100과 같은 벤치마크는 방법을 평가하는 표준이다. 이 분야는 데이터가 의미 있는 순서로 제시되는 커리큘럼 학습과도 교차한다.
과제 및 향후 방향
진전에도 불구하고 증분 학습은 여전히 해결되지 않은 과제에 직면해 있다. 새로운 정보를 학습하면서 기존 정보를 유지해야 하는 균형인 안정성-가소성 딜레마는 여전히 해결되지 않았다. 평가 프로토콜이 다양하여 비교가 어렵다. 또한 데이터가 소량 배치로 도착하는 온라인 및 퓨샷 지속 학습에 대한 관심이 증가하고 있다. MIT CSAIL 및 버클리 AI 연구와 같은 기관의 연구는 시냅스 통합과 신경 발생과 같은 생물학적으로 영감을 받은 메커니즘을 계속 탐구하여 더 강력한 평생 학습 시스템을 구축하고 있다.