インクリメンタル学習は、継続学習や生涯学習とも呼ばれ、機械学習におけるパラダイムであり、モデルが静的なデータセットで一度だけ訓練されるのではなく、新しいデータが利用可能になるにつれて逐次的に更新される。中心的な課題は、以前に獲得した知識を保持しながら新しい情報を組み込むことであり、この問題はしばしば破滅的忘却と呼ばれる。インクリメンタル学習は、パーソナライズされたレコメンデーション、ロボティクス、リアルタイム監視など、変化するデータ分布への適応を必要とするアプリケーションにとって不可欠であり、ゼロから再訓練することは計算上 prohibitive または非現実的である。
この概念は、認知科学と初期のニューラルネットワーク研究にルーツを持つ。1980年代から1990年代にかけて、研究者たちはコネクショニストモデルが継続的に学習できる方法を研究したが、破滅的干渉の問題はマイケル・ジョーダンらによって強調された。この分野は、深層学習の台頭とともに2010年代に勢いを増し、大規模モデルが非定常環境への適応圧力に直面するようになった。現代のインクリメンタル学習手法は、正則化ベース、リハーサルベース、アーキテクチャベースの3つの主要な戦略に分類される。
正則化ベースの手法
正則化ベースの手法は、以前に学習した重みを保護するために学習プロセスに制約を追加する。顕著な例として、ジョシュア・テネンバウムらが2017年に導入した Elastic Weight Consolidation（EWC）があり、これは古いタスクにとって重要なパラメータの変更にペナルティを課す。もう一つのアプローチである Learning without Forgetting（LwF）は、古いモデルからの知識蒸留を使用して新しい訓練を導く。これらの手法は計算効率が高く、古いデータを保存する必要がないが、多くのタスクが蓄積されると苦戦する可能性がある。
リハーサルベースの手法
リハーサルベースの手法は、過去の例のサブセットをメモリバッファとして保存し、新しいデータの訓練中にそれらを再生する。古典的な手法である Experience Replay は、新しいサンプルと古いサンプルを交互に使用して性能を維持する。Gradient Episodic Memory（GEM）や Averaged GEM（A-GEM）などのより高度な手法は、保存された勾配を使用して更新を制約する。これらのアプローチは実際に効果的であり、継続学習ベンチマークで広く使用されている。しかし、特に機密性の高い領域では、プライバシーとストレージの懸念が生じる。
アーキテクチャベースの手法
アーキテクチャベースの手法は、異なるタスクに対して別々のモデルコンポーネントを割り当てる。2016年に導入された Progressive Neural Networks は、古いものを凍結しながら各タスクに新しいニューロンの列を追加する。Dynamic Expansion Networks や PackNet は、プルーニングとマスキングを使用して容量を切り開く。これらの手法は設計上忘却を回避するが、モデルの成長が無制限になる可能性がある。最近の研究では、アーキテクチャの拡張とスパース性を組み合わせて複雑さを制御している。
アプリケーションとベンチマーク
インクリメンタル学習は、変化する環境で動作する人工知能システムに適用される。例えば、ウェイモやテスラ・オートパイロットは、新しい運転シナリオに遭遇するにつれて知覚モデルを改善するために継続的適応を使用している。大規模言語モデルでは、パラメータ効率の良い微調整や合成データによるリハーサルなどの技術が、完全な再訓練なしでモデルを最新の状態に保つのに役立つ。Split MNIST、Permuted MNIST、タスクシーケンス付き CIFAR-100 などのベンチマークは、手法を評価するための標準となっている。この分野は、データが意味のある順序で提示されるカリキュラム学習とも交差する。
課題と将来の方向性
進歩にもかかわらず、インクリメンタル学習は未解決の課題に直面している。新しい情報を学習しながら古い情報を保持する必要性のバランスを取る安定性-可塑性ジレンマは、依然として未解決である。評価プロトコルはさまざまであり、比較が困難になっている。また、データが小さなバッチで到着するオンラインおよび少数ショット継続学習への関心も高まっている。MIT CSAILやバークレーAIリサーチなどの機関での研究は、シナプス統合や神経新生などの生物学的に着想を得たメカニズムを探求し続け、より堅牢な生涯学習システムを構築している。