早期停止は、機械学習において、勾配降下法などの反復的最適化手法を用いてモデルを訓練する際に過学習を避けるために用いられる正則化の一形態である。これらの手法は、各反復でモデルを訓練データにより適合するように更新する。ある時点までは、これにより訓練データ外のデータ（検証セットなど）に対するモデルの性能が向上する。しかし、その時点を過ぎると、訓練データへの適合を改善することは、汎化誤差の増大を犠牲にして行われる。早期停止規則は、学習器が過学習を始める前に何回の反復を実行できるかについての指針を提供する。早期停止規則は、様々な理論的基盤を持つ多くの機械学習手法で採用されてきた。
背景
この節では、早期停止法の説明に必要な機械学習の基本的な概念をいくつか提示する。
過学習
機械学習アルゴリズムは、有限の訓練データに基づいてモデルを訓練する。訓練中、モデルは訓練セットに含まれる観測値をどれだけうまく予測するかによって評価される。しかし一般に、機械学習スキームの目標は、汎化する、すなわちこれまで見たことのない観測値を予測するモデルを生成することである。過学習は、モデルが訓練セットのデータにうまく適合する一方で、より大きな汎化誤差を生じる場合に発生する。これは機械学習における中心的な課題であり、過剰な容量を持つモデルは、基礎となるパターンを学習するのではなく、ノイズを記憶してしまう可能性がある。
正則化
機械学習の文脈における正則化とは、過学習を防ぐために学習アルゴリズムを修正するプロセスを指す。これは一般に、学習されたモデルに何らかの滑らかさの制約を課すことを含む。この滑らかさは、モデルのパラメータ数を固定することによって明示的に強制される場合もあれば、Tikhonov正則化のようにコスト関数を拡張することによって強制される場合もある。Tikhonov正則化は、主成分回帰や他の多くの正則化スキームとともに、フィルタの適用によって特徴付けられるスペクトル正則化の傘下に入る。早期停止もこのクラスの手法に属する。深層学習では、訓練データを記憶することなく大規模なニューラルネットワークを訓練するために、正則化が重要である。
勾配降下法
勾配降下法は、一次の反復的最適化手法である。各反復では、目的関数の勾配の負の方向にステップを踏むことによって、最適化問題の近似解を更新する。ステップサイズを適切に選択することにより、このような手法は目的関数の局所的最小値に収束させることができる。勾配降下法は、訓練セットにおける学習器の誤差を反映する損失関数を定義し、その関数を最小化することによって機械学習で使用される。早期停止は、この反復プロセスをいつ停止するかを決定するため、勾配降下法に特に関連する。
解析的結果に基づく早期停止
統計的学習理論における早期停止
早期停止は、統計的学習理論で遭遇するノンパラメトリック回帰問題を正則化するために使用できる。与えられた入力空間、出力空間、および未知の確率測度から引き出されたサンプルに対して、目標は回帰関数を近似することである。回帰関数を近似するための一般的な選択肢の1つは、再生核ヒルベルト空間の関数を使用することである。これらの空間は無限次元であり得、その場合、任意のサイズの訓練セットを過学習する解を提供できる。したがって、正則化はこれらの手法にとって特に重要である。ノンパラメトリック回帰問題を正則化する1つの方法は、勾配降下法などの反復手順に早期停止規則を適用することである。
これらの問題に対して提案された早期停止規則は、反復回数の関数としての汎化誤差の上限の分析に基づいている。これらは、解プロセスを開始する前に計算できる実行すべき反復回数の指示を与える。この理論的基盤は、早期停止を純粋にヒューリスティックなアプローチから区別する。
#### 例: 最小二乗損失
Yao、Rosasco、Caponnetto、2007年から改変: 入力空間をn次元実空間の部分集合とし、出力空間を実数とする。未知の確率測度から独立に引き出されたサンプルのセットが与えられた場合、目標は最小二乗損失関数の期待リスクを最小化することである。回帰関数は、入力が与えられたときの出力の条件付き期待値である。この設定の早期停止規則は、バイアスと分散のバランスをとる停止反復を提供し、多くの場合に最適な収束率をもたらす。
実践的な実装
実際には、早期停止は、訓練中に検証セットでのモデルの性能を監視することによって実装される。各エポック（または固定数の反復）の後、モデルは検証セットで評価される。検証性能が事前に定義された回数のチェックで改善されなかった場合、訓練は停止される。この忍耐パラメータにより、早期に停止することなく、検証性能の一時的な変動が可能になる。最良の検証性能を達成したモデルパラメータは、通常、最後の反復の最終パラメータではなく保持される。
このアプローチは、訓練が非常に高価であり、過学習が常にリスクであるトランスフォーマーモデルや大規模言語モデルの訓練で広く使用されている。例えば、OpenAIやGoogle DeepMindは、モデルが未知のデータによく汎化することを保証するために、訓練パイプラインで早期停止を採用している。
他の正則化法との関係
早期停止は、他の形態の正則化と密接に関連している。特に、勾配降下法における早期停止は、特定の設定ではL2正則化（重み減衰としても知られる）と等価であり、反復回数が正則化強度の逆数に類似した役割を果たすことが示されている。この関連性は、早期停止がなぜ機能するかについての洞察を提供する。それは、更新回数を制限することによってモデルの実効的な複雑さを制限し、重み減衰が大きな重みを罰するのと同様である。
損失関数を修正する明示的な正則化法とは異なり、早期停止は暗黙的な正則化の一形態である。それは目的を変更するのではなく、最適化経路を制約する。これにより、基礎となるモデルアーキテクチャや損失関数を変更することなく、任意の反復訓練アルゴリズムに簡単に適用できる。
理論的基盤
早期停止の理論的基盤は、統計的学習理論の文脈で広く研究されてきた。研究者は、反復回数の関数としての汎化誤差の限界を導出し、期待誤差を最小化する最適な停止時間が存在することを示した。これらの限界は、多くの場合、仮説空間の容量や複雑さなどの特性、およびデータのノイズレベルに依存する。
再生核ヒルベルト空間におけるノンパラメトリック回帰では、早期停止が特定の条件下でミニマックス最適レートを達成することが示されている。これは、同じ仮定の下では、他の推定器がより低い漸近誤差を達成できないことを意味する。これらの結果は、実際に早期停止を使用するための厳密な正当化を提供する。
現代のAIへの応用
早期停止は、現代のAIシステムの訓練における標準的な構成要素である。深層学習では、画像分類、音声認識、自然言語処理などのタスクのために、畳み込みネットワーク、リカレントネットワーク、およびトランスフォーマーを訓練するために使用される。AnthropicやOpenAIなどの企業は、GPTやClaudeなどのモデルを訓練する際に、大規模なデータセットでの過学習を避けるために早期停止を使用している。
教師あり学習に加えて、早期停止は教師なし学習や強化学習の設定でも適用される。例えば、生成モデルの訓練では、早期停止によって生成器が訓練サンプルを記憶するのを防ぐことができる。強化学習では、検証環境でのエージェントの性能が横ばいになったときに訓練を停止できる。
限界と考慮事項
早期停止は単純で効果的であるが、限界がある。検証セットの選択と忍耐パラメータは、最終的なモデルの品質に大きく影響する可能性がある。検証セットが小さすぎると、性能推定がノイズを含み、早期または遅延停止につながる可能性がある。さらに、早期停止は学習率やバッチサイズなどの他のハイパーパラメータと相互作用する可能性があり、単独で調整することが困難になる。
もう1つの考慮事項は、早期停止が検証性能を汎化の信頼できる代理と見なすことである。データ分布が時間とともに変化する場合など、一部のケースでは、この仮定が成り立たない可能性がある。それにもかかわらず、早期停止は機械学習実務者のツールキットにおける基本的なツールであり続けている。