過学習（オーバーフィッティング）は機械学習における失敗モードの一つであり、モデルが訓練データを、そのノイズや個別の特性を含めてあまりに密接に学習し、新しく未見のデータに一般化するパターンを学習することを犠牲にしてしまう現象である。過学習したモデルは、通常、訓練に使用したデータでは非常に低い誤差を示すが、保留データではかなり高い誤差を示す。これは、未見の例に対して良好に機能するモデルを構築するという本来の目的とは逆の結果である。
原因
過学習は、モデルが十分な容量、すなわち十分なパラメータ数や実効的な柔軟性を持ち、有限な訓練集合の個別の詳細を記憶することを強いられるのではなく、その背後にあるより単純で一般的なパターンを見つけることを強いられない場合に発生しがちである。モデル容量と訓練データサイズの比率が高まるにつれて過学習の可能性は高まる。そのため、歴史的には、過学習は小規模なデータセットと比較的単純なモデルにとって大きな懸念事項であり、訓練集合が膨大な今日の大規模言語モデルにとっては、そのように見えるかもしれないほどではない。過学習はより局所的に発生することもある。例えば、モデルが事前学習後に小さく狭いデータセットで微調整される場合、微調整セットに過剰適応しながら、より広範な能力の一部を失うことがあり、これは関連する現象として破滅的忘却と呼ばれることもある。同じデータを過剰な回数訓練すること、すなわちエポック数が多すぎることは、古典的な直接原因である。十分な容量を持つモデルは、訓練を続けるほど、一般的なパターンの学習から特定の例の記憶へと徐々に移行するからである。
検出
過学習を検出する標準的な方法は、訓練から保留されたデータの一部である検証セット上で損失関数を監視し、訓練損失と並行して確認することである。両方の損失が一緒に低下している限り、モデルは一般化している。訓練損失が低下し続ける一方で検証損失が停滞または上昇し始めたら、モデルは過学習を始めている。この検証曲線は、検証性能が最良となる点付近で訓練を停止する手法である早期停止の基礎であり、また、モデルが訓練されたことのない検証セットを用いて、競合するアーキテクチャやハイパーパラメータ設定を選択するための基礎でもある。
緩和策
過学習を防止または低減するための技術の一般的なファミリーは正則化として知られており、これには重みペナルティ、ドロップアウト、データ拡張、そして記憶可能な個別の特性が真のパターンに比べて重要でなくなるように、より多くのまたはより多様な訓練データを収集することが含まれる。交差検証は、データを異なる訓練分割と検証分割に繰り返し分割することで、単一の訓練-検証分割よりもモデルの一般化の程度をより頑健に推定し、単一の保留セット自体がノイズを含む可能性がある小規模データセットでは標準的な手法である。
ベンチマークレベルでの過学習
同じ問題の関連する高次のバージョンは、分野全体の進歩の測定方法に影響を与える。研究者が長年にわたって同じ公開ベンチマークに対してモデルを繰り返し調整すると、その特定のベンチマークでは結果が改善されるが、実際の世界での利得は伴わないことがあり、また、人気のある評価セットがウェブから収集された訓練データに漏れ込むリスクがあり、これはベンチマーク汚染またはデータ汚染と呼ばれる問題である。このため、保留され汚染に耐性のある評価や、記憶を明示的に防ぐように設計されたARC-AGIのようなベンチマークが、大規模言語モデルが馴染みのあるテスト分布への過学習ではなく、真の推論において改善しているかを正直に測定する上でますます重要になっている。