과적합(overfitting)은 머신러닝에서 모델이 훈련 데이터를 너무 밀접하게 학습하여, 새로운 보지 못한 데이터로 일반화되는 패턴을 학습하는 대신 데이터의 노이즈와 특이성까지 학습하게 되는 실패 모드이다. 과적합된 모델은 일반적으로 훈련에 사용된 데이터에서는 매우 낮은 오류를 보이지만, 보류된 데이터에서는 훨씬 더 높은 오류를 보인다. 이는 한 번도 본 적 없는 예시에서도 잘 작동하는 모델을 구축하려는 원래 목표와 정반대의 결과이다.
원인
과적합은 모델이 유한한 훈련 집합의 특이한 세부 사항을 암기할 수 있을 만큼 충분한 용량, 즉 충분한 매개변수 또는 효과적인 유연성을 가질 때 발생하는 경향이 있다. 이는 그 기저에 있는 더 단순하고 일반적인 패턴을 찾도록 강제되는 대신에 일어난다. 모델 용량 대비 훈련 데이터 크기의 비율이 증가할수록 과적합 가능성은 높아지며, 이것이 과적합이 역사적으로 작은 데이터셋과 비교적 단순한 모델에서 더 큰 문제였던 이유이다. 오늘날의 대규모 언어 모델은 훈련 집합이 방대하므로 과적합이 덜 문제로 보일 수 있다. 과적합은 더 국지적으로 발생할 수도 있는데, 예를 들어 모델이 사전 훈련 이후 작고 좁은 데이터셋으로 미세 조정될 때, 미세 조정 집합에 과도하게 적응하면서 더 넓은 능력의 일부를 잃을 수 있다. 이와 관련된 현상은 때때로 파괴적 망각(catastrophic forgetting)이라고 불린다. 동일한 데이터를 너무 여러 번 반복 훈련하는 것, 즉 너무 많은 에포크(epoch)를 사용하는 것도 고전적인 직접적인 원인이다. 충분한 용량을 가진 모델은 훈련을 오래 지속할수록 일반적인 패턴을 학습하는 것에서 벗어나 특정 예시를 암기하는 쪽으로 점차 이동하기 때문이다.
탐지
과적합을 탐지하는 표준적인 방법은 손실 함수를 훈련 손실과 함께 검증 집합(validation set), 즉 훈련에서 보류된 데이터의 일부에서 모니터링하는 것이다. 두 손실이 함께 감소하는 한 모델은 일반화되고 있는 것이다. 그러나 훈련 손실은 계속 감소하는데 검증 손실이 정체되거나 증가하기 시작하면 모델이 과적합되기 시작한 것이다. 이러한 검증 곡선은 조기 종료(early stopping)의 기초가 되는데, 조기 종료는 검증 성능이 가장 좋은 지점 부근에서 훈련을 중단하는 기법이다. 또한 검증 집합을 사용하여 경쟁하는 여러 아키텍처나 하이퍼파라미터 설정 중에서 선택하는 기준이 되기도 한다. 이때 검증 집합은 모델이 훈련에 사용한 적이 없는 데이터이다.
완화
과적합을 예방하거나 줄이기 위한 일반적인 기법군은 정규화로 알려져 있으며, 여기에는 가중치 페널티(weight penalties), 드롭아웃(dropout), 데이터 증강(data augmentation), 그리고 단순히 더 많거나 더 다양한 훈련 데이터를 수집하여 암기 가능한 특이성이 진짜 패턴에 비해 상대적으로 덜 중요해지도록 하는 방법이 포함된다. 교차 검증(cross-validation)은 데이터를 여러 번 다른 훈련 및 검증 분할로 나누어 모델이 얼마나 잘 일반화되는지에 대한 더 견고한 추정치를 제공하며, 단일 검증 분할만 사용할 때보다 신뢰할 수 있다. 특히 데이터셋이 작아서 단일 보류 집합 자체가 노이즈가 심할 수 있는 경우에 표준적인 관행이다.
벤치마크 수준의 과적합
동일한 문제의 더 높은 수준의 변형은 연구자들이 수년에 걸쳐 동일한 공개 벤치마크에 대해 반복적으로 모델을 튜닝할 때 발생하며, 이는 실제 세계에서의 성과 향상 없이 특정 벤치마크에서만 결과가 개선되는 결과를 초래할 수 있다. 또한 인기 있는 평가 집합이 웹에서 수집된 훈련 데이터에 포함되어 유출될 위험이 있는데, 이를 벤치마크 또는 데이터 오염(contamination)이라고 한다. 이러한 이유로 보류되고 오염에 강한 평가와, 암기를 명시적으로 방지하도록 설계된 ARC-AGI와 같은 벤치마크가 대규모 언어 모델이 익숙한 테스트 분포에 과적합하는 대신 진정한 추론 능력에서 실제로 개선되고 있는지 정직하게 측정하는 데 점점 더 중요해지고 있다.