交差検証（クロスバリデーション）は、回転推定やサンプル外テストとも呼ばれ、統計分析の結果が独立したデータセットにどの程度一般化されるかを評価するためのモデル検証手法の一群である。これは、データの異なる部分を使用してモデルを訓練し、異なる反復でテストするリサンプリング手法である。交差検証は、予測モデルが実際にどの程度正確に機能するかを推定するために予測設定で一般的に使用され、適合モデルの品質とそのパラメータの安定性も評価できる。
典型的な予測問題では、モデルは既知のデータセット（訓練セット）で訓練され、その後、未見のデータセット（検証セットまたはテストセット）でテストされる。目標は、推定に使用されなかった新しいデータを予測するモデルの能力を測定し、過学習や選択バイアスなどの問題を明らかにし、モデルが独立したデータセットにどのように一般化されるかについての洞察を提供することである。交差検証の1ラウンドは、サンプルを相補的なサブセットに分割することを含む：モデルは一方のサブセット（訓練セット）で適合され、他方（検証セット）で検証される。変動性を減らすために、ほとんどの方法は異なる分割で複数のラウンドを実行し、検証結果はラウンド全体で平均化され、予測性能のより正確な推定値を得る。
動機
1つ以上の未知のパラメータを持つモデルと、モデルを適合させることができるデータセットを考えよう。適合プロセスは、モデルが訓練データに可能な限り適合するようにパラメータを最適化する。同じ母集団から独立した検証データのサンプルが取られた場合、モデルは一般的に訓練データに適合するほど検証データには適合しない。この不一致は、訓練セットが小さい場合やパラメータの数が多い場合に特に大きくなる。交差検証は、この効果の大きさを推定する方法を提供し、モデルの性能を理解するために重要である。
例：線形回帰
線形回帰では、実数の応答値 \(y_1, \ldots, y_n\) と \(n\) 個のp次元共変量ベクトル \(\mathbf{x}_1, \ldots, \mathbf{x}_n\) があり、各 \(\mathbf{x}_i\) は成分 \(x_{i1}, \ldots, x_{ip}\) を持つとする。最小二乗法を使用して超平面 \(\hat{y} = a + \boldsymbol{\beta}^T \mathbf{x}\) をデータに適合させると、訓練セット上の平均二乗誤差（MSE）は次のように定義される：
\[
\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \frac{1}{n} \sum_{i=1}^n (y_i - a - \boldsymbol{\beta}^T \mathbf{x}_i)^2.
\]
モデルが正しく指定されている場合、訓練MSEは真の予測誤差を過小評価する傾向がある。なぜなら、モデルは訓練データに適合するように最適化されているからである。交差検証は、保持されたデータでモデルを評価することにより、この楽観性を修正するのに役立つ。
一般的な方法
データを分割する方法が異なるいくつかの交差検証技術が存在する。
k分割交差検証
k分割交差検証では、元のサンプルはランダムに \(k\) 個の等しいサイズのサブサンプルに分割される。これらのうち、\(k-1\) 個のサブサンプルが訓練データとして使用され、残りの1つのサブサンプルが検証データとして使用される。このプロセスは \(k\) 回繰り返され、各サブサンプルが検証データとして正確に1回使用される。\(k\) 個の結果は平均化され、単一の推定値が生成される。\(k\) の典型的な選択肢は5または10であり、バイアスと分散のバランスを取る。特別なケースとして、leave-one-out交差検証（LOOCV）があり、ここでは \(k\) がデータポイントの数に等しく、各観測が検証セットとして1回使用されることを意味する。
Leave-One-Out交差検証（LOOCV）
LOOCVはk分割交差検証の極端な形式であり、各訓練セットは1つの観測を除くすべての観測で構成され、検証セットはその単一の観測である。この方法は大規模なデータセットでは計算コストが高いが、予測誤差のほぼ不偏な推定値を提供する。ただし、分散が高くなる可能性がある。
繰り返しランダムサブサンプリング
モンテカルロ交差検証とも呼ばれるこの方法は、データを訓練セットと検証セットに複数回ランダムに分割し、置換を伴う。予測誤差は分割全体で平均化される。このアプローチは、各観測が検証に正確に1回使用されることを保証しないが、データサイズが大きい場合に有用である。
層化交差検証
不均衡なクラスを持つ分類問題では、層化交差検証により、各フォールドが元のデータセットと同じクラス比率を維持することが保証される。これにより、特定のクラスが欠落したフォールドが生じることを防ぎ、誤解を招く性能推定値を回避できる。
応用
交差検証は、モデル選択やハイパーパラメータ調整のためにMachine learningやArtificial intelligenceで広く使用されている。例えば、ニューラルネットワークや大規模言語モデルの訓練では、実務者は交差検証を使用して層の数、学習率、正則化パラメータを選択する。また、Deep learningでアーキテクチャを比較したり、Transformer (architecture)ベースのモデルで展開前に一般化を評価するためにも使用される。
予測以外にも、交差検証はモデルパラメータの安定性を評価するのに役立つ。モデルのパラメータが異なる訓練フォールド間で大幅に変動する場合、それは不安定性と潜在的な過学習を示す。これは、モデルが多様な実世界の入力に一般化する必要があるGenerative AIのような分野で特に重要である。
制限と考慮事項
交差検証にはいくつかの制限がある。大規模なデータセットや複雑なモデルでは、繰り返し訓練が必要なため、計算コストが高くなる可能性がある。時系列データの場合、ランダム分割が時間的順序に違反するため、標準的な交差検証は不適切であり、代わりにフォワードチェイニングなどの技術が使用される。さらに、交差検証は特定の訓練セットサイズに対する期待予測誤差を推定するが、ランダム分割による変動性を完全には考慮せず、データセットが小さい場合に推定値の分散が高くなる可能性がある。
もう1つの考慮事項は、交差検証がデータが独立で同一分布（i.i.d.）であることを前提としていることである。実際には、データ内にクラスタリングや相関がある場合、検証結果が過度に楽観的になる可能性がある。グループ化交差検証などの方法は、グループ内のすべての観測を訓練セットまたは検証セットのいずれかにまとめて保持することで、この問題に対処できる。
過学習との関係
過学習は、モデルが基礎となるパターンではなく訓練データのノイズを学習し、新しいデータでの性能が低下するときに発生する。交差検証は過学習を検出するための主要なツールである：検証誤差が訓練誤差よりも大幅に高い場合、モデルは過学習している可能性が高い。複数の分割を平均化することにより、交差検証は単一の訓練テスト分割よりも信頼性の高い一般化誤差の推定値を提供し、実務者が過度に複雑なモデルを選択するのを防ぐのに役立つ。
歴史的背景
交差検証の概念は統計学にルーツがあり、1930年代に遡り、Seymour Geisserらによる初期の研究がある。これは、20世紀後半の計算統計学とMachine learningの台頭とともにより顕著になった。Thomas G. DietterichやMichael I. Jordanなどの研究者は、その理論的理解と実用的応用に貢献してきた。今日、交差検証はデータサイエンティストのツールボックスにおける標準的なツールであり、ほとんどの統計および機械学習ライブラリに実装されている。
関連項目
- Machine learning
- Artificial intelligence
- Deep learning
- Neural network
- Large language model
- Transformer (architecture)
- Generative AI
- 過学習（利用可能な場合）
参考文献
- Geisser, S. (1975). The predictive sample reuse method with applications. Journal of the American Statistical Association.
- Stone, M. (1974). Cross-validatory choice and assessment of statistical predictions. Journal of the Royal Statistical Society.
- Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection. International Joint Conference on Artificial Intelligence.