エラスティックネット正則化は、機械学習と統計学において、モデル訓練中の損失関数にペナルティ項を追加することで過学習を防ぐために用いられる手法である。これは2005年にHui ZouとTrevor Hastieによって、リッジ回帰（L2正則化）とラッソ（L1正則化）の間の妥協点として導入された。この手法は、多くの相関する予測変数を含むデータセットを扱う際に特に有用であり、相関する特徴量のグループを選択しながら係数を縮小できる点が、ラッソ単独に対する主な利点である。
エラスティックネットのペナルティは、係数ベクトルのL1ノルムとL2ノルムの重み付き和として定義される。数学的には、損失関数に項 \(\lambda_1 \sum |\beta_j| + \lambda_2 \sum \beta_j^2\) を追加し、ここで \(\lambda_1\) と \(\lambda_2\) は各ペナルティの強さを制御するチューニングパラメータである。実際には、2つのペナルティを混合する単一のパラメータ \(\alpha\) と、全体的な正則化強度 \(\lambda\) で表現されることが多い。この定式化により、モデルは特徴選択（ラッソと同様）と係数縮小（リッジと同様）を同時に実行できる。
歴史的背景
エラスティックネット正則化の開発は、ラッソ法の既知の限界に対処するものであった。1996年にRobert Tibshiraniによって導入されたラッソは、スパースな特徴選択に効果的であるが、予測変数が高度に相関している場合に不安定な挙動を示す傾向があり、相関グループから1つの変数のみを選択し、他を無視することが多い。一方、リッジ回帰は相関する特徴量をより適切に扱うが、特徴選択は行わない。エラスティックネットはこのギャップを埋めるために設計され、その創始者たちは、グループ化されたまたは高度に相関する予測変数のシナリオにおいて、両手法よりも優れた性能を発揮できることを示した。
導入以来、エラスティックネットは統計学習と人工知能アプリケーションにおける標準的なツールとなっている。これはPythonのscikit-learnやRのglmnetなどの広く使用されるライブラリに実装されており、研究と産業の両方で利用可能である。
数学的定式化
線形回帰の文脈では、エラスティックネットの目的関数は、残差平方和と結合ペナルティを最小化する。応答変数 \(y\) と予測行列 \(X\) に対して、係数 \(\beta\) は次の式を解くことで推定される：
\[ \min_{\beta} \, \frac{1}{2n} \sum_{i=1}^n (y_i - x_i^T \beta)^2 + \lambda \left( \frac{1-\alpha}{2} \sum_{j=1}^p \beta_j^2 + \alpha \sum_{j=1}^p |\beta_j| \right) \]
ここで、\(\alpha\) は0から1の範囲を取り、\(\alpha = 1\) は純粋なラッソ、\(\alpha = 0\) は純粋なリッジに対応する。パラメータ \(\lambda\) は正則化の全体的な強さを制御する。2つのノルムの組み合わせは、スパース性を促進しながら、特徴量が相関する場合に解の経路を安定化させる。
機械学習における応用
エラスティックネット正則化は、機械学習のさまざまな領域で広く使用されており、線形回帰やロジスティック回帰モデル、一般化線形モデル、さらにはニューラルネットワークアーキテクチャの訓練における重み減衰の一形態としても用いられる。深層学習では、純粋なL2正則化（しばしば重み減衰と呼ばれる）ほど一般的ではないが、スパースな接続が望まれる状況、例えば特定の種類の特徴抽出や高次元入力空間を扱う場合に適用されている。
この手法は、バイオインフォマティクスやゲノミクスで特に人気があり、データセットには数千の特徴量（例：遺伝子発現レベル）がある一方でサンプル数が比較的少ないことが多い。このような場合、エラスティックネットは、遺伝子間の相関を考慮しながら、関連するバイオマーカーの小さなセットを特定するのに役立つ。また、計量経済学や金融でも、多くの経済指標を含む予測モデルでの変数選択に使用されている。
他の正則化手法との比較
エラスティックネットは、特徴量グループの扱いにおいて他の正則化アプローチと異なる。ラッソは相関グループから1つの特徴量を任意に選ぶ傾向があり、不安定なモデルにつながる可能性がある。リッジ回帰はすべての係数を縮小するが、正確にゼロには設定しないため、すべての特徴量を含むモデルになる。エラスティックネットはこれらの特性を組み合わせ、強く相関する特徴量が類似した係数値を持つ傾向があるグループ化効果を促進し、それらが同等に関連する場合はすべてを選択できる。
もう1つの関連手法は適応ラッソであり、初期推定に基づいてペナルティに異なる重みを割り当てるが、エラスティックネットはより単純で、しばしばより堅牢な代替手段である。実際には、これらの手法の選択はデータ構造とモデリング目標、例えば解釈可能性と予測精度のどちらを優先するかに依存する。
実践的な考慮事項
エラスティックネットを使用する際、パラメータ \(\alpha\) と \(\lambda\) のチューニングが重要である。これは通常、交差検証によって行われ、モデルを保留データで訓練および評価し、予測誤差を最小化する組み合わせを見つける。エラスティックネットを適用する前に予測変数の標準化が推奨される。これは、ペナルティ項がスケールに敏感であり、標準化されていない特徴量は不均等にペナルティを受けるためである。
この手法は、座標降下法などの解法アルゴリズムが大きなスパース行列を扱えるため、高次元の問題でも計算効率が良い。非常に大規模なデータセットでは、Apache SparkやAmazon Web Servicesなどの分散コンピューティングフレームワークでの実装がアプローチをスケールできるが、コアアルゴリズムは同じままである。
要約すると、エラスティックネット正則化は、ラッソとリッジの強みをバランスさせた、柔軟で強力な正則化回帰ツールを提供する。相関する特徴量を扱いながら特徴選択を実行する能力は、人工知能と統計学のデータサイエンティストや研究者のツールキットへの貴重な追加となっている。