弹性网正则化是一种在机器学习和统计学中使用的方法，通过在模型训练期间向损失函数添加惩罚项来防止过拟合。它由Hui Zou和Trevor Hastie于2005年提出，作为岭回归（L2正则化）和套索（L1正则化）之间的折中方案。该技术在处理包含许多相关预测变量的数据集时特别有用，因为它可以选择相关特征组，同时收缩其系数，这是相对于单独使用套索的一个关键优势。
弹性网惩罚被定义为系数向量的L1和L2范数的加权和。在数学上，它向损失函数添加项\(\lambda_1 \sum |\beta_j| + \lambda_2 \sum \beta_j^2\)，其中\(\lambda_1\)和\(\lambda_2\)是控制每种惩罚强度的调优参数。在实践中，它通常用一个混合两种惩罚的单一参数\(\alpha\)和总正则化强度\(\lambda\)来表示。这种公式化允许模型同时执行特征选择（如套索）和系数收缩（如岭回归）。
历史背景
弹性网正则化的发展解决了套索方法的一个已知局限性。套索由Robert Tibshirani于1996年提出，对于稀疏特征选择有效，但当预测变量高度相关时可能表现不稳定；它倾向于从相关组中选择一个变量而忽略其他变量。另一方面，岭回归能更好地处理相关特征，但不执行特征选择。弹性网旨在弥合这一差距，其创造者表明，在分组或高度相关的预测变量场景中，它可以优于这两种方法。
自推出以来，弹性网已成为统计学习和人工智能应用中的标准工具。它已在广泛使用的库中实现，如Python中的scikit-learn和R中的glmnet，使其对研究和工业都易于访问。
数学公式
在线性回归的背景下，弹性网目标函数最小化残差平方和加上组合惩罚。对于响应变量\(y\)和预测矩阵\(X\)，系数\(\beta\)通过求解以下问题来估计：
\[ \min_{\beta} \, \frac{1}{2n} \sum_{i=1}^n (y_i - x_i^T \beta)^2 + \lambda \left( \frac{1-\alpha}{2} \sum_{j=1}^p \beta_j^2 + \alpha \sum_{j=1}^p |\beta_j| \right) \]
这里，\(\alpha\)的范围从0到1，其中\(\alpha = 1\)对应纯套索，\(\alpha = 0\)对应纯岭回归。参数\(\lambda\)控制正则化的整体强度。两种范数的组合鼓励稀疏性，同时在特征相关时稳定解路径。
在机器学习中的应用
弹性网正则化广泛用于机器学习的各个领域，包括线性和逻辑回归模型、广义线性模型，甚至作为权重衰减形式在神经网络架构的训练中。在深度学习中，它不如纯L2正则化（通常称为权重衰减）常见，但在需要稀疏连接的场景中已有应用，例如某些类型的特征提取或处理高维输入空间时。
该方法在生物信息学和基因组学中特别受欢迎，这些领域的数据集通常有数千个特征（例如基因表达水平），但样本相对较少。在这种情况下，弹性网有助于识别一小部分相关生物标志物，同时考虑基因之间的相关性。它也在计量经济学和金融学中用于预测模型中的变量选择，这些模型包含许多经济指标。
与其他正则化技术的比较
弹性网在特征组的处理上不同于其他正则化方法。套索倾向于任意从相关组中选择一个特征，这可能导致模型不稳定。岭回归收缩所有系数但不将其精确设为零，导致模型包含所有特征。弹性网结合了这些属性，鼓励分组效应，其中强相关的特征倾向于具有相似的系数值，并且如果它们同等相关，可以选择所有特征。
另一种相关技术是自适应套索，它根据初始估计为惩罚分配不同权重，但弹性网仍然是一个更简单且通常更稳健的替代方案。在实践中，这些方法之间的选择取决于数据结构和建模目标，例如是优先考虑可解释性还是预测准确性。
实际考虑
使用弹性网时，调优参数\(\alpha\)和\(\lambda\)至关重要。这通常通过交叉验证完成，其中模型在保留数据上进行训练和评估，以找到最小化预测误差的组合。建议在应用弹性网之前对预测变量进行标准化，因为惩罚项对尺度敏感；否则未缩放的特征会受到不均匀的惩罚。
该方法即使对于高维问题也是计算高效的，因为坐标下降等求解算法可以处理大型稀疏矩阵。对于非常大的数据集，在分布式计算框架（如Apache Spark或Amazon Web Services）中的实现可以扩展该方法，但核心算法保持不变。
总之，弹性网正则化为正则化回归提供了一个灵活且强大的工具，平衡了套索和岭回归的优势。它处理相关特征同时执行特征选择的能力使其成为数据科学家和人工智能及统计学研究人员工具包中的宝贵补充。