特征缩放是一种数据预处理技术，用于机器学习中标准化数据中自变量或特征的范围。在许多算法中，特征尺度差异过大会扭曲学习过程，导致模型偏向于数值较大的特征。特征缩放通过转换数据来解决这一问题，使所有特征对模型目标的贡献成比例。
特征缩放的需求源于许多机器学习算法（如基于距离计算或梯度下降的算法）对输入值的大小敏感。例如，在包含年龄（范围0-100）和收入（范围0-100,000）等特征的数据集中，除非进行缩放，否则收入特征会在基于距离的计算中占据主导地位。缩放确保没有单一特征主导学习过程，从而加快收敛速度并提高模型准确性。
特征缩放的方法
存在多种特征缩放技术，每种技术具有不同的特性和使用场景。最常见的方法包括最小-最大归一化、标准化（z-score归一化）和鲁棒缩放。
最小-最大归一化将特征重新缩放到固定范围，通常为[0, 1]或[-1, 1]。变换公式为(x - min) / (max - min)，其中min和max是特征的最小值和最大值。此方法对异常值敏感，因为极端值会压缩大多数数据的缩放范围。
标准化（或z-score归一化）将特征转换为均值为0、标准差为1，使用公式(x - mean) / standard deviation。与最小-最大归一化不同，标准化不将值限制在特定范围内，并且由于使用均值和标准差（比最小值和最大值更稳健），受异常值影响较小。
鲁棒缩放使用中位数和四分位距（IQR）来缩放特征，使其对异常值高度稳健。公式为(x - median) / IQR。当数据包含可能扭曲其他缩放方法的显著异常值时，此方法特别有用。
其他方法包括最大绝对值缩放（按每个特征的最大绝对值进行缩放）和单位向量缩放（将每个样本缩放为单位范数）。
在机器学习算法中的重要性
特征缩放对于依赖距离度量的算法至关重要，例如k近邻、支持向量机以及k均值等聚类算法。在这些算法中，计算数据点之间的欧氏距离，尺度较大的特征会不成比例地影响距离计算。
基于梯度下降的算法，包括神经网络训练，也受益于特征缩放。当特征尺度不同时，梯度下降路径可能变得拉长和振荡，导致收敛缓慢。缩放特征有助于创建更球形的误差曲面，使梯度下降更快、更可靠地收敛。
基于树的模型（如决策树和随机森林）通常对特征缩放不敏感，因为它们基于特征值而非距离进行分割。然而，在某些实现中（如使用正则化或将树模型与其他组件结合时），缩放仍然有益。
在深度学习中的应用
在深度学习中，特征缩放通常作为数据预处理管道的一部分应用。例如，在图像处理中，像素值通常从范围[0, 255]缩放到[0, 1]或标准化为零均值和单位方差。这种做法有助于稳定训练，并提高批归一化和层归一化等技术的有效性，这些技术本身是网络内部应用的特征缩放形式。
对于大型语言模型训练，特征缩放较少被讨论，因为文本数据通常被分词和嵌入，但缩放仍在嵌入向量的初始化和归一化中发挥作用。诸如权重初始化和归一化层等技术旨在维持网络中的适当尺度，防止梯度消失或梯度爆炸等问题。
实际考虑
应用特征缩放时，必须仅在训练集上拟合缩放参数（例如，最小值、最大值、均值、标准差），然后将相同的变换应用于验证集和测试集。这可以防止数据泄漏，即测试集信息影响训练过程，导致过于乐观的性能估计。
缩放方法的选择取决于数据分布和所用算法。对于包含异常值的数据，通常优先选择鲁棒缩放或标准化，而非最小-最大归一化。对于近似高斯分布的数据，标准化是常见默认选择。对于有界数据（如像素强度），常用最小-最大归一化。
特征缩放还与其他预处理技术相关，例如梯度裁剪（解决训练期间的类似稳定性问题）和课程学习（可能涉及缩放训练示例的难度）。在实践中，特征缩放是机器学习管道中的基础步骤，其正确应用可显著影响模型性能。