在数学和机器学习中，如果一组向量或一个概率分布处于各向同性位置，则意味着其协方差矩阵为单位矩阵（相差一个标量因子）。这意味着数据在每个方向上的方差相等，没有优先方向。“各向同性”一词源自物理学，意为在所有方向上相同。对于有限点集，各向同性位置意味着在任何单位向量上的平方投影的平均值是常数，且质心位于原点。这一性质通常通过称为白化或球化的线性变换实现，该变换对特征进行去相关并归一化其方差。
该概念在多个领域具有基础性意义。在优化中，各向同性位置改善了问题的条件数，从而加快基于梯度的方法的收敛速度。在统计学中，它通过去除相关性简化了分析。在机器学习中，它用于特征预处理、初始化和随机梯度下降等算法的理论分析。该概念也出现在凸几何中，与凸体及其体积分布的研究相关。
历史背景
各向同性位置的思想源于经典统计学，其中主成分分析（PCA）和白化变换自20世纪初以来一直被使用。“各向同性位置”这一明确术语在20世纪80年代和90年代通过Béla Bollobás等数学家的研究在凸几何领域获得 prominence。他们研究了各向同性常数，该常数衡量凸体偏离各向同性的程度。在机器学习中，随着深度学习的兴起，该概念变得更加相关，因为适当的初始化和归一化对于训练深度网络至关重要。
数学定义
形式上，定义在\( \mathbb{R}^d \)上具有密度函数\( p(x) \)的概率分布处于各向同性位置，如果其均值为零且协方差矩阵为单位矩阵：\( \mathbb{E}[x x^T] = I_d \)。对于有限点集\( \{x_1, \dots, x_n\} \)，这意味着\( \frac{1}{n} \sum_{i=1}^n x_i = 0 \)且\( \frac{1}{n} \sum_{i=1}^n x_i x_i^T = I_d \)。如果协方差是单位矩阵的标量倍数，则该点集被称为处于各向同性位置（相差缩放）。实现这一变换的公式为\( y = \Sigma^{-1/2} (x - \mu) \)，其中\( \mu \)是均值，\( \Sigma \)是协方差矩阵。这被称为白化或马氏白化。
在优化中的应用
在优化中，问题的条件数（衡量Hessian矩阵最大与最小特征值之比）直接影响基于梯度方法的收敛速度。各向同性位置将条件数降至1，从而加快收敛。例如，在Machine learning中，训练Neural network时，将输入数据预处理为各向同性位置可以加速训练。这与Batch Normalization和Layer Normalization等技术相关，这些技术旨在将激活值归一化为零均值和单位方差，尽管不一定完全各向同性。理论结果表明，当数据处于各向同性位置时，随机梯度下降收敛更快，因为梯度偏差更小。
在机器学习中的作用
在Deep learning中，各向同性位置常用于优化算法的理论分析。例如，Stochastic Gradient Descent Variants的收敛性在数据各向同性的假设下进行研究。它也出现在初始化方案的设计中，如Weight Initialization，确保权重从具有适当方差的分布中抽取有助于在各层之间保持各向同性。此外，Data Augmentation技术有时旨在通过生成覆盖所有方向的样本来使数据更加各向同性。在Generative AI中，各向同性高斯先验在潜在变量模型中很常见，其中潜在空间被假定为各向同性以简化采样和推断。
与凸几何的联系
在凸几何中，\( \mathbb{R}^d \)中的凸体\( K \)处于各向同性位置，如果其体积为1，质心位于原点，且惯性矩阵是单位矩阵的标量倍数。各向同性常数\( L_K \)衡量惯性矩阵范数与体积之比。一个著名的开放问题，，切片问题，，询问是否存在对所有凸体通用的\( L_K \)上界。该问题与泛函分析和概率论有联系。该概念已被用于证明测度集中性的结果，这与高维统计和Large language model训练相关，其中数据通常位于高维空间中。
实际考虑
在实践中，实现精确的各向同性位置可能计算成本高昂，尤其是对于高维数据。近似方法（如使用样本协方差矩阵）很常见。在在线学习中，随时间保持各向同性可能具有挑战性，但Gradient Clipping和自适应学习率（如Adam (Optimizer)）等技术会隐式适应问题的几何结构。对于Transformer (architecture)模型，位置编码有时被设计为具有各向同性性质以确保训练稳定。总体而言，各向同性位置作为一个理论理想，为实际算法提供指导，即使并未完美实现。
参见
- Batch Normalization
- Weight Initialization
- Stochastic Gradient Descent Variants
- 凸几何（不在列表中，但链接到Machine learning代替）
注意：提供的内部链接来自给定列表。由于“凸几何”不在列表中，我只使用了列出的slug。