在机器学习和数据分析中，数据集的内在维度指的是在不造成显著信息损失的前提下，表示该数据所需的最少独立变量数量。虽然数据可能嵌入在高维的周围空间（例如，一张图像有数千个像素值），但其实际结构往往位于一个较低维度的流形上。内在维度量化了这种较低维度的复杂性，区分了冗余或相关的特征与支配数据变异性的真实自由度。
这一概念对于理解“维度灾难”以及深度学习模型令人惊讶的效率至关重要。例如，自然图像、音频信号和文本嵌入的内在维度通常远小于其原始特征数量。这一特性支撑了诸如模型剪枝、数据增强和流形学习等技术，在这些技术中，降低维度可以改善泛化能力、计算效率和可解释性。
测量与估计
估计内在维度是一个非平凡的问题，方法主要分为两大类：全局方法和局部方法。全局方法，如主成分分析（PCA）或多维缩放，假设数据位于一个线性子空间上。然而，现实世界的数据通常位于非线性流形上，因此需要局部方法。常见的局部估计器包括关联维度、Grassberger-Procaccia算法，以及基于最近邻的方法，如2005年Levina和Bickel提出的最大似然估计器（MLE）。这些方法计算邻居数量随距离增长的速率，从而得出局部维度估计，并可对整个数据集进行平均。
更近期的方法利用神经网络本身。例如，可以通过训练分类器或自编码器并测量学习到的特征表示的秩来推断数据集的固有维度。在神经网络研究中，损失景观的内在维度，，即达到最小值所需的有效参数数量，，已被研究以理解泛化和过度参数化。
在神经网络训练中的作用
现代机器学习中的一个关键发现是，神经网络参数的优化通常发生在一个远小于完整参数计数的低维子空间中。Li等人（2018）的研究表明，对于许多架构，只需优化参数空间的一个小的随机投影，就能将网络训练到接近完全准确度，所需维度随参数数量呈对数增长。这种现象有时被称为“优化的内在维度”，解释了为什么梯度裁剪和学习率调度策略即使在大型模型中也能有效。
这一见解具有实际意义。它支持了模型剪枝和低秩分解技术的有效性，在这些技术中，冗余参数被移除而不会牺牲性能。它还为大型语言模型的参数高效微调方法（如适配器或低秩更新）的设计提供了信息，这些方法利用了任务特定调整的低内在维度。
在数据科学中的应用
在无监督学习中，内在维度指导了t-SNE或UMAP等算法的嵌入维度选择。了解内在维度有助于在基于损失函数的矩阵分解或自编码器风格模型中设置潜在因子的数量。在异常检测中，具有异常高的局部内在维度的点可能表明噪声或离群值，因为它们偏离了流形结构。
在计算机视觉和自然语言处理中，内在维度估计用于在模型选择之前评估数据集的复杂性。例如，图像块的内在维度可以预测分类任务的难度，而来自Transformer模型的文本嵌入对于更连贯的主题通常表现出更低的内在维度。
与过度参数化和泛化的联系
过度参数化模型（如残差网络和Transformer）的成功部分归因于数据和损失景观的低内在维度。理论工作表明，当数据的内在维度较低时，模型可以记忆噪声而不过度拟合，因为有效的假设空间受到约束。这与批归一化和丢弃法通过隐式降低特征空间的内在维度来正则化模型的观察结果一致。
此外，训练期间梯度动态的内在维度可以预测最终的泛化差距。研究表明，以较小的有效内在维度训练的网络往往泛化得更好，这一发现推动了课程学习和其他逐渐增加数据复杂性的训练策略的研究。
局限性与开放问题
估计内在维度仍然对噪声、样本大小和度量选择敏感。对于稀疏采样的高维数据，局部估计器可能存在偏差。目前没有普遍接受的定义，不同的估计器可能对同一数据集产生不同的值。在生成式AI和大型语言模型的背景下，学习到的表示空间的内在维度仍未完全理解，关于它如何与模型规模、训练数据多样性和涌现能力相关联的研究正在进行中。
未来的工作可能侧重于开发能够扩展到数十亿参数的稳健估计器，并将内在维度与人工智能安全性和可解释性中的理论保证联系起来。