降维是机器学习和人工智能中的一项基础技术，它将数据从高维空间转换为低维空间，同时尽可能保留有意义的信息。其主要目标是减少所考虑的随机变量数量，这有助于缓解维度灾难，即特征空间的体积随维度数量呈指数增长，导致数据稀疏且统计分析困难。通过将数据投影到更少的维度中，模型变得更加高效，更不易过拟合，并且更易于可视化和解释。
降维的需求出现在许多领域，包括图像处理、自然语言处理和基因组学。高维数据集通常包含冗余或无关的特征，这些特征会增加噪声和计算成本。诸如主成分分析（PCA）、t分布随机邻域嵌入（t-SNE）和统一流形逼近与投影（UMAP）等技术被广泛用于从数据中提取最具信息量的结构。这些方法可以是线性的或非线性的，其选择取决于数据特征和预期应用，如聚类、分类或可视化。
主成分分析与线性方法
主成分分析（PCA）是最经典且广泛使用的线性降维技术。它由卡尔·皮尔逊于1901年提出，PCA识别出称为主成分的正交轴，这些轴捕获数据中的最大方差。第一个主成分解释最大可能的方差，第二个解释次大的，依此类推。通过仅保留顶部的主成分，PCA在保留全局结构的同时降低了维度。PCA计算效率高，并构成了许多扩展的基础，如用于非线性数据的核PCA。其他线性方法包括线性判别分析（LDA），其侧重于最大化类间可分性，以及因子分析，其建模潜在的隐变量。
非线性技术：t-SNE和UMAP
对于复杂的非线性数据，线性方法往往无法捕获内在结构。t分布随机邻域嵌入（t-SNE）由劳伦斯·范德马滕和杰弗里·辛顿于2008年开发，是一种流行的非线性技术，强调局部相似性。它在高维空间中构建点对的概率分布，然后最小化该分布与低维嵌入中类似分布之间的Kullback-Leibler散度。t-SNE在可视化聚类方面表现出色，但对超参数敏感，且不能很好地保留全局距离。统一流形逼近与投影（UMAP）由利兰·麦金尼斯和约翰·希利于2018年提出，是一种基于流形理论和拓扑数据分析的较新方法。UMAP通常比t-SNE运行更快，并且能更好地保留局部和全局结构，使其成为大型数据集的首选。
自编码器与深度学习方法
随着深度学习和神经网络架构的兴起，降维已被整合到表示学习中。自编码器是经过训练的神经网络，通过较低维度的瓶颈层重建其输入。编码器将输入映射到压缩的潜在表示，解码器尝试重建原始数据。训练后，潜在空间作为降维后的特征集。变分自编码器（VAE）通过学习概率潜在分布扩展了这一思想，从而实现生成建模。这些方法对图像和文本数据特别有效，因为它们可以学习分层特征。在大型语言模型的背景下，降维用于管理标记的高维嵌入并投影注意力矩阵，通常通过低秩分解等技术实现。
应用与实际考虑
降维应用于众多现实世界系统中。在计算机视觉中，它有助于压缩图像特征以加快推理速度，例如在自动驾驶应用中，如Waymo和特斯拉自动驾驶。在自然语言处理中，诸如Word2Vec和GloVe的词嵌入将词汇空间缩减为密集向量，然后由Transformer模型使用。在生物信息学中，它有助于可视化来自高通量测序的基因表达数据。实际考虑包括信息损失与计算节省之间的权衡、维度数量的选择（通常通过解释方差或肘部方法确定）以及所得特征的可解释性。诸如丢弃和批归一化等技术有时与降维结合使用以提高模型鲁棒性，尽管它们服务于不同的目的。
与维度灾难的关系
维度灾难描述了覆盖高维空间所需的样本数量随维度数量呈指数增长的现象。这使得距离度量变得不那么有意义，并可能降低诸如k近邻等算法的性能。降维通过将数据投影到点密度更高且距离更可靠的较低维子空间来直接解决这一问题。然而，它并非万能药；激进的降维可能丢弃判别性信息。像麻省理工学院计算机科学与人工智能实验室和斯坦福人工智能实验室等机构的研究人员研究了降维的理论极限，包括约翰逊-林登斯特劳斯引理，该引理保证当目标维度为点数的对数时，随机投影能以高概率保留成对距离。
未来方向
随着数据集在规模和复杂性上的持续增长，降维仍是一个活跃的研究领域。能够扩展到数十亿点的方法，如近似PCA和流式UMAP，正在开发中。对可解释降维的兴趣也在增长，其中降维后的维度对应于有意义的语义概念。在生成式人工智能和基于Transformer的模型时代，潜在空间通常很高维，探测和稀疏自编码器等技术被用于理解和控制模型行为。降维与模型剪枝和数据增强的整合是另一个新兴趋势，旨在创建更高效和更通用的系统。