主成分分析（PCA）是一种线性降维技术，它将可能相关的变量数据集转换为数量更少的不相关变量，这些变量称为主成分。该方法识别数据中方差最大的方向，并将原始观测值投影到这些方向上，从而生成一个保留尽可能多信息的低维表示。PCA 是机器学习中用于探索性数据分析、特征工程和预处理的最广泛使用的工具之一，同时也是从遗传学到金融学等领域的基礎概念。
该技术最早由卡尔·皮尔逊于1901年提出，后来由哈罗德·霍特林于1933年独立发展。它在数学上等同于对中心化数据矩阵进行奇异值分解（SVD），这使得计算高效且数值稳定。PCA 不需要标记数据，因此是一种无监督方法，它假设方差最大的方向信息量最大，这一假设在许多真实世界数据集中成立。
数学公式
给定一个包含 n 个观测值和 p 个变量的数据矩阵 X，PCA 首先对每个变量进行中心化，使其均值为零。然后计算中心化数据的协方差矩阵，并获得其特征向量和特征值。特征向量按特征值递减排序，定义主成分轴，而特征值表示每个成分解释的方差量。第一主成分捕获最大可能的方差，第二主成分在正交于第一主成分的约束下捕获次大方差，依此类推。
将数据投影到前 k 个主成分上会生成一个 k 维表示。前 k 个成分解释的总方差比例是它们的特征值之和除以所有特征值的总和。该比例指导 k 的选择，通常使用碎石图或 95% 方差保留阈值。
在机器学习中的应用
在机器学习流程中，PCA 常用于在训练模型之前减少特征数量。高维数据集可能遭受维度灾难，导致过拟合和计算成本增加。通过将数据投影到低维子空间，PCA 可以改善模型的泛化能力并加速训练。它在图像处理等领域尤其常见，其中原始像素强度高度相关，而在基因组学中，数千个基因的表达水平同时被测量。
PCA 还用作可视化工具。将数据投影到前两个或三个主成分上，使研究人员能够在二维或三维空间中绘制高维数据，揭示聚类、异常值或其他结构。这通常用于在应用更复杂的方法（如神经网络分类器）之前进行探索性分析。
另一个应用是噪声降低。通过丢弃特征值最小的成分，PCA 滤除被认为主要包含噪声的方向，保留信号主导的子空间。这一原理支撑了特征脸等技术，用于人脸识别，PCA 在 1990 年代曾在此领域得到著名应用。
与其他技术的关系
PCA 与因子分析密切相关，但两者目标不同：PCA 旨在解释数据中的方差，而因子分析则使用潜在因子对协方差结构进行建模。当相异度度量为欧氏距离时，PCA 也是多维缩放（MDS）的特例。在深度学习的背景下，PCA 有时用作神经网络输入的预处理步骤，尽管现代方法通常依赖学习到的表示。
核 PCA 通过应用核函数扩展了该方法到非线性流形，允许捕获非线性结构。稀疏 PCA 和鲁棒 PCA 是变体，分别施加稀疏性或处理异常值。这些扩展已在信号处理和计算机视觉中得到应用。
局限性与注意事项
PCA 假设线性关系，这意味着它只能捕获变量之间的线性关系。对于位于非线性流形上的数据，PCA 可能产生误导性结果，因此像 t-SNE 或 UMAP 这样的方法通常更适合可视化。PCA 也对变量的缩放敏感；如果不进行标准化，方差较大的变量会主导成分。因此，在应用 PCA 之前，通常会将每个变量标准化为单位方差。
主成分的可解释性可能具有挑战性，因为每个成分是所有变量的线性组合。这使得在某些应用中难以赋予成分物理意义。此外，PCA 是一种无监督方法，不考虑类别标签，因此它可能丢弃对分类重要但方差较低的方向。
历史与现代背景
PCA 已在多个领域被独立重新发现，包括气象学（作为经验正交函数）和生态学。其数学基础建立于 20 世纪初，而 1950 年代计算机的出现使其能够实际应用于大型数据集。如今，PCA 仍是数据科学家工具箱中的标准工具，并在所有主要统计和机器学习库中实现，包括 scikit-learn、R 和 MATLAB。
在大规模人工智能时代，PCA 仍用于诸如深度学习模型中的白化以及压缩大型语言模型流程中的嵌入等任务。尽管存在更复杂的非线性方法，PCA 的简单性、可解释性和计算效率确保了其在当代的持续相关性。