生成式拓扑映射（GTM）是一种非线性潜变量模型，为在低维流形上可视化高维数据提供了概率框架。它于1998年由Christopher Bishop、Markus Svensén和Christopher K. I. Williams提出，作为自组织映射（SOM）的一种有原则的替代方案，解决了后者的若干局限性，包括缺乏概率基础和没有明确定义的目标函数。
GTM将观测数据的分布建模为高斯分量的混合，这些分量以嵌入数据空间的低维流形上的点为中心。该流形由从潜空间（通常是二维网格）到数据空间的平滑非线性映射定义，使用径向基函数（RBF）网络实现。该映射通过最大化数据在模型下的似然来学习，通常使用期望最大化（EM）算法。
模型公式
GTM假设每个观测数据点$\mathbf{x}$的生成过程是：首先从潜空间中的均匀网格中选择一个潜变量$\mathbf{z}$，然后通过非线性函数$\mathbf{y}(\mathbf{z}; \mathbf{W})$（由权重$\mathbf{W}$参数化）将$\mathbf{z}$映射到数据空间中的一个点，最后添加方差为$\beta^{-1}$的高斯噪声。单个数据点的似然由下式给出：
$$p(\mathbf{x}|\mathbf{W}, \beta) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(\mathbf{x} | \mathbf{y}(\mathbf{z}_k; \mathbf{W}), \beta^{-1} \mathbf{I})$$
其中$K$是潜网格点的数量，$\mathbf{I}$是单位矩阵。映射$\mathbf{y}(\mathbf{z}; \mathbf{W})$是基函数（通常是高斯函数）的线性组合，权重为$\mathbf{W}$。训练涉及使用EM最大化数据集上的对数似然，EM在计算潜点上的后验分布（E步）和更新权重及噪声方差（M步）之间交替进行。
与自组织映射的关系
GTM是作为自组织映射（SOM）的生成对应物而开发的，SOM由Teuvo Kohonen在1980年代提出。与使用启发式更新规则且缺乏概率解释的SOM不同，GTM提供了明确定义的似然函数，使得有原则的模型比较、处理缺失数据以及纳入更广泛的概率框架成为可能。GTM还产生从潜空间到数据空间的平滑连续映射，而SOM产生离散的分段常数映射。然而，GTM在计算上更密集，因为在训练期间需要评估所有潜点的映射和高斯密度。
应用
GTM已应用于多种领域，包括：
- 数据可视化：将高维数据（例如基因表达谱、传感器读数）投影到二维地图上以进行探索性分析。
- 密度估计：建模数据的底层概率分布，可用于异常检测或生成采样。
- 缺失数据插补：利用潜变量结构推断部分观测数据中的缺失值。
- 时间序列分析：扩展模型以捕获时间依赖性，如时间序列生成式拓扑映射（GTM-TS）。
在现代机器学习和生成式人工智能的背景下，GTM被认为是生成模型的早期示例，先于变分自编码器和生成对抗网络等深度生成方法。其概率公式与学习潜表示的深度学习模型原则一致，尽管它通常使用浅层架构。
扩展和变体
已提出了GTM的几种扩展，包括：
- 层次GTM：捕获多尺度结构的多级模型。
- 贝叶斯GTM：在权重上引入先验以正则化模型并提供不确定性估计。
- 判别GTM：通过将类标签纳入训练目标来适应分类任务。
- 增量GTM：随着新数据的到来在线更新模型，适用于流式应用。
这些变体已在研究环境中得到探索，通常由诺基亚贝尔实验室和施乐帕洛阿尔托研究中心等机构的团队进行，但核心GTM仍然是无监督学习中的基础工具。
局限性和遗产
GTM的主要局限性包括其计算成本、需要选择潜点数量和基函数数量，以及假设高斯噪声，这可能不适用于所有数据类型。尽管如此，它影响了后来关于概率降维的工作，包括Neil Lawrence在2005年引入的高斯过程潜变量模型（GPLVM）。GTM也在模式识别和神经网络理论的教科书中被引用，特别是由Christopher Bishop撰写的那些，他是原始论文的合著者。
在更广泛的人工智能格局中，GTM代表了经典统计建模与现代生成方法之间的桥梁。虽然它在实践中已被深度生成模型在很大程度上取代，但它仍然是一个有用的教学示例和评估新潜变量技术的基准。其对概率解释和显式潜结构的强调继续为无监督学习和表示学习的研究提供信息。