Un mapa topográfico generativo (GTM, por sus siglas en inglés) es un modelo de variable latente no lineal que proporciona un marco probabilístico para visualizar datos de alta dimensión en una variedad de baja dimensión. Fue introducido en 1998 por Christopher Bishop, Markus Svensén y Christopher K. I. Williams como una alternativa fundamentada a los mapas autoorganizados (SOM, por sus siglas en inglés), abordando varias de las limitaciones de estos últimos, incluida la falta de una base probabilística y la ausencia de una función objetivo bien definida.
El GTM modela la distribución de los datos observados como una mezcla de componentes gaussianos centrados en puntos de una variedad de baja dimensión incrustada en el espacio de datos. La variedad se define mediante un mapeo suave y no lineal desde un espacio latente (típicamente una cuadrícula bidimensional) al espacio de datos, implementado con una red de funciones de base radial (RBF, por sus siglas en inglés). Este mapeo se aprende maximizando la verosimilitud de los datos bajo el modelo, generalmente mediante el algoritmo de maximización de expectativas (EM, por sus siglas en inglés).
Formulación del modelo
El GTM asume que cada punto de datos observado $\mathbf{x}$ se genera seleccionando primero una variable latente $\mathbf{z}$ de una cuadrícula uniforme de puntos en el espacio latente, luego mapeando $\mathbf{z}$ a través de una función no lineal $\mathbf{y}(\mathbf{z}; \mathbf{W})$ (parametrizada por pesos $\mathbf{W}$) a un punto en el espacio de datos, y finalmente añadiendo ruido gaussiano con varianza $\beta^{-1}$. La verosimilitud de un único punto de datos viene dada por:
$$p(\mathbf{x}|\mathbf{W}, \beta) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(\mathbf{x} | \mathbf{y}(\mathbf{z}_k; \mathbf{W}), \beta^{-1} \mathbf{I})$$
donde $K$ es el número de puntos de la cuadrícula latente, y $\mathbf{I}$ es la matriz identidad. El mapeo $\mathbf{y}(\mathbf{z}; \mathbf{W})$ es una combinación lineal de funciones de base, típicamente gaussianas, con pesos $\mathbf{W}$. El entrenamiento implica maximizar la log-verosimilitud sobre el conjunto de datos usando EM, que alterna entre calcular distribuciones posteriores sobre los puntos latentes (paso E) y actualizar los pesos y la varianza del ruido (paso M).
Relación con los mapas autoorganizados
El GTM fue desarrollado como una contraparte generativa del mapa autoorganizado (SOM), introducido por Teuvo Kohonen en la década de 1980. A diferencia de los SOM, que utilizan una regla de actualización heurística y carecen de una interpretación probabilística, el GTM proporciona una función de verosimilitud bien definida, lo que permite una comparación de modelos fundamentada, el manejo de datos faltantes y su integración en marcos probabilísticos más amplios. El GTM también produce un mapeo suave y continuo del espacio latente al espacio de datos, mientras que los SOM generan un mapeo discreto y constante por tramos. Sin embargo, el GTM es computacionalmente más intensivo, ya que requiere evaluar el mapeo y las densidades gaussianas para todos los puntos latentes durante el entrenamiento.
Aplicaciones
El GTM se ha aplicado a diversos dominios, incluyendo:
- Visualización de datos: Proyectar datos de alta dimensión (por ejemplo, perfiles de expresión génica, lecturas de sensores) en un mapa bidimensional para análisis exploratorio.
- Estimación de densidad: Modelar la distribución de probabilidad subyacente de los datos, que puede usarse para detección de anomalías o muestreo generativo.
- Imputación de datos faltantes: Aprovechar la estructura de variable latente para inferir valores faltantes en datos parcialmente observados.
- Análisis de series temporales: Extender el modelo para capturar dependencias temporales, como en el mapa topográfico generativo para series temporales (GTM-TS).
En el contexto del Machine learning y la Generative AI modernos, el GTM se considera un ejemplo temprano de modelo generativo, precediendo a enfoques generativos profundos como los autoencoders variacionales y las redes generativas adversariales. Su formulación probabilística se alinea con los principios de los modelos de Deep learning que aprenden representaciones latentes, aunque típicamente utiliza arquitecturas poco profundas.
Extensiones y variantes
Se han propuesto varias extensiones del GTM, incluyendo:
- GTM jerárquico: Un modelo multinivel que captura estructura a múltiples escalas.
- GTM bayesiano: Incorpora prioris sobre los pesos para regularizar el modelo y proporcionar estimaciones de incertidumbre.
- GTM discriminativo: Adapta el modelo para tareas de clasificación incorporando etiquetas de clase en el objetivo de entrenamiento.
- GTM incremental: Actualiza el modelo en línea a medida que llegan nuevos datos, útil para aplicaciones de flujo continuo.
Estas variantes se han explorado en entornos de investigación, a menudo por grupos en instituciones como Nokia Bell Labs y Xerox PARC, aunque el GTM central sigue siendo una herramienta fundamental en el aprendizaje no supervisado.
Limitaciones y legado
Las principales limitaciones del GTM incluyen su costo computacional, la necesidad de elegir el número de puntos latentes y funciones de base, y la suposición de ruido gaussiano, que puede no cumplirse para todos los tipos de datos. A pesar de esto, influyó en trabajos posteriores sobre reducción de dimensionalidad probabilística, incluido el modelo de variable latente de proceso gaussiano (GPLVM, por sus siglas en inglés) introducido por Neil Lawrence en 2005. El GTM también se cita en libros de texto sobre Pattern recognition y teoría de Neural network, particularmente los de Christopher Bishop, quien coautorizó el artículo original.
En el panorama más amplio de la Artificial intelligence, el GTM representa un puente entre el modelado estadístico clásico y los enfoques generativos modernos. Aunque ha sido en gran medida superado por los modelos generativos profundos en la práctica, sigue siendo un ejemplo pedagógico útil y un punto de referencia para evaluar nuevas técnicas de variable latente. Su énfasis en la interpretación probabilística y la estructura latente explícita continúa informando la investigación en Unsupervised learning y Representation learning.
Véase también
- self organizing map
- modelo-de-variable-latente
- modelo-de-variable-latente-de-proceso-gaussiano
- Variational Autoencoder