Une carte topographique générative (GTM) est un modèle à variables latentes non linéaire qui fournit un cadre probabiliste pour visualiser des données de haute dimension sur une variété de basse dimension. Elle a été introduite en 1998 par Christopher Bishop, Markus Svensén et Christopher K. I. Williams comme une alternative fondée sur des principes aux cartes auto-organisatrices (SOM), répondant à plusieurs de leurs limites, notamment l'absence de fondement probabiliste et l'absence d'une fonction objectif bien définie.
La GTM modélise la distribution des données observées comme un mélange de composantes gaussiennes centrées sur des points d'une variété de basse dimension intégrée dans l'espace des données. La variété est définie par une application non linéaire et lisse de l'espace latent (typiquement une grille bidimensionnelle) vers l'espace des données, implémentée à l'aide d'un réseau à fonctions de base radiales (RBF). Cette application est apprise en maximisant la vraisemblance des données sous le modèle, généralement via l'algorithme d'espérance-maximisation (EM).
Formulation du modèle
La GTM suppose que chaque point de données observé $\mathbf{x}$ est généré en sélectionnant d'abord une variable latente $\mathbf{z}$ à partir d'une grille uniforme de points dans l'espace latent, puis en appliquant à $\mathbf{z}$ une fonction non linéaire $\mathbf{y}(\mathbf{z}; \mathbf{W})$ (paramétrée par des poids $\mathbf{W}$) pour obtenir un point dans l'espace des données, et enfin en ajoutant un bruit gaussien de variance $\beta^{-1}$. La vraisemblance d'un point de données unique est donnée par :
$$p(\mathbf{x}|\mathbf{W}, \beta) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(\mathbf{x} | \mathbf{y}(\mathbf{z}_k; \mathbf{W}), \beta^{-1} \mathbf{I})$$
où $K$ est le nombre de points de la grille latente, et $\mathbf{I}$ est la matrice identité. L'application $\mathbf{y}(\mathbf{z}; \mathbf{W})$ est une combinaison linéaire de fonctions de base, généralement des gaussiennes, avec des poids $\mathbf{W}$. L'entraînement consiste à maximiser la log-vraisemblance sur l'ensemble de données en utilisant EM, qui alterne entre le calcul des distributions a posteriori sur les points latents (étape E) et la mise à jour des poids et de la variance du bruit (étape M).
Relation avec les cartes auto-organisatrices
La GTM a été développée comme une contrepartie générative de la carte auto-organisatrice (SOM), introduite par Teuvo Kohonen dans les années 1980. Contrairement aux SOM, qui utilisent une règle de mise à jour heuristique et manquent d'interprétation probabiliste, la GTM fournit une fonction de vraisemblance bien définie, permettant une comparaison de modèles fondée sur des principes, la gestion de données manquantes et l'intégration dans des cadres probabilistes plus larges. La GTM produit également une application lisse et continue de l'espace latent vers l'espace des données, tandis que les SOM donnent une application discrète et constante par morceaux. Cependant, la GTM est plus intensive en calcul, car elle nécessite d'évaluer l'application et les densités gaussiennes pour tous les points latents pendant l'entraînement.
Applications
La GTM a été appliquée à divers domaines, notamment :
- Visualisation de données : Projection de données de haute dimension (par exemple, profils d'expression génique, lectures de capteurs) sur une carte bidimensionnelle pour une analyse exploratoire.
- Estimation de densité : Modélisation de la distribution de probabilité sous-jacente des données, qui peut être utilisée pour la détection d'anomalies ou l'échantillonnage génératif.
- Imputation de données manquantes : Exploitation de la structure à variables latentes pour inférer des valeurs manquantes dans des données partiellement observées.
- Analyse de séries temporelles : Extension du modèle pour capturer les dépendances temporelles, comme dans la carte topographique générative pour séries temporelles (GTM-TS).
Dans le contexte du Machine learning et de l'Generative AI modernes, la GTM est considérée comme un exemple précoce de modèle génératif, précédant les approches génératives profondes telles que les autoencodeurs variationnels et les réseaux antagonistes génératifs. Sa formulation probabiliste s'aligne avec les principes des modèles de Deep learning qui apprennent des représentations latentes, bien qu'elle utilise généralement des architectures peu profondes.
Extensions et variantes
Plusieurs extensions de la GTM ont été proposées, notamment :
- GTM hiérarchique : Un modèle à plusieurs niveaux qui capture la structure à plusieurs échelles.
- GTM bayésienne : Incorporation de priors sur les poids pour régulariser le modèle et fournir des estimations d'incertitude.
- GTM discriminative : Adaptation du modèle pour des tâches de classification en incorporant les étiquettes de classe dans l'objectif d'entraînement.
- GTM incrémentale : Mise à jour du modèle en ligne à mesure que de nouvelles données arrivent, utile pour les applications en flux continu.
Ces variantes ont été explorées dans des contextes de recherche, souvent par des groupes d'institutions telles que Nokia Bell Labs et Xerox PARC, bien que la GTM de base reste un outil fondamental en apprentissage non supervisé.
Limites et héritage
Les principales limites de la GTM incluent son coût de calcul, la nécessité de choisir le nombre de points latents et de fonctions de base, et l'hypothèse d'un bruit gaussien, qui peut ne pas tenir pour tous les types de données. Malgré cela, elle a influencé les travaux ultérieurs sur la réduction de dimensionnalité probabiliste, y compris le modèle à variables latentes par processus gaussien (GPLVM) introduit par Neil Lawrence en 2005. La GTM est également citée dans des manuels sur la Pattern recognition et la théorie des Neural network, en particulier ceux de Christopher Bishop, qui a co-écrit l'article original.
Dans le paysage plus large de l'Artificial intelligence, la GTM représente un pont entre la modélisation statistique classique et les approches génératives modernes. Bien qu'elle ait été largement supplantée par les modèles génératifs profonds en pratique, elle reste un exemple pédagogique utile et une référence pour évaluer de nouvelles techniques de variables latentes. Son accent sur l'interprétation probabiliste et la structure latente explicite continue d'informer la recherche en Unsupervised learning et Representation learning.
Voir aussi
- self organizing map
- modèle-à-variables-latentes
- modèle-à-variables-latentes-par-processus-gaussien
- Variational Autoencoder