Um mapa topográfico generativo (GTM) é um modelo de variável latente não linear que fornece uma estrutura probabilística para visualizar dados de alta dimensão em uma variedade de baixa dimensão. Foi introduzido em 1998 por Christopher Bishop, Markus Svensén e Christopher K. I. Williams como uma alternativa fundamentada aos mapas auto-organizáveis (SOMs), abordando várias das limitações destes últimos, incluindo a falta de uma base probabilística e a ausência de uma função objetivo bem definida.
O GTM modela a distribuição dos dados observados como uma mistura de componentes gaussianos centrados em pontos de uma variedade de baixa dimensão embutida no espaço de dados. A variedade é definida por um mapeamento suave e não linear de um espaço latente (tipicamente uma grade bidimensional) para o espaço de dados, implementado usando uma rede de funções de base radial (RBF). Esse mapeamento é aprendido maximizando a verossimilhança dos dados sob o modelo, tipicamente via algoritmo de maximização de expectativa (EM).
Formulação do modelo
O GTM assume que cada ponto de dados observado $\mathbf{x}$ é gerado primeiro selecionando uma variável latente $\mathbf{z}$ de uma grade uniforme de pontos no espaço latente, depois mapeando $\mathbf{z}$ através de uma função não linear $\mathbf{y}(\mathbf{z}; \mathbf{W})$ (parametrizada por pesos $\mathbf{W}$) para um ponto no espaço de dados, e finalmente adicionando ruído gaussiano com variância $\beta^{-1}$. A verossimilhança de um único ponto de dados é dada por:
$$p(\mathbf{x}|\mathbf{W}, \beta) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(\mathbf{x} | \mathbf{y}(\mathbf{z}_k; \mathbf{W}), \beta^{-1} \mathbf{I})$$
onde $K$ é o número de pontos da grade latente, e $\mathbf{I}$ é a matriz identidade. O mapeamento $\mathbf{y}(\mathbf{z}; \mathbf{W})$ é uma combinação linear de funções de base, tipicamente gaussianas, com pesos $\mathbf{W}$. O treinamento envolve maximizar a log-verossimilhança sobre o conjunto de dados usando EM, que alterna entre calcular distribuições posteriores sobre os pontos latentes (etapa E) e atualizar os pesos e a variância do ruído (etapa M).
Relação com mapas auto-organizáveis
O GTM foi desenvolvido como uma contraparte generativa do mapa auto-organizável (SOM), introduzido por Teuvo Kohonen na década de 1980. Ao contrário dos SOMs, que usam uma regra de atualização heurística e carecem de interpretação probabilística, o GTM fornece uma função de verossimilhança bem definida, permitindo comparação de modelos fundamentada, tratamento de dados ausentes e incorporação em estruturas probabilísticas mais amplas. O GTM também produz um mapeamento suave e contínuo do espaço latente para o espaço de dados, enquanto os SOMs produzem um mapeamento discreto e constante por partes. No entanto, o GTM é computacionalmente mais intensivo, pois requer avaliar o mapeamento e as densidades gaussianas para todos os pontos latentes durante o treinamento.
Aplicações
O GTM foi aplicado a vários domínios, incluindo:
- Visualização de dados: Projetando dados de alta dimensão (por exemplo, perfis de expressão gênica, leituras de sensores) em um mapa bidimensional para análise exploratória.
- Estimativa de densidade: Modelando a distribuição de probabilidade subjacente dos dados, que pode ser usada para detecção de anomalias ou amostragem generativa.
- Imputação de dados ausentes: Explorando a estrutura de variável latente para inferir valores ausentes em dados parcialmente observados.
- Análise de séries temporais: Estendendo o modelo para capturar dependências temporais, como no mapa topográfico generativo para séries temporais (GTM-TS).
No contexto do aprendizado de máquina moderno e da IA generativa, o GTM é considerado um exemplo inicial de modelo generativo, precedendo abordagens generativas profundas como autoencoders variacionais e redes adversariais generativas. Sua formulação probabilística está alinhada com os princípios de modelos de aprendizado profundo que aprendem representações latentes, embora tipicamente use arquiteturas rasas.
Extensões e variantes
Várias extensões do GTM foram propostas, incluindo:
- GTM hierárquico: Um modelo multinível que captura estrutura em múltiplas escalas.
- GTM bayesiano: Incorporando priors sobre os pesos para regularizar o modelo e fornecer estimativas de incerteza.
- GTM discriminativo: Adaptando o modelo para tarefas de classificação incorporando rótulos de classe no objetivo de treinamento.
- GTM incremental: Atualizando o modelo online à medida que novos dados chegam, útil para aplicações de streaming.
Essas variantes foram exploradas em ambientes de pesquisa, frequentemente por grupos em instituições como Nokia Bell Labs e Xerox PARC, embora o GTM central permaneça uma ferramenta fundamental em aprendizado não supervisionado.
Limitações e legado
As principais limitações do GTM incluem seu custo computacional, a necessidade de escolher o número de pontos latentes e funções de base, e a suposição de ruído gaussiano, que pode não se aplicar a todos os tipos de dados. Apesar disso, ele influenciou trabalhos posteriores em redução de dimensionalidade probabilística, incluindo o modelo de variável latente de processo gaussiano (GPLVM) introduzido por Neil Lawrence em 2005. O GTM também é citado em livros-texto sobre reconhecimento de padrões e teoria de redes neurais, particularmente os de Christopher Bishop, que coautorou o artigo original.
No panorama mais amplo da inteligência artificial, o GTM representa uma ponte entre a modelagem estatística clássica e as abordagens generativas modernas. Embora tenha sido amplamente superado por modelos generativos profundos na prática, permanece um exemplo pedagógico útil e um benchmark para avaliar novas técnicas de variáveis latentes. Sua ênfase em interpretação probabilística e estrutura latente explícita continua a informar pesquisa em aprendizado não supervisionado e aprendizado de representações.
Ver também
- mapa auto-organizável
- modelo de variável latente
- modelo de variável latente de processo gaussiano
- autoencoder variacional