生成トポグラフィックマップ（GTM）は、高次元データを低次元多様体上に可視化するための確率的枠組みを提供する非線形潜在変数モデルである。1998年にクリストファー・ビショップ、マルクス・スヴェンセン、クリストファー・K・I・ウィリアムズによって、自己組織化マップ（SOM）に対する原理的な代替手法として導入され、後者の確率論的基盤の欠如や明確な目的関数の不在といった限界のいくつかに対処した。
GTMは、観測データの分布を、データ空間に埋め込まれた低次元多様体上の点を中心とするガウス混合分布としてモデル化する。多様体は、潜在空間（通常は2次元グリッド）からデータ空間への滑らかな非線形写像によって定義され、動径基底関数（RBF）ネットワークを用いて実装される。この写像は、データの尤度を最大化することによって学習され、典型的には期待値最大化（EM）アルゴリズムを用いる。
モデル定式化
GTMは、各観測データ点 $\mathbf{x}$ が、まず潜在空間内の一様グリッド上の点から潜在変数 $\mathbf{z}$ を選択し、次に非線形関数 $\mathbf{y}(\mathbf{z}; \mathbf{W})$（重み $\mathbf{W}$ でパラメータ化）を通じてデータ空間内の点に写像し、最後に分散 $\beta^{-1}$ のガウスノイズを加えることによって生成されると仮定する。単一データ点の尤度は次のように与えられる：
$$p(\mathbf{x}|\mathbf{W}, \beta) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(\mathbf{x} | \mathbf{y}(\mathbf{z}_k; \mathbf{W}), \beta^{-1} \mathbf{I})$$
ここで $K$ は潜在グリッド点の数、$\mathbf{I}$ は単位行列である。写像 $\mathbf{y}(\mathbf{z}; \mathbf{W})$ は、通常ガウス基底関数の線形結合であり、重み $\mathbf{W}$ を持つ。訓練は、EMを用いてデータセット全体の対数尤度を最大化することを含み、潜在点に関する事後分布の計算（Eステップ）と、重みおよびノイズ分散の更新（Mステップ）を交互に行う。
自己組織化マップとの関係
GTMは、1980年代にテウヴォ・コホネンによって導入された自己組織化マップ（SOM）の生成的対応物として開発された。ヒューリスティックな更新則を用い確率論的解釈を欠くSOMとは異なり、GTMは明確に定義された尤度関数を提供し、原理的なモデル比較、欠損データの処理、より広範な確率論的枠組みへの統合を可能にする。また、GTMは潜在空間からデータ空間への滑らかで連続的な写像を生成する一方、SOMは離散的で区分的に一定の写像を生成する。しかし、GTMは計算コストが高く、訓練中にすべての潜在点について写像とガウス密度を評価する必要がある。
応用
GTMは様々な領域に応用されており、以下が含まれる：
- データ可視化：高次元データ（例：遺伝子発現プロファイル、センサー読み取り値）を探索的分析のために2次元マップ上に投影する。
- 密度推定：データの基礎となる確率分布をモデル化し、異常検出や生成的サンプリングに使用できる。
- 欠損データ補完：潜在変数構造を利用して、部分的に観測されたデータの欠損値を推測する。
- 時系列分析：時間的依存性を捉えるようにモデルを拡張する（時系列用生成トポグラフィックマッピング（GTM-TS）など）。
現代の機械学習と生成AIの文脈では、GTMは生成的モデルの初期の例と見なされ、変分オートエンコーダーや生成的敵対ネットワークなどの深層生成的アプローチに先行する。その確率論的定式化は、潜在表現を学習する深層学習モデルの原理と一致しているが、通常は浅いアーキテクチャを使用する。
拡張と変種
GTMのいくつかの拡張が提案されており、以下が含まれる：
- 階層的GTM：複数スケールで構造を捉える多レベルモデル。
- ベイズ的GTM：重みに事前分布を組み込み、モデルを正則化し不確実性推定を提供する。
- 判別的GTM：訓練目的にクラスラベルを組み込むことで、分類タスクにモデルを適応させる。
- インクリメンタルGTM：新しいデータが到着するたびにモデルをオンラインで更新し、ストリーミングアプリケーションに有用。
これらの変種は研究環境で探求されており、しばしばノキア・ベル研究所やゼロックス・パロアルト研究所などの機関のグループによって行われているが、コアとなるGTMは教師なし学習における基礎的なツールであり続けている。
限界と遺産
GTMの主な限界には、計算コスト、潜在点と基底関数の数を選択する必要性、およびすべてのデータ型に当てはまるとは限らないガウスノイズの仮定が含まれる。これらにもかかわらず、GTMは確率論的次元削減に関する後の研究に影響を与え、2005年にニール・ローレンスによって導入されたガウス過程潜在変数モデル（GPLVM）を含む。GTMはまた、パターン認識とニューラルネットワーク理論に関する教科書、特に元の論文を共著したクリストファー・ビショップによるものに引用されている。
人工知能のより広い展望において、GTMは古典的な統計的モデリングと現代の生成的アプローチとの間の橋渡しを表す。実際には深層生成的モデルに大部分が取って代わられたが、教育的な例として、また新しい潜在変数技術を評価するためのベンチマークとして有用であり続けている。その確率論的解釈と明示的な潜在構造への強調は、教師なし学習と表現学習の研究に情報を与え続けている。
関連項目
- 自己組織化マップ
- latent-variable-model
- gaussian-process-latent-variable-model
- 変分オートエンコーダー