潜在空間とは、ニューラルネットワークが学習データの構造を表現するために内部で獲得する、圧縮された低次元空間のことである。生のピクセル、単語、音声サンプルを保存する代わりに、潜在空間を用いるモデルは入力を抽象的な数値座標、すなわちベクトルの集合に写像し、意味や外観が類似した入力が互いに近くに配置されるように選択する。この考え方はDeep learning全体で用いられ、AutoencoderやGenerative adversarial networkから、現代のDiffusion modelやEmbeddingに基づく検索システムにまで及ぶ。
起源
この考え方は、統計学における初期の次元削減手法に遡るが、オートエンコーダーを通じて機械学習の主流となった。オートエンコーダーは、入力をボトルネック層に圧縮し、それを再構成するように訓練されたNeural networkである。ボトルネック層の値が潜在表現となる。2013年に導入された変分オートエンコーダーは、潜在空間が滑らかな確率分布に従うように強制することでこれを拡張し、その空間内でランダムな点を選ぶことで新しく妥当な出力をサンプリングすることを可能にした。並行する研究系統であるWord2vec（2013年）は、テキストで訓練された潜在空間が単語間の類推関係を捉えられることを示し、潜在空間における方向と距離が意味を持つという考え方を広めた。
生成モデルにおける役割
潜在空間は、生成的敵対ネットワークによって画像生成の中心となった。その生成器は、ランダムな潜在ベクトルを現実的な画像に写像することを学習する。さらに重要となったのは、Stable Diffusionや関連システムの背後にある技術である潜在拡散である。モデルは、遅いノイズ除去プロセスをピクセルに直接適用する代わりに、オートエンコーダーで画像を小さな潜在グリッドに圧縮し、そこで拡散モデルのステップを実行し、最後にのみピクセルに復号する。これにより、高解像度のText-to-image generation生成の実行コストが劇的に削減された。CLIPなどのマルチモーダルシステムは、画像とテキストのための共有潜在空間を学習し、キャプションと対応する画像が互いに近くに配置されるようにする。これが、拡散モデルがテキストプロンプトによって導かれることを可能にする根本的な仕組みである。
補間、算術、検索
適切に形成された潜在空間では、近くの点は意味的に類似する傾向があるため、実践者は2点間を滑らかに補間して一方の出力を他方へ変形させたり、ベクトル算術を実行したりできる。有名な初期の例は、単語埋め込みにおける「王から男を引き、女を足すと女王になる」である。この同じ性質がSemantic searchの基盤となっている。文書とクエリは共有潜在空間に埋め込まれ、Vector databaseは正確なキーワード照合ではなく近傍ベクトルを見つける。画像モデルでは、発見された方向に沿って潜在ベクトルを編集することで、モデルを再訓練せずに照明やポーズなどの出力の属性を変更できる。
限界
潜在空間は学習されるものであり、設計されるものではないため、その構造が解釈可能または均一に整理されていることは保証されない。領域が絡み合うことがあり、単一の次元が複数の可視属性に同時に影響を与える可能性がある。Mechanistic interpretabilityの研究は潜在表現をより透明にしようと試みてきたが、成功はまちまちであり、潜在空間の幾何学はモデルバージョン間で大幅に変化する可能性があり、学習された方向をモデル間で再利用する試みを複雑にしている。