ベクトル量子化変分オートエンコーダー（VQ-VAE）は、データを離散的な有限のコードブックベクトル集合に圧縮することを学習する人工知能モデルの一種である。連続的な潜在変数を用いる標準的な変分オートエンコーダー（VAE）とは異なり、VQ-VAEは潜在空間を量子化するため、画像生成、音声合成、動画予測など、離散的な表現を必要とするタスクに特に効果的である。このモデルは、2017年にDeepMindの研究者らによって導入され、それ以来、多くの生成AIシステムにおける基礎的な構成要素となっている。
VQ-VAEは、入力データを連続的な潜在ベクトルにエンコードし、そのベクトルを学習済みのコードブック内で最も近いエントリにマッピングすることで動作する。この離散コードは、その後、元のデータ空間にデコードされる。学習プロセスには3つの損失項が含まれる：再構成損失、コードブックエントリをエンコーダ出力と整合させるコードブック損失、そしてエンコーダが無制限に成長するのを防ぐコミットメント損失である。このアーキテクチャにより、潜在変数が情報を持たなくなるVAEに共通する「後部崩壊」問題を回避することができる。
アーキテクチャとメカニズム
VQ-VAEは、エンコーダー、デコーダー、およびコードブックで構成される。エンコーダーは入力データ（例：画像や音声波形）を一連の潜在ベクトルに処理する。各ベクトルは、コードブック内の最も近い隣接ベクトルに置き換えられる（ベクトル量子化として知られるプロセス）。その後、デコーダーはこれらの量子化されたベクトルから入力データを再構成する。コードブックは、勾配降下法を用いてエンコーダーおよびデコーダーと共同で学習され、非微分可能な量子化ステップを処理するためにストレートスルー推定器が使用される。
重要な特徴は、コードブックの更新に指数移動平均（EMA）を使用することであり、これにより学習が安定化し、コードブックの利用率が向上する。このアプローチは、2017年の論文「Neural Discrete Representation Learning」（著者：Aaron van den Oord、Oriol Vinyals、Koray Kavukcuoglu）で詳述され、VQ-VAEが自己回帰事前分布を必要とせずに意味のある離散表現を学習できることを実証した。
生成モデルへの応用
VQ-VAEは生成モデルにおいて広く採用されている。最も顕著な応用は、画像および音声における生成AIである。例えば、2019年に導入されたVQ-VAE-2は、階層的なマルチスケールアプローチを使用して、グローバルなコードブックとローカルな詳細を組み合わせることで、高解像度画像（例：1024x1024）を生成する。このモデルは、当時のImageNetで最先端の結果を達成した。
音声分野では、VQ-VAEは音声合成や音楽生成に使用されている。このモデルの離散潜在空間は、音素に似た表現を学習できるため、テキスト読み上げなどのタスクに特に適している。さらに、VQ-VAEは、画像を離散トークンに変換してトランスフォーマーで処理するVQ-GANやDALL-Eなどの多くの大規模言語モデルの中核的構成要素となっている。
他のモデルとの関係
VQ-VAEは、ニューラルネットワークおよび深層学習技術と密接に関連している。GAN（生成的敵対ネットワーク）や標準的なVAEと比較されることが多い。GANはシャープな画像を生成できるが、モード崩壊に悩まされる可能性がある一方、VQ-VAEは安定した学習と構造化された潜在空間を提供する。標準的なVAEが連続的なガウス潜在分布を仮定するのに対し、VQ-VAEはカテゴリカル分布を使用するため、PixelCNNやトランスフォーマーなどの自己回帰モデルとの互換性が高い。
VQ-VAEの離散的な性質は、可逆圧縮技術の使用も可能にし、シンボリックまたは離散入力を必要とする機械学習パイプラインとの統合を容易にする。これにより、テキスト、画像、音声データを組み合わせたマルチモーダルモデルでの使用につながっている。
最近の展開と変種
元の論文以来、いくつかの変種が開発されている。VQ-VAE-2は階層的なコードブックを使用して画像品質を向上させた。他の研究では、複数のコードブックを使用してより細かい詳細を捉える残差VQ-VAEや、自己回帰生成のためにVQ-VAEをトランスフォーマーと組み合わせたベクトル量子化トランスフォーマー（VQ-GAN）が導入された。これらのモデルは、OpenAIの初期のDALL-Eバージョンや、DeepMindの音声生成モデルなどで採用されている。
2023年には、VideoPoetなどのVQ-VAEベースのトークナイザーが動画に導入され、これらのモデルが高次元データに対してスケーラブルであることが実証された。このアプローチは、AWSなどのクラウドプラットフォームでも、離散表現が計算オーバーヘッドを削減するため、効率的なモデルサービングに応用されている。
限界と今後の方向性
成功にもかかわらず、VQ-VAEには課題がある。コードブックのサイズは慎重に選択する必要があり、小さすぎると再構成品質が低下し、大きすぎると利用率が低下する。特に大規模なコードブックでは学習が不安定になる可能性があるが、EMA更新によって緩和される。さらに、離散的なボトルネックは細かい詳細を失う可能性があるため、階層的または残差的なアプローチがしばしば使用される。
今後の研究では、コードブックを動的に学習する方法や、VQ-VAEをトランスフォーマーベースの大規模言語モデルと統合して、統一されたマルチモーダル理解を実現することが探求されている。2024年現在、VQ-VAEは生成AIツールキットにおける重要なツールであり続けており、効率性と忠実度の継続的な改善が進められている。