エンベディングとは、オブジェクト（多くの場合、単語、文、画像、ユーザー）を、連続空間内の実数からなる固定長ベクトルで表現する方法である。優れたエンベディングの決定的な特性は、その空間における幾何学的な近さが意味的な類似性に対応することである。「犬」と「子犬」のベクトルは互いに近くに位置し、「犬」と「株式市場」は遠くに位置する。エンベディングは、曖昧で象徴的な意味の問題を、ニューラルネットワークが学習でき、コンピュータが効率的に検索できる算術に変換する。
このアイデアは深層学習より前から存在する。1990年代の分布意味論の研究者は「単語はその周囲の文脈によって特徴づけられる」と主張し、潜在意味解析のような初期のカウントベース手法は、単語の共起統計から低次元表現を構築した。現代の時代は2013年のWord2vecから始まり、これは浅いニューラルネットワークを訓練して周囲の単語を予測し、「王」から「男」を引き「女」を足すと「女王」の近くに着くといった、ベクトル演算が類推を捉えられるという有名な特性を持つエンベディングを生成した。同じ時期に公開されたGloVeは、類似した結果を持つ競合するカウントベース手法を提供した。
エンベディングの生成方法
word2vecやGloVeのような静的単語エンベディングは、文脈に関係なく単語ごとに1つの固定ベクトルを割り当てる。これは多義語で問題となる。「銀行」は、川岸と金融の意味を混ぜた単一のベクトルを得る。トランスフォーマーアーキテクチャとその注意機構は、文脈エンベディングを生成することでこれを解決した。同じ単語でも、周囲の文に応じて異なるベクトルを得るのである。BERTのようなモデルは、下流タスク向けの文脈エンベディングを普及させ、現代のすべての大規模言語モデルは、内部的にトークンをエンベディングとして表現し、層ごとに洗練させている。
テキスト以外にも、エンベディングはあらゆるモダリティに一般化する。CLIPは画像エンコーダとテキストエンコーダを共同で訓練し、猫の写真と「猫」というキャプションが共有空間内で互いに近くに位置するようにする。これは現代のテキストから画像への生成やマルチモーダル検索の多くを支えている。レコメンデーションシステムはユーザーとアイテムを共有空間に埋め込み、近接性が嗜好を予測するようにし、生物学でもタンパク質配列を埋め込むために同じ手法が採用されている。
応用
エンベディングは意味検索の基盤であり、クエリを埋め込み、コサイン類似度やドット積を用いて、埋め込まれた文書のコーパスと比較する。これは正確なキーワード一致ではなく、意味に基づく。この能力は検索拡張生成システムを支え、知識ベースを一度埋め込み、クエリ時に最も関連する節を検索してLLMの回答を基盤付け、幻覚を減らす。数百万から数十億のエンベディングを効率的に保存・検索するのはベクトルデータベースの役割であり、近似最近傍インデックスを使用して大規模な類似性検索を高速化する。
エンベディングはクラスタリング、重複排除、異常検知、分類も支える。優れたエンベディングの上に訓練された単純な線形分類器は、ゼロから訓練されたはるかに複雑なモデルと競合する性能を発揮することが多いからである。レコメンデーションや検索ランキングシステムでは、ユーザーとアイテムのエンベディングが共同で学習され、行動データが蓄積されるにつれて継続的に更新されることが多い。
特性と限界
エンベディングの次元数は、テキストでは通常数百から数千の範囲であり、表現力と保存・計算コストのトレードオフを決定する設計上の選択である。結果として得られる幾何学的構造は潜在空間と呼ばれることがあり、その空間内の2点間を補間すると、もっともらしい中間例を生成できる。この特性は生成的画像モデルや音声モデルで広く利用されている。
エンベディングは訓練データに存在するバイアスを継承する。ウェブテキストで訓練された単語エンベディングは、その幾何学的関係に性別や人種のステレオタイプをコード化することが示されており、これはアルゴリズムバイアス研究で広く引用されている発見である。また、分布シフトに対して脆弱であり、一般的なウェブテキストのような1つのドメインで訓練されたエンベディングモデルは、追加のファインチューニングなしに法律や医療文書のような専門ドメインに適用すると性能が低下する可能性がある。これらの注意点にもかかわらず、エンベディングは現代のAIシステムにおいて最も耐久性があり広く再利用される構成要素の1つであり、2013年のword2vecの画期的な進歩以来、概念はほぼ変わっていない。たとえそれを生成するモデルがはるかに高性能になってもである。