Word2vecは、2013年にGoogleの研究者らによって導入された関連するニューラルネットワークモデルの集合であり、大規模なラベルなしテキストコーパスから単語の密なベクトル表現を学習し、手作業による言語学的ルールではなくベクトル演算を通じて単語の意味と用法の側面を捉える。これは、テキスト中の単語の共起パターンから単語間の意味的関係を直接回復できることを実証した、広く採用された最初の埋め込み技術の1つであった。
方法
Word2vecは、2013年に発表された論文で、GoogleのTomas Mikolovと同僚ら（ジェフ・ディーンやイリヤ・サツケバーを含む）によって記述された2つの関連アーキテクチャを通じて導入された。連続バッグ・オブ・ワーズ（CBOW）は、周囲の文脈語から対象語を予測し、スキップグラムは、対象語から周囲の文脈語を予測する。両者は、自己教師あり学習によって訓練される浅い2層のニューラルネットワークモデルであり、訓練信号は人間によるラベル付きデータなしで生のテキストから自動的に導出され、近傍の単語が暗黙の教師信号として使用される。隠れ層から得られる重み行列が学習された単語ベクトルとして機能し、通常は数百次元である。
「王から男を引き、女を足す」の例
Word2vecの最も広く引用されるデモンストレーションは、意味的および構文的関係を反映するベクトル演算の能力である。「王」のベクトルから「男」を引き、「女」を足すと、学習された埋め込み空間で「女王」に最も近いベクトルが得られる。同様の類推構造は、国と首都のペアや動詞の時制などの関係にも現れ、埋め込み空間の幾何学が恣意的なクラスタリングではなく、意味のある体系的な関係を符号化していることを示唆し、自然言語処理研究コミュニティで大きな興奮を生んだ。
NLPへの影響
Word2vecは、GloVeなどの同時代の手法とともに、事前学習済みの単語埋め込みを下流のNLPモデルの標準的な入力層とし、機械翻訳、感情分析、固有表現認識などのタスクにわたってスパースなワンホット単語表現を置き換えた。その効率性（当時の標準的なハードウェアで数十億語を数時間で訓練）により、分散単語表現は、以前のニューラル言語モデルでは実現不可能だった規模で実用的となった。
後継モデル
Word2vecの文脈非依存表現は、周囲の文脈に関係なく各単語に単一の固定ベクトルを割り当てるが、文脈埋め込みモデルによって取って代わられた。2018年のBERTモデルと、トランスフォーマーアーキテクチャに基づくより広範なモデル群は、同じ単語に対して文脈に応じて異なるベクトルを生成し、例えば「銀行」を川岸と金融機関として区別できないというword2vecの欠点に対処した。最先端のアプリケーションのほとんどで取って代わられたにもかかわらず、word2vecは軽量な埋め込みベースラインとして、また、現在意味検索やベクトルデータベース検索システムを支える学習ベクトル表現の広範な概念への教育的入門点として、広く使用され続けている。