Wav2Vec は、2019年9月にFacebook AI Research（現在はMeta AIの一部）の研究者らによって発表された、自己教師あり音声表現学習のための機械学習フレームワークである。このモデルは、事前学習中に書き起こしデータを必要とせず、生の音声波形から直接、汎用的な音声特徴を学習する。このアプローチは、ラベル付き音声コーパスが不足している問題に対処するもので、はるかに豊富に存在するラベルなし音声を活用する。
元のWav2Vecアーキテクチャは、生の音声を潜在表現にエンコードする多層畳み込みニューラルネットワークと、その後の文脈表現を学習するために過去のタイムステップから未来を予測する対比損失を用いていた。この事前学習目標により、モデルは音声の音韻的・音響的規則性を捉えることができた。学習済み表現は、比較的小規模なラベル付きデータセットを用いて、自動音声認識（ASR）などの下流タスクにファインチューニングでき、完全にラベル付きデータのみで学習したモデルと競合する結果を達成した。
アーキテクチャと学習
初期のWav2Vecモデル（v1）は、16kHzの音声波形を1秒間に100個の特徴ベクトルに処理する5層の畳み込みエンコーダと、約210ミリ秒の受容野にわたってこれらの特徴を集約する12層の畳み込み文脈ネットワークで構成されていた。学習には、同じ発話から抽出された負例と区別しながら、将来のタイムステップを予測する対比損失を用いた。これはノイズ対比推定に着想を得た手法である。
自己教師あり学習パラダイム
Wav2Vecは、現代の深層学習の基礎となっている、より広範な自己教師あり学習のカテゴリに属する。ラベル付きデータを必要とする教師あり手法とは異なり、自己教師ありアプローチはデータ自体から擬似ラベルを生成する。音声の場合、これは音声信号のマスクされた部分や将来の部分を予測することを意味する。Wav2Vecの成功は、大規模なラベルなし音声データに基づく事前学習が、下流タスクのための堅牢で転移可能な表現を学習できることを実証した。
影響と応用
Wav2Vecは音声処理の研究と産業応用に大きな影響を与えた。これは、その後のHuBERTやWavLMなどのモデルの基礎となり、それらは自己教師あり学習の目的をさらに洗練させた。このフレームワークは、音声アシスタント、文字起こしサービス、言語学習ツールなど、ラベル付きデータが乏しいシナリオで実用的な製品に採用されている。
このモデルはまた、人工知能における事前学習済み基盤モデルの広範なトレンドにも貢献した。その成功は、大規模なラベルなしコーパスでの事前学習とそれに続くファインチューニングが標準的なパラダイムとなったコンピュータビジョンやNLPの発展と軌を一にしている。Wav2Vecがメル周波数ケプストラム係数などの手作業による特徴ではなく生の波形を直接処理できることは、パイプラインを簡素化し、さまざまな音響条件に対する堅牢性を向上させた。
限界と拡張
Wav2Vecには限界もある。元のモデルは事前学習にかなりの計算リソースを必要としたが、公開されたチェックポイントにより、エンドユーザーにとってはこの問題は緩和された。また、その表現は主にASRに最適化されており、話者検証や感情認識などの他のタスクには、追加の適応なしではうまく転移しない可能性がある。さらに、このモデルは16kHzの固定サンプリングレートを前提としており、電話音声や圧縮音声など、他のサンプリングレートの音声には制約となる可能性がある。
Wav2Vecの拡張には、多言語学習用に設計されたWav2Vec 2.0の変種や、53言語で学習され2021年にリリースされたXLS-Rなどがある。XLS-Rはこのアプローチを128言語、436,000時間以上の音声に拡張し、自己教師あり音声モデルが多様な言語族にわたって一般化できることを実証した。これらの発展により、Wav2Vecは音声AIにおける基礎的貢献として位置づけられ、その影響は初期のNLPにおけるトランスフォーマーモデルの影響に匹敵する。その原理は商用の音声APIや、Hugging Face Transformersやfairseqなどのオープンソースツールキットに組み込まれている。このモデルの成功は、音楽や生体信号など他のモダリティにおける自己教師あり学習の研究も促進し、明示的なラベルを必要とせずに生データから豊かな表現を学習できるという考えを強化した。