WaveNet Vocoderは、Deep learningモデルアーキテクチャであり、Google DeepMindによって生の音声波形を生成するために開発された。2016年9月に発表され、テキスト読み上げ（TTS）システム向けに自然な音声を生成することを目的として設計され、初期の連結型およびパラメトリック型シンセサイザーのロボット的な品質に対処した。このモデルは、サンプルレベルで音声信号に直接作用し、各サンプルを以前のすべてのサンプルに基づいて予測する。これは自己回帰生成として知られるプロセスである。その中核的な革新は、拡張因果畳み込みの使用であり、これによりネットワークは非常に大きな受容野を持ち、音声内の長距離依存関係を捉えることができる一方で、リカレントネットワークと比較して計算効率が高い。WaveNet Vocoderは、多くの現代のTTSパイプラインにおいて基盤となるコンポーネントとなり、中間的な音響特徴（メルスペクトログラムなど）を最終的な波形に変換するニューラルボコーダーとして頻繁に使用された。
元のWaveNet論文「WaveNet: A Generative Model for Raw Audio」は、DeepMindの研究者（Aaron van den Oord、Sander Dieleman、Karen Simonyanを含む）によって発表された。このモデルは、Google TTSコーパスなどの大規模な音声データセットで訓練され、既存の手法と比較して主観的な自然性において顕著な改善を示した。ブラインドリスニングテストでは、WaveNet生成音声は連結型およびパラメトリック型システムの両方よりも有意に自然であると評価されたが、人間の録音には依然として及ばなかった。このアーキテクチャが音楽などの他のオーディオタイプをモデル化する能力も実証されたが、その主な応用は音声合成のままであった。
アーキテクチャとメカニズム
WaveNet Vocoderは、指数関数的に増加する拡張係数を持つ畳み込み層のスタック上に構築されている。各層は因果畳み込みを適用し、時間ステップtでの出力は時間ステップtまでの入力のみに依存することを意味し、音声の時間的順序を保持する。拡張係数（例：1、2、4、8、...、512）により、受容野は深さとともに指数関数的に成長し、モデルが数千サンプルにわたる依存関係を捉えることを可能にする。例えば、10層と最大512の拡張係数を持つ場合、受容野は1024サンプルに及び、16 kHzのサンプリングレートでは64ミリ秒の音声に相当する。
各畳み込み層は、PixelCNNのものと類似したゲート付き活性化ユニットを使用し、モデルが複雑な依存関係を学習するのに役立つ。ゲート付き活性化はtanh(W_f x) sigmoid(W_g x)として定義され、ここでは畳み込みを表す。このゲーティングメカニズムにより、ネットワークは情報の流れを制御でき、訓練の安定性と出力品質が向上する。モデルはまた、残差接続とスキップ接続を組み込んでおり、訓練中の勾配の流れを促進し、ネットワークがより深い表現を学習するのに役立つ。
訓練と推論
WaveNet Vocoderの訓練は、訓練音声データの対数尤度を最大化することを含む。出力層は、8ビットのμ-law圧伸された音声サンプルを表す256の可能な値に対するソフトマックスを使用する。μ-law圧伸は、音声にとって知覚的に重要である低振幅信号により多くの量子化レベルを割り当てる非線形変換である。訓練中、モデルには正解の音声サンプルが入力として供給され、損失は各時間ステップで計算される。
推論は自己回帰的である。モデルは一度に1つのサンプルを生成し、自身の出力を次のステップの入力としてフィードバックする。この逐次生成は計算集約的であり、各サンプルにはネットワークを通る完全なフォワードパスが必要である。16 kHzでの1秒間の音声クリップの場合、これは16,000の逐次ステップを意味する。推論を高速化するために、研究者は中間活性化のキャッシュ（「高速WaveNet」として知られる）や、「Parallel WaveNet」（2017年）で提案された正規化フローを用いた教師-学生フレームワークを使用する並列生成方法などの技術を開発した。これらの最適化により、現代のハードウェアでのリアルタイム合成が実現可能になった。
テキスト読み上げへの応用
WaveNet Vocoderは、TTSパイプラインの最終段階として最も一般的に使用される。典型的なアーキテクチャには、テキストを言語的特徴に変換するフロントエンド、中間表現（メルスペクトログラムや線形スペクトログラムなど）を予測する音響モデル、およびこれらの特徴を波形に変換するボコーダーが含まれる。WaveNet Vocoderは、コンパクトな音響特徴から高忠実度の音声を生成でき、自然な韻律と話者特性を保持するため、この役割で優れている。
いくつかの商用およびオープンソースのTTSシステムがWaveNetベースのボコーダーを採用している。例えば、GoogleのCloud Text-to-Speechサービスは、その自然性で知られるWaveNet音声を提供している。このアーキテクチャは、Tacotron 2などの後のモデルにも影響を与え、Tacotron 2は修正されたWaveNetをボコーダーとして使用している。オープンソースコミュニティでは、r9y9（日本人研究者）による「WaveNet Vocoder」リポジトリの実装が研究開発に広く使用されている。これらの実装は、英語や日本語を含むさまざまな言語向けの事前訓練モデルを提供することが多い。
影響と遺産
WaveNet Vocoderの導入は、音声合成における重要な転換を示し、連結型およびパラメトリック型の手法からニューラルエンドツーエンドのアプローチへと移行した。その成功は、生の音声に対する深層生成モデルの力を実証し、SampleRNN、WaveRNN、LPCNetなどの後続のアーキテクチャに影響を与えた。拡張因果畳み込みの概念は、音源分離や音楽生成などの他の領域でも採用されている。
WaveNet Vocoderはまた、自己回帰モデルが高次元データを生成できることを示すことで、Generative AIのより広い分野に貢献した。ゲート付き活性化や残差接続などのその技術は、他の多くのニューラルネットワーク設計に組み込まれている。Transformer (architecture)ベースのボコーダー（例：HiFi-GANやMelGAN）などの新しいモデルが登場しているが、WaveNet Vocoderは品質のベンチマークおよびこの分野の基礎的な参照として残っている。
制限と発展
その品質にもかかわらず、WaveNet Vocoderには顕著な制限がある。自己回帰生成は遅く、専用ハードウェアやアルゴリズムの最適化なしではリアルタイム展開が困難である。モデルはまた、訓練にかなりの計算リソースを必要とし、複数のGPUと数日間の訓練時間を要することが多い。さらに、μ-law圧伸はわずかな歪みを導入し、音声には許容されるが、高忠実度の音楽には理想的ではない可能性がある。
その後の研究はこれらの問題に対処した。Parallel WaveNet（2017年）は、逆自己回帰フローを使用した非自己回帰生成法を導入し、GPU上でのリアルタイム合成を達成した。ClariNetやWaveGlowなどの他のアプローチは、効率と品質をさらに改善した。これらの発展は、生産システムにおいて元のWaveNet Vocoderをほぼ取って代わったが、その原理は現代のニューラルボコーダーの設計において影響力を持ち続けている。