音声合成とは、人間の音声を人工的に生成することである。この目的に使用されるコンピュータシステムは音声合成装置と呼ばれ、ソフトウェアまたはハードウェア製品として実装できる。テキスト読み上げ（TTS）システムは、通常の言語テキストを音声に変換する。他のシステムは、音声転写などの記号的言語表現を音声に変換する。逆のプロセスは音声認識である。
合成音声は、データベースに保存された録音音声の断片を連結することで作成できる。システムによって保存される音声単位のサイズは異なる。音素やダイフォンを保存するシステムは、最も広い出力範囲を提供するが、明瞭さに欠ける場合がある。特定の使用領域では、単語全体や文全体を保存することで、高品質な出力が可能になる。あるいは、合成装置は声道やその他の人間の音声特性のモデルを組み込んで、完全に「合成的な」音声出力を作成することもできる。
音声合成装置の品質は、人間の声との類似性と、明確に理解できる能力によって判断される。明瞭なテキスト読み上げプログラムは、視覚障害や読書障害を持つ人々が、自宅のコンピュータで書かれた言葉を聞くことを可能にする。音声合成装置を組み込んだ最初のコンピュータオペレーティングシステムは、1974年のUnixであり、Unix speakユーティリティを通じて実現された。2000年には、Microsoft Samが、すべてのWindows 2000オペレーティングシステムおよびその後のWindows XPシステムに同梱されていたナレーターアクセシビリティ機能で使用されるデフォルトのテキスト読み上げ音声合成装置となった。
テキスト読み上げシステムのアーキテクチャ
テキスト読み上げシステム（または「エンジン」）は、フロントエンドとバックエンドの2つの部分で構成される。フロントエンドには2つの主要なタスクがある。まず、数字や略語などの記号を含む生のテキストを、書き出された単語に相当するものに変換する。このプロセスは、テキスト正規化、前処理、またはトークン化と呼ばれることが多い。次に、フロントエンドは各単語に音声転写を割り当て、テキストを韻律単位（フレーズ、節、文など）に分割してマークする。単語に音声転写を割り当てるプロセスは、テキストから音素への変換、または書記素から音素への変換と呼ばれる。音声転写と韻律情報は一緒になって、フロントエンドによって出力される記号的言語表現を構成する。
バックエンドは、しばしばシンセサイザーと呼ばれ、記号的言語表現を音に変換する。特定のシステムでは、この部分にはターゲット韻律（ピッチ輪郭、音素持続時間）の計算が含まれ、それが出力音声に課される。この2段階設計により、モジュール式開発が可能になり、言語分析を音響生成とは独立して改善できる。
歴史的発展
電子信号処理の発明よりずっと前から、人間の音声を模倣する機械を構築しようとする人々がいた。また、教皇シルウェステル2世（西暦1003年没）、アルベルトゥス・マグヌス（1198年–1280年）、ロジャー・ベーコン（1214年–1294年）に関するものなど、「真鍮の頭」の存在に関する伝説もあった。
1779年、ドイツ系デンマーク人の科学者クリスチャン・ゴットリープ・クラッツェンシュタインは、ロシア帝国科学芸術アカデミーが発表したコンテストで、5つの長母音（国際音声記号表記では[aː]、[eː]、[iː]、[oː]、[uː]）を生成できる人間の声道のモデルを構築し、一等賞を受賞した。続いて、ハンガリーのプレスブルク出身のヴォルフガング・フォン・ケンペレンによる、1791年の論文で説明されたふいご式の「音響機械式音声機械」が登場した。この機械は舌と唇のモデルを追加し、母音だけでなく子音も生成できるようにした。1837年、チャールズ・ホイートストンはフォン・ケンペレンの設計に基づいて「話す機械」を製作し、1846年にはジョセフ・ファーバーが「ユーフォニア」を展示した。1923年、パジェットはホイートストンの設計を復活させた。
1930年代、ベル研究所は、音声を基本周波数と共鳴に自動的に分析するボコーダーを開発した。ホーマー・ダドリーは、ボコーダーでの研究から、キーボード操作の音声合成装置「ザ・ボーダー（音声デモンストレーター）」を開発し、1939年のニューヨーク万国博覧会で展示した。
フランクリン・S・クーパーとハスキンズ研究所の同僚たちは、1940年代後半にパターンプレイバックを構築し、1950年に完成させた。このハードウェア装置にはいくつかの異なるバージョンがあったが、現在生き残っているのは1つだけである。この機械は、スペクトログラムの形での音声の音響パターンの画像を音に変換する。この装置を使用して、アルヴィン・リバーマンと同僚たちは、音声セグメント（子音と母音）の知覚のための音響的手がかりを発見した。
電子およびコンピュータベースのシステム
最初のコンピュータベースの音声合成システムは、1950年代後半に始まった。植田法子らは、1968年に日本の電気技術研究所で、最初の一般的な英語テキスト読み上げシステムを開発した。1961年、物理学者のジョン・ラリー・ケリー・ジュニアと同僚のルイス・ガースマンは、IBM 7090コンピュータを使用して音声を合成した。これはベル研究所の歴史の中で最も顕著な出来事の1つである。ケリーの音声録音合成装置（ボコーダー）は、マックス・マシューズの音楽伴奏付きで、歌「デイジー・ベル」を再現した。偶然にも、アーサー・C・クラークは、友人のジョン・ピアースを訪ねてベル研究所マレーヒル施設にいた。クラークはこのデモンストレーションに感銘を受け、小説『2001年宇宙の旅』の脚本のクライマックスシーンでそれを使用した。そこでは、HAL 9000コンピュータが、宇宙飛行士デイブ・ボウマンがそれを停止させる際に同じ歌を歌う。純粋に電子式の音声合成の成功にもかかわらず、機械式音声合成装置の研究は続いている。
線形予測符号化（LPC）は、音声符号化の一形態であり、1966年に名古屋大学の板倉文忠と日本電信電話（NTT）の斉藤収三の研究から開発が始まった。LPC技術のさらなる発展は、1970年代にベル研究所のビシュヌ・S・アタルとマンフレッド・R・シュローダーによってなされた。LPCは後に、1978年からSpeak & Spellおもちゃで使用されたテキサス・インスツルメンツのLPC音声チップなど、初期の音声合成チップの基礎となった。
1975年、板倉文忠は、NTT在籍中に、高圧縮音声符号化のための線スペクトル対（LSP）法を開発した。1975年から1981年にかけて、板倉はLSP法に基づく音声分析と合成の問題を研究した。1980年、彼のチームはLSPベースの音声合成チップを開発した。LSPは音声合成と符号化にとって重要な技術であり、1990年代には、ほぼすべての国際音声符号化標準の必須コンポーネントとして採用され、モバイルチャネルやインターネットを介したデジタル音声通信の強化に貢献した。
1975年、MUSAがリリースされ、最初の音声合成システムの1つとなった。これは、スタンドアロンのコンピュータハードウェアと、イタリア語を読み上げることを可能にする専門ソフトウェアで構成されていた。1978年にリリースされた2番目のバージョンは、「アカペラ」スタイルでイタリア語を歌うこともできた。
1980年代と1990年代の主要なシステムは、MITのデニス・クラットの研究に主に基づくDECtalkシステムと、ベル研究所のシステムであった。後者は、自然言語処理技術を広範に使用した、最初の多言語で言語に依存しないシステムの1つであった。
現代のアプローチと応用
機械学習と深層学習の台頭により、音声合成はニューラルベースの方法へと移行している。ニューラルネットワークは、テキストから音声への複雑なマッピングを直接モデル化でき、多くの場合、以前の連結型やフォルマント型システムよりも自然な出力を生成する。これらの現代のシステムは、大規模言語モデルの基礎でもあるトランスフォーマーアーキテクチャを活用して、言語と韻律の長距離依存関係を捉えることが多い。
現代のテキスト読み上げエンジンは、消費者向けデバイス、ナビゲーションシステム、仮想アシスタントに広く展開されている。Apple、Samsung、Google DeepMindなどの企業は、高度な合成を自社製品に統合している。この技術は、オペレーティングシステムのアクセシビリティ機能もサポートしており、視覚障害者向けのスクリーンリーダーを可能にしている。2020年代現在、研究は、感情表現の向上、音声クローン作成、インタラクティブアプリケーション向けのリアルタイム合成に焦点を当て続けている。
評価と課題
音声合成装置の評価には、主観的なリスニングテストと客観的な指標の両方が含まれる。主観的テストは、自然さと明瞭さを測定し、多くの場合、平均オピニオンスコアを使用する。客観的尺度は、音響的特徴を比較したり、自動音声認識を使用して明瞭さを評価したりする場合がある。多様な言語、方言、話し方の処理、およびデバイス上での展開のための計算コストの削減には、課題が残っている。また、音声なりすましやクローン音声の悪用の可能性に伴う倫理的考慮事項も生じており、生成AIコミュニティで継続的な議論を促している。