音声クローニングは、テキスト読み上げの専門的な応用であり、モデルが特定の個人の音声特性（音色、ピッチ、話し方など）を、録音された音声のサンプルから学習し、その声で任意のテキストを読み上げる新しい音声を生成するものである。初期のシステムでは、話者ごとに数分から数時間のクリーンな録音が必要だったが、2020年代初頭までに、少数サンプルや数秒のサンプルでのクローニングが商業的に利用可能となった。
技術的発展
従来のTTSシステムは、単一の話者の音声をゼロから学習しており、短いサンプルからのクローニングにはデータが不足しすぎるアプローチだった。音声クローニングが実用的になったのは、ニューラルTTSモデルが「何が話されているか」と「誰が話しているか」を分離するように構築されたときであり、典型的には、短い参照クリップから抽出されたコンパクトな話者埋め込みで共有生成モデルを条件付けることで実現された。これにより、単一の学習済みシステムが、短いサンプルが利用可能な任意の話者のスタイルで音声を生成できるようになり、声ごとに専用モデルを用意する必要がなくなった。2020年代初頭にかけての拡散モデルおよびトランスフォーマーベースの音声生成の改善により、必要な参照音声は数分から数秒に短縮され、自然さや表現力（感情やアクセントの保持を含む）も向上した。
応用
音声クローニングには、映画やゲームの吹き替えを俳優の声を保ったまま他の言語で行うこと、病気で話す能力を失った人の声を復元すること、パーソナライズされたアクセシビリティツール、著者自身の声で朗読されるオーディオブックなどのコンテンツ制作といった正当な用途がある。ElevenLabsなどの企業は、これらのユースケースを中心に商業製品を構築し、メディアやローカリゼーション企業が利用する音声マーケットプレイスや吹き替えパイプラインを提供している。
同意、詐欺、悪用
正当な吹き替えを可能にする同じ技術は、なりすましも可能にする。クローンされた音声は、金銭を要求するために親族や役員になりすました詐欺電話、政治的文脈で公衆を誤解させるために作られた偽造音声クリップ、そして音声俳優や公人の声を許可や報酬なしに無断で商業利用する行為（これはより広範なAI著作権および肖像権の議論に関連する問題）に使用されてきた。2024年の米国選挙サイクル中に政治候補者の声を模倣したAI生成ロボコールを含む注目度の高い事件が、規制上の注目を加速させた。いくつかの管轄区域や州は、パブリシティ権や詐欺防止法を合成音声に明示的に拡張し、一部のAI企業は、同意確認ステップ、使用制限、およびAI透かしをクローニング製品に追加することで対応した。
検出と緩和
クローンされた音声は人間が本物の録音と区別するのが難しくなっているため、金融機関や機密性の高い音声認証を扱う企業は、音声をセキュリティ要素として再検討せざるを得なくなり、法医学的音声検出は、ビデオや画像のディープフェイク検出と並んで合成メディアを識別するより広範な取り組みの中での活発な分野となっており、これはAI安全性という広い分野のトピックである。2020年代半ばの時点で、検出ツールは生成品質に遅れを取っており、音声クローニングは、その低コストと詐欺シナリオにおける高い説得力により、生成AIのより即時的に有害な応用の一つとして広く挙げられている。