オーディオインペインティングは、オーディオ補間とも呼ばれ、デジタルオーディオ信号の欠落または破損した部分の再構築を扱うオーディオ復元タスクです。この技術は、伝送エラー、データ破損、または録音エラーなどの要因によりオーディオの一部が失われた場合に適用されます。主な目標は、ギャップをシームレスに埋め、可聴歪みを回避し、再構築された部分を元のコンテンツと区別できないようにすることです。これは、各欠落セグメントの周囲の時間的およびスペクトル情報を分析することで達成されます。
古典的な手法は、統計モデルまたはデジタル信号処理アルゴリズムを使用して破損したセクションを予測および合成しますが、最近のソリューションは深層学習モデルを活用しており、オーディオ復元におけるデータ駆動型アプローチの広範な傾向を反映しています。このタスクはギャップの持続時間によって分類されます。短いインペインティング（約10ミリ秒未満）は、クリックやクリッピングなどの場合に一般的な、失われた情報の正確な回復を目的とします。長いインペインティング（数百ミリ秒から数秒）は、正確な回復ではなく、意味的に互換性のある新しい情報の生成を必要とします。中程度のインペインティング（数十ミリ秒）はこれらの間に位置し、オーディオの非定常特性が重要になります。
正式な定義
デジタルオーディオ信号 \(\mathbf{x}\) を考えます。破損したバージョン \(\tilde{\mathbf{x}} = \mathbf{m} \circ \mathbf{x}\) は、信頼できるサンプルと欠落サンプルをエンコードするバイナリマスク \(\mathbf{m}\) を使用して定義され、\(\circ\) は要素ごとの積を示します。オーディオインペインティングは、\(\mathbf{x}\) の推定値である再構築 \(\hat{\mathbf{x}}\) を見つけることを目的とします。これは、非一意の解のセットを持つ不良設定の逆問題です。最適な再構築 \(\hat{\mathbf{x}}^\) は、最適化によって見つけられます。 \(\hat{\mathbf{x}}^ = \arg\min_{\hat{\mathbf{X}}} L(\mathbf{m} \circ \hat{\mathbf{x}}, \tilde{\mathbf{x}}) + R(\hat{\mathbf{x}})\)。ここで、\(L\) は信頼できるフレームのみで計算される距離測度（例：平均二乗誤差）であり、\(R\) は信号の定常性、スパース性、または学習されたデータ特性などの事前情報をエンコードする正則化項です。
モデルベースの技術
モデルベースの技術は、古典的な方法とも呼ばれ、統計モデルまたはデジタル信号処理アルゴリズムに依存します。これらのアプローチは、局所的な信号特性を活用して欠落セクションを予測および合成します。短いギャップの場合、自己回帰モデルや補間フィルタなどの方法は、欠落サンプルを高精度で推定できます。長いギャップの場合、モデルベースの技術は、正弦波モデルやスパース表現などのスペクトルモデリングを使用して、もっともらしいコンテンツを生成する場合があります。これらの方法は、多くの場合、計算効率が高く、大規模なトレーニングデータセットを必要としませんが、複雑な非定常オーディオや非常に長いギャップには苦労する可能性があります。
深層学習アプローチ
最近のソリューションは、特にニューラルネットワークなどの深層学習モデルを使用してオーディオインペインティングに対処します。これらのデータ駆動型の方法は、オーディオ例の大規模なデータセットから欠落部分を再構築することを学習します。U-Netや残差ネットワークなどのアーキテクチャが一般的に使用され、多くの場合、スペクトログラム表現で動作します。生成モデルは、トランスフォーマーやオーディオ用に適応された大規模言語モデルを含み、長いギャップに対して意味的に一貫したコンテンツを生成できます。トレーニングでは、通常、再構築精度と知覚的または敵対的損失を組み合わせた損失関数の最小化が含まれます。これは深層学習フレームワークで見られます。これらの方法は、複雑なオーディオと長いギャップの処理に優れていますが、かなりの計算リソースとデータを必要とします。
アプリケーションと課題
オーディオインペインティングには、古い録音からのクリックの除去、破損した伝送の修復、音声や音楽のギャップの充填など、オーディオ復元における実用的なアプリケーションがあります。また、オーディオ編集および強化のための人工知能システムにも関連しています。課題には、短いギャップの正確な回復と長いギャップの意味的生成のバランス、時間的コヒーレンスの確保、アーティファクトの回避が含まれます。問題の不良設定の性質は、複数の有効な再構築が存在することを意味し、正則化または学習された事前分布の選択は品質に大きく影響します。最近の研究では、モデルベースと深層学習技術を組み合わせたハイブリッドアプローチが、両方の強みを活用するために探索されています。
関連項目
- audio-restoration
- signal-processing
- 深層学習