音频修复，又称音频插值，是一项音频恢复任务，旨在重建数字音频信号中缺失或损坏的部分。该技术应用于因传输错误、数据损坏或录制错误而导致部分音频丢失的场景。其主要目标是无缝填补缺口，避免可闻失真，同时使重建部分与原始内容难以区分。这通过分析每个缺失片段周围的时域和频域信息来实现。
经典方法采用统计模型或数字信号处理算法来预测和合成受损部分，而近期解决方案则利用深度学习模型，反映了音频恢复中数据驱动方法的更广泛趋势。该任务按缺口时长分类：短时修复（小于约10毫秒）旨在精确恢复丢失信息，常见于咔嗒声或削波等情况；长时修复（数百毫秒至数秒）需要生成语义兼容的新信息而非精确恢复；中时修复（数十毫秒）介于两者之间，此时音频的非平稳特性变得显著。
形式化定义
考虑一个数字音频信号 \(\mathbf{x}\)。一个损坏版本 \(\tilde{\mathbf{x}} = \mathbf{m} \circ \mathbf{x}\) 通过二进制掩码 \(\mathbf{m}\) 定义，该掩码编码可靠样本和缺失样本，其中 \(\circ\) 表示逐元素乘积。音频修复旨在找到重建 \(\hat{\mathbf{x}}\)，即 \(\mathbf{x}\) 的估计。这是一个不适定的逆问题，解集非唯一。最优重建 \(\hat{\mathbf{x}}^\) 通过优化求得：\(\hat{\mathbf{x}}^ = \arg\min_{\hat{\mathbf{X}}} L(\mathbf{m} \circ \hat{\mathbf{x}}, \tilde{\mathbf{x}}) + R(\hat{\mathbf{x}})\)，其中 \(L\) 是仅在可靠帧上计算的距离度量（如均方误差），\(R\) 是编码先验信息的正则化项，如信号平稳性、稀疏性或学习到的数据属性。
基于模型的技术
基于模型的技术，有时称为经典方法，依赖于统计模型或数字信号处理算法。这些方法通过利用局部信号特征来预测和合成缺失部分。对于短缺口，自回归模型或插值滤波等方法可以高精度估计缺失样本。对于较长缺口，基于模型的技术可能使用频谱建模，如正弦模型或稀疏表示，以生成合理内容。这些方法通常计算效率高，且不需要大规模训练数据集，但在处理复杂、非平稳音频或极长缺口时可能表现不佳。
深度学习方法
近期解决方案使用深度学习模型，特别是神经网络，来处理音频修复。这些数据驱动方法从大量音频示例数据集中学习重建缺失部分。常用架构包括U-Net和残差网络，通常基于频谱图表示进行操作。生成模型，包括变换器和适用于音频的大语言模型，可以为长缺口生成语义连贯的内容。训练通常涉及最小化结合重建精度与感知或对抗损失的损失函数，如深度学习框架中所见。这些方法在处理复杂音频和长缺口方面表现出色，但需要大量计算资源和数据。
应用与挑战
音频修复在音频恢复中具有实际应用，例如去除旧录音中的咔嗒声、修复损坏的传输以及填补语音或音乐中的缺口。它也与人工智能系统中的音频编辑和增强相关。挑战包括平衡短缺口的精确恢复与长缺口的语义生成，确保时间连贯性，以及避免伪影。该问题的不适定性意味着存在多个有效重建，正则化或学习先验的选择显著影响质量。近期研究中，正在探索结合基于模型和深度学习技术的混合方法，以发挥两者的优势。
参见
- audio-restoration
- signal-processing
- Deep learning