L’inpainting audio, également connu sous le nom d’interpolation audio, est une tâche de restauration audio qui traite de la reconstruction des portions manquantes ou corrompues d’un signal audio numérique. La technique est appliquée lorsque des parties de l’audio ont été perdues en raison de facteurs tels que des erreurs de transmission, une corruption des données ou des erreurs d’enregistrement. L’objectif principal est de combler les lacunes de manière transparente, en évitant les distorsions audibles tout en rendant les portions reconstruites indiscernables du contenu original. Cela est réalisé en analysant les informations temporelles et spectrales entourant chaque segment manquant.
Les méthodes classiques emploient des modèles statistiques ou des algorithmes de traitement numérique du signal pour prédire et synthétiser les sections endommagées, tandis que les solutions récentes exploitent les modèles d’apprentissage profond, reflétant la tendance générale des approches basées sur les données dans la restauration audio. La tâche est catégorisée par la durée du segment : l’inpainting court (moins d’environ 10 millisecondes) vise une récupération exacte des informations perdues, courante dans des cas comme les clics ou l’écrêtage ; l’inpainting long (de quelques centaines de millisecondes à plusieurs secondes) nécessite de générer de nouvelles informations sémantiquement compatibles plutôt qu’une récupération exacte ; l’inpainting moyen (quelques dizaines de millisecondes) se situe entre les deux, où les caractéristiques non stationnaires de l’audio deviennent significatives.
Définition formelle
Considérons un signal audio numérique \(\mathbf{x}\). Une version corrompue, \(\tilde{\mathbf{x}} = \mathbf{m} \circ \mathbf{x}\), est définie à l’aide d’un masque binaire \(\mathbf{m}\) qui encode les échantillons fiables et manquants, avec \(\circ\) désignant le produit terme à terme. L’inpainting audio vise à trouver une reconstruction \(\hat{\mathbf{x}}\), une estimation de \(\mathbf{x}\). Il s’agit d’un problème inverse mal posé avec un ensemble non unique de solutions. La reconstruction optimale \(\hat{\mathbf{x}}^\) est trouvée par optimisation : \(\hat{\mathbf{x}}^ = \arg\min_{\hat{\mathbf{X}}} L(\mathbf{m} \circ \hat{\mathbf{x}}, \tilde{\mathbf{x}}) + R(\hat{\mathbf{x}})\), où \(L\) est une mesure de distance (par exemple, l’erreur quadratique moyenne) calculée uniquement sur les trames fiables, et \(R\) est un terme de régularisation encodant des informations a priori telles que la stationnarité du signal, la sparse ou les propriétés de données apprises.
Techniques basées sur des modèles
Les techniques basées sur des modèles, parfois appelées méthodes classiques, reposent sur des modèles statistiques ou des algorithmes de traitement numérique du signal. Ces approches prédisent et synthétisent les sections manquantes en exploitant les caractéristiques locales du signal. Pour les segments courts, des méthodes comme les modèles autorégressifs ou les filtres d’interpolation peuvent estimer les échantillons manquants avec une grande précision. Pour les segments plus longs, les techniques basées sur des modèles peuvent utiliser la modélisation spectrale, tels que les modèles sinusoïdaux ou les représentations creuses, pour générer un contenu plausible. Ces méthodes sont souvent efficaces sur le plan informatique et ne nécessitent pas de grands ensembles d’apprentissage, mais elles peuvent avoir du mal avec l’audio complexe et non stationnaire ou de très longs segments.
Approches d’apprentissage profond
Les solutions récentes utilisent des modèles d’apprentissage profond, en particulier les réseaux de neurones, pour traiter l’inpainting audio. Ces méthodes basées sur les données apprennent à reconstruire les portions manquantes à partir de grands ensembles de données d’exemples audio. Des architectures comme la U-Net et les réseaux résiduels sont couramment employées, fonctionnant souvent sur des représentations spectrogrammes. Les modèles génératifs, y compris les transformateurs et les grands modèles de langage adaptés à l’audio, peuvent générer un contenu sémantiquement cohérent pour les longs segments. L’entraînement implique généralement la minimisation d’une fonction de perte qui combine une précision de reconstruction avec des pertes perceptuelles ou adversarisées, comme on le voit dans les cadres d’apprentissage profond. Ces méthodes excellent dans la gestion de l’audio complexe et des longs segments, mais nécessitent des ressources informatiques et des données substantielles.
Applications et défis
L’inpainting audio a des applications pratiques dans la restauration audio, telles que l’élimination des clics des vieux enregistrements, la réparation de la corruption de transmission et la comblement des lacunes dans la parole ou la musique. Il est également pertinent dans les systèmes d’intelligence artificielle pour l’édition et l’amélioration audio. Ces défis incluent l’équilibre entre la récupération exacte pour les segments courts et la génération sémantique pour les segments longs, tout en assurant une cohérence temporelle et en évitant les artefacts. Le problème mal posé signifie que plusieurs reconstructions valides existent, et le choix de la régularisation ou des conditions préalables apprises affecte de manière significative la qualité. Ce cas, des approches hybrides combinant des techniques basées sur des modèles et de l’apprentissage profond sont explorées pour tirer parti des forces des deux.
Voir aussi
- audio-restoration
- signal-processing
- Deep learning