Wav2Vec est un cadre d'Machine learning pour l'apprentissage de représentations vocales auto-supervisé, introduit par des chercheurs de Facebook AI Research (désormais partie de Meta AI) en septembre 2019. Le modèle apprend des caractéristiques audio généralistes directement à partir de formes d'onde brutes, sans nécessiter de données vocales transcrites lors du pré-entraînement. Cette approche répond à la rareté des corpus vocaux annotés en exploitant de grandes quantités d'audio non étiqueté, bien plus abondantes.
L'architecture originale de Wav2Vec utilise un réseau neuronal convolutif multicouche pour encoder l'audio brut en représentations latentes, suivi d'une perte contrastive qui prédit les pas de temps futurs à partir du contexte passé. Cet objectif de pré-entraînement force le modèle à capturer les régularités phonétiques et acoustiques de la parole. Après le pré-entraînement, les représentations apprises peuvent être affinées sur des tâches en aval telles que la reconnaissance automatique de la parole (ASR) avec des ensembles de données annotés relativement petits, obtenant des résultats compétitifs par rapport aux modèles entièrement entraînés sur des données annotées.
Architecture et Entraînement
Le modèle initial Wav2Vec (v1) se composait d'un réseau encodeur avec cinq couches convolutives qui traitaient des formes d'onde audio à 16 kHz en vecteurs de caractéristiques à un rythme de 100 par seconde. Un réseau de contexte avec douze couches convolutives agrégait ensuite ces caractéristiques sur un champ réceptif d'environ 210 millisecondes. L'entraînement utilisait une perte contrastive qui distinguait les échantillons futurs réels des échantillons négatifs tirés du même énoncé, une technique inspirée de l'estimation contrastive du bruit.
En juin 2020, la suite Wav2Vec 2.0 a introduit un réseau de contexte basé sur un Transformer (architecture) et un module de quantification. L'encodeur restait convolutif, mais le réseau de contexte devenait un transformer avec 12 couches et 8 têtes d'attention, opérant sur des fenêtres de 25 ms avec un pas de 20 ms. Wav2Vec 2.0 a également ajouté une couche de quantification de produit qui discrétisait les représentations latentes en un codebook fini, permettant au modèle d'apprendre à la fois des unités vocales continues et discrètes. Cette version a atteint des résultats de pointe sur le benchmark LibriSpeech, réduisant les taux d'erreur de mots à 1,8 % sur l'ensemble de test propre et à 3,3 % sur l'autre ensemble de test avec seulement 10 minutes de données annotées.
Paradigme d'Apprentissage Auto-Supervisé
Wav2Vec appartient à la catégorie plus large de l'apprentissage auto-supervisé, devenu une pierre angulaire du Deep learning moderne. Contrairement aux méthodes supervisées qui nécessitent des exemples annotés, les approches auto-supervisées génèrent des pseudo-étiquettes à partir des données elles-mêmes. Pour la parole, cela signifie prédire des portions masquées ou futures du signal audio. Le succès de Wav2Vec a démontré que les formes d'onde brutes contiennent suffisamment de structure pour apprendre des représentations transférables, de la même manière que les Large language model apprennent à partir de texte non étiqueté.
L'objectif de pré-entraînement dans Wav2Vec 2.0 implique de masquer une proportion des étendues de caractéristiques latentes (typiquement 50 %) et d'entraîner le transformer à prédire les cibles quantifiées pour ces positions masquées. Cette tâche de prédiction masquée, analogue au masquage linguistique en NLP, force le modèle à intégrer un contexte acoustique à longue portée. L'approche a réduit le besoin de données annotées jusqu'à 100 fois par rapport aux méthodes précédentes, la rendant pratique pour les langues à faibles ressources.
Impact et Applications
Wav2Vec a eu une influence significative sur la recherche en traitement de la parole et les applications industrielles. Il a fourni une base pour des modèles ultérieurs tels que HuBERT et WavLM, qui ont affiné les objectifs auto-supervisés. Le cadre a été adopté dans des systèmes de production pour les assistants vocaux, les services de transcription et les outils d'apprentissage des langues, en particulier dans les scénarios où les données annotées sont rares.
Le modèle a également contribué à la tendance plus large des modèles de fondation pré-entraînés en Artificial intelligence. Son succès a parallélisé les développements en vision par ordinateur et en NLP, où le pré-entraînement sur de grands corpus non étiquetés suivi d'un affinage est devenu le paradigme standard. La capacité de Wav2Vec à travailler avec des formes d'onde brutes, plutôt qu'avec des caractéristiques artisanales comme les coefficients cepstraux de fréquence Mel, a simplifié le pipeline et amélioré la robustesse à travers différentes conditions acoustiques.
Limites et Extensions
Malgré ses forces, Wav2Vec présente des limites. Le modèle original nécessitait des ressources computationnelles substantielles pour le pré-entraînement, bien que les points de contrôle publiés aient atténué cela pour les utilisateurs finaux. Les représentations sont principalement optimisées pour l'ASR et peuvent ne pas se transférer parfaitement à d'autres tâches telles que la vérification du locuteur ou la reconnaissance des émotions sans adaptation supplémentaire. Le modèle suppose également un taux d'échantillonnage d'entrée fixe de 16 kHz, ce qui peut être une contrainte pour la téléphonie ou l'audio compressé.
Les extensions de Wav2Vec incluent la variante de Wav2Vec 2.0 pour l'entraînement multilingue, entraînée sur 53 langues et publiée en 2021. Une autre extension, XLS-R, a étendu l'approche à 128 langues avec plus de 436 000 heures d'audio, démontrant que les modèles vocaux auto-supervisés peuvent généraliser à travers diverses familles linguistiques. Ces développements ont positionné Wav2Vec comme une contribution fondamentale à l'IA vocale, comparable en influence aux premiers modèles transformer en NLP.
Héritage
L'introduction de Wav2Vec a marqué un tournant dans la recherche en reconnaissance vocale, déplaçant le domaine des approches purement supervisées vers le pré-entraînement auto-supervisé. Ses principes ont été incorporés dans les API vocales commerciales et les boîtes à outils open source telles que Hugging Face Transformers et fairseq. Le succès du modèle a également stimulé la recherche sur l'apprentissage auto-supervisé pour d'autres modalités, y compris la musique et les signaux biomédicaux, renforçant l'idée que les données brutes contiennent une structure latente riche qui peut être exploitée sans étiquettes explicites.