HuBERT (Hidden-Unit BERT) est un cadre d'apprentissage auto-supervisé pour la représentation de la parole, introduit par des chercheurs de Meta AI en 2021. Il exploite un objectif de prédiction masquée similaire à celui de BERT dans le traitement du langage naturel, mais s'applique à des signaux audio continus plutôt qu'à des jetons de texte discrets. En regroupant les caractéristiques acoustiques en pseudo-étiquettes, HuBERT apprend des représentations robustes de la parole sans nécessiter de données transcrites, ce qui en fait un modèle fondateur dans le traitement moderne de la parole.
Le modèle a été détaillé dans l'article « HuBERT : Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units », présenté à la conférence IEEE ICASSP 2021. Son développement a été dirigé par Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov et Abdelrahman Mohamed. HuBERT est rapidement devenu une référence pour les modèles de parole auto-supervisés, influençant des architectures ultérieures comme WavLM et data2vec.
Architecture et entraînement
HuBERT utilise un transformeur standard, traitant des caractéristiques brutes de forme d'onde (généralement des coefficients cepstraux en fréquences de Mel ou des bancs de filtres Mel) extraites de courtes trames audio. Le processus d'entraînement alterne deux étapes : d'abord, il génère des étiquettes de unités cachées en regroupant les représentations intermédiaires du modèle courant à l'aide de k-moyennes ; ensuite, il entraîne le transformeur à prédire ces étiquettes pour les trames temporelles masquées. Ce raffinement itératif permet au modèle d'apprendre progressivement des unités plus abstraites et plus pertinentes sur le plan phonétique.
Contrairement aux méthodes contrastives comme wav2vec 2.0, HuBERT ne repose pas sur l'échantillonnage négatif. Il utilise plutôt une perte d'entropie croisée sur les affectations de regroupement, ce qui simplifie l'entraînement et améliore la stabilité. La stratégie de masquage consiste à masquer aléatoirement des séquences de trames consécutives, forçant le modèle à inférer les informations manquantes à partir du contexte environnant, un élément clé de son approche d'apprentissage profond.
Applications et impact
Les représentations de HuBERT ont été largement adoptées pour diverses tâches vocales. En reconnaissance automatique de la parole (RAP), l'ajustement fin de HuBERT sur des données étiquetées atteint des résultats de pointe, en particulier dans les contextes à faibles ressources où les transcriptions sont rares. Il excelle également dans la vérification du locuteur, la reconnaissance des émotions et l'identification de la langue, car les caractéristiques apprises capturent à la fois des informations phonétiques et prosodiques.
Au-delà de la reconnaissance, HuBERT alimente des modèles génératifs. Par exemple, les systèmes AudioGen et MusicGen, également issus de Meta, utilisent les plongements de HuBERT comme signaux de conditionnement pour générer de la parole et de la musique réalistes. De plus, HuBERT a été utilisé en traduction vocale et en conversion de voix, démontrant sa polyvalence en tant qu'encodeur audio généraliste.
La capacité du modèle à apprendre à partir de données non étiquetées s'aligne sur la tendance plus large de l'intelligence artificielle à réduire la dépendance à l'annotation humaine. Son succès a stimulé la recherche sur les modèles de parole multilingues et interlinguistiques, où le mécanisme de regroupement de HuBERT aide à aligner les unités phonétiques entre les langues.
Variantes et extensions
Plusieurs variantes de HuBERT ont été publiées pour répondre à différents besoins. HuBERT Base, avec environ 95 millions de paramètres, est optimisé pour l'efficacité et sert de référence standard. HuBERT Large, avec 317 millions de paramètres, offre une précision supérieure au prix d'un calcul plus intensif. Une version distillée est également disponible, réduisant le temps d'inférence tout en conservant l'essentiel des performances.
Les extensions incluent Robust HuBERT, qui intègre l'augmentation des données pour améliorer la robustesse au bruit, ainsi que l'intégration de HuBERT dans la boîte à outils fairseq, facilitant son accès pour la recherche et le déploiement. L'étape de regroupement a été affinée dans des travaux ultérieurs, par exemple en utilisant un regroupement en ligne pour éviter un passage séparé de k-moyennes, bien que l'approche originale en deux étapes reste la plus largement utilisée.
Comparaison avec d'autres modèles
HuBERT est souvent comparé à wav2vec 2.0, un autre modèle de parole auto-supervisé de Meta. Alors que wav2vec 2.0 utilise l'apprentissage contrastif et des cibles quantifiées, la prédiction masquée de HuBERT sur des unités cachées regroupées fournit un signal de supervision plus direct. Les études empiriques montrent que HuBERT surpasse généralement wav2vec 2.0 sur les références de RAP, surtout avec des données étiquetées limitées. Cependant, wav2vec 2.0 reste compétitif dans certaines tâches, et le choix entre eux dépend des exigences spécifiques.
Dans le contexte plus large de l'apprentissage automatique, HuBERT partage des similitudes conceptuelles avec les modèles de langage masqués comme BERT, mais son application à des signaux continus a nécessité une gestion novatrice de la représentation d'entrée et de la génération de cibles. Cette approche a inspiré des travaux similaires dans d'autres domaines, comme la vision par ordinateur, où les autoencodeurs masqués (MAE) adoptent une philosophie comparable.
Limites et orientations futures
Malgré ses atouts, HuBERT présente des limites. L'étape de regroupement par k-moyennes introduit un goulot d'étranglement discret qui peut perdre des détails acoustiques fins, affectant potentiellement les tâches nécessitant une reconstruction de haute fidélité. L'entraînement est également coûteux en calcul, nécessitant de grands clusters de GPU et de vastes ensembles de données audio non étiquetées. De plus, les performances du modèle se dégradent sur les discours fortement accentués ou bruités, à moins d'un ajustement fin sur des données de domaine spécifique.
Les recherches futures visent à développer des modèles entièrement auto-supervisés de bout en bout qui évitent le regroupement explicite, à améliorer l'efficacité grâce à des mécanismes d'attention sparse, et à étendre HuBERT à des entrées multimodales combinant audio et visuel. En 2025, HuBERT reste une pierre angulaire de l'apprentissage de représentations vocales, avec des améliorations continues dans les milieux académiques et industriels, notamment grâce à des contributions de laboratoires comme Google DeepMind et Nokia Bell Labs explorant des objectifs audio auto-supervisés similaires.
Références et disponibilité
L'implémentation originale de HuBERT et ses modèles pré-entraînés sont publiquement disponibles via la bibliothèque fairseq, publiée sous licence MIT. Le code prend en charge PyTorch et peut être intégré aux pipelines courants de traitement de la parole. Les chercheurs peuvent télécharger les variantes Base, Large et X-Large, cette dernière contenant environ 1 milliard de paramètres, entraînée sur 60 000 heures d'audio non étiqueté provenant de Libri-Light.
La publication de HuBERT a facilité la recherche reproductible et a été citée dans des milliers d'articles ultérieurs, consolidant son rôle de jalon clé dans l'évolution de l'apprentissage auto-supervisé pour la parole. Ses principes de conception continuent d'informer de nouvelles architectures, assurant son héritage dans le domaine de la compréhension audio basée sur les réseaux de neurones.