Conformer est une architecture de réseau neuronal conçue pour la reconnaissance automatique de la parole, proposée pour la première fois dans un article de recherche de 2020 par des ingénieurs de Google. Le nom est un mot-valise de « convolution » et « transformer », reflétant sa conception hybride qui fusionne les forces des deux approches. Conformer a été développé pour remédier aux limitations des modèles séquence-à-séquence antérieurs, qui peinaient à capturer efficacement à la fois les motifs acoustiques à courte portée et les relations contextuelles à longue portée dans les signaux de parole.
L'architecture traite les caractéristiques audio à travers une pile de blocs Conformer, chacun contenant une série de sous-couches : un module feed-forward, un mécanisme d'auto-attention multi-têtes, un module convolutionnel et un second module feed-forward. Le module convolutionnel utilise une convolution séparable en profondeur avec une taille de noyau de 31, ce qui est plus grand que les filtres convolutionnels typiques, permettant au modèle de capturer les dépendances locales sur une fenêtre temporelle plus large. La composante d'auto-attention, empruntée à l'architecture Transformer (architecture), gère les dépendances globales sur l'ensemble de la séquence d'entrée. Cette combinaison permet à Conformer de modéliser simultanément les détails acoustiques fins et les contextes phonétiques ou linguistiques plus larges.
Détails de l'architecture
Chaque bloc Conformer suit un agencement spécifique : une couche feed-forward à demi-pas, une couche d'auto-attention, une couche convolutionnelle et une couche feed-forward finale, avec des connexions résiduelles et une normalisation de couche appliquées tout au long. Les couches feed-forward utilisent une dimension cachée quatre fois plus grande que la taille d'intégration du modèle, avec une fonction d'activation Swish. Le mécanisme d'auto-attention emploie des encodages positionnels sinusoïdaux relatifs, qui aident le modèle à comprendre le timing relatif entre les trames audio. Le module convolutionnel se compose d'une convolution ponctuelle, d'une unité linéaire gated, d'une convolution en profondeur et d'une autre convolution ponctuelle, avec une normalisation par lots appliquée après l'étape en profondeur.
Performance et benchmarks
Sur le benchmark LibriSpeech, un jeu de données standard pour l'évaluation de la reconnaissance vocale, Conformer a atteint des taux d'erreur de mots de 2,1 % sur l'ensemble test-clean et de 4,3 % sur l'ensemble test-other lorsqu'il est combiné avec un modèle de langage externe. Sans modèle de langage, l'architecture reste compétitive, atteignant respectivement 2,3 % et 4,9 %. Ces résultats représentaient une amélioration significative par rapport aux modèles de pointe antérieurs tels que le Speech-Transformer basé sur transformer et le DeepSpeech2 convolutionnel, en particulier pour gérer des conditions de parole bruyantes ou variées. L'efficacité du modèle se démarquait également, car il nécessitait moins de paramètres que les systèmes purement basés sur transformer tout en obtenant une meilleure précision.
Variantes et adaptations
Les chercheurs ont développé plusieurs variantes de Conformer pour s'adapter à différents scénarios de déploiement. Les configurations Conformer-Tiny, Conformer-Small et Conformer-Middle réduisent la profondeur et la largeur du modèle pour les environnements à ressources limitées, tels que la reconnaissance vocale sur appareil dans les téléphones mobiles ou les systèmes embarqués. En 2021, Google a introduit le Streaming Conformer, qui modifie le mécanisme d'attention pour fonctionner de manière causale, uniquement avec un contexte à gauche, permettant une transcription en temps réel avec une latence minimale. Une autre adaptation notable est le Squeezeformer, qui simplifie le bloc Conformer en réduisant les couches feed-forward redondantes et en ajustant le motif d'attention, obtenant des vitesses d'inférence plus rapides tout en maintenant une précision comparable.
Applications et impact
L'architecture Conformer est devenue un composant fondamental des systèmes modernes de reconnaissance vocale. Elle est intégrée aux services de synthèse vocale de production de Google, alimentant des fonctionnalités telles que la recherche vocale, la dictée et le sous-titrage en direct sur les appareils Android. L'architecture a également influencé d'autres domaines, notamment la vérification du locuteur, la classification d'événements audio et la recherche d'informations musicales, où la capture de motifs locaux et globaux dans l'audio est cruciale. Dans le domaine plus large du apprentissage profond, Conformer a démontré que les architectures hybrides combinant mécanismes convolutionnels et d'attention pouvaient surpasser les conceptions purement basées sur transformer pour les données séquentielles, inspirant des approches similaires dans la recherche en apprentissage automatique au-delà de la parole.
Directions futures
Des travaux ultérieurs ont exploré l'intégration de Conformer avec des grands modèles de langage pour des tâches de compréhension de la parole de bout en bout, telles que la réponse à des questions parlées et la traduction vocale. Les chercheurs ont également étudié des techniques d'entraînement efficaces, notamment la distillation de connaissances et la quantification, pour réduire le coût computationnel des modèles Conformer. En 2024, Conformer reste un domaine d'étude actif, avec des efforts continus pour améliorer sa robustesse face aux accents divers, au bruit de fond et aux entrées multilingues. La flexibilité de l'architecture et ses performances éprouvées suggèrent qu'elle continuera à servir de référence pour les innovations en traitement de la parole à court terme.
Références
L'article original sur Conformer, intitulé « Conformer: Convolution-augmented Transformer for Speech Recognition », a été présenté à la conférence Interspeech 2020. Des publications ultérieures ont détaillé les variantes Streaming Conformer et Squeezeformer, avec le code source et les modèles pré-entraînés publiés sous des licences open source pour un usage académique et commercial.