La reconnaissance vocale, également appelée reconnaissance automatique de la parole (ASR), convertit l'audio parlé en texte écrit. Elle constitue la contrepartie orientée vers l'entrée de la synthèse vocale et un composant fondamental de l'IA conversationnelle, des assistants vocaux, des logiciels de dictée et des systèmes de sous-titrage automatique.
Historique
Les premiers systèmes de reconnaissance vocale dans les années 1970 et 1980 reposaient sur des caractéristiques acoustiques conçues manuellement, combinées à des modèles de Markov cachés, des modèles statistiques bien adaptés pour représenter la structure séquentielle et variant dans le temps de la parole, souvent associés à des modèles de langage n-grammes pour contraindre les séquences de mots plausibles. Ces systèmes nécessitaient un réglage substantiel spécifique au domaine et peinaient avec les accents, le bruit de fond et le vocabulaire hors de leurs données d'entraînement. Les années 2010 ont apporté un changement vers l'apprentissage profond, d'abord en remplaçant les composants individuels du pipeline par des réseaux neuronaux, puis en passant à des architectures neuronales entièrement de bout en bout, notamment des modèles de séquences basés sur les réseaux de neurones récurrents et, après 2017, des systèmes basés sur les transformeurs qui mappaient directement l'audio brut ou légèrement traité en texte sans pipeline séparé de modèle acoustique et de langage.
Systèmes modernes
Le Whisper d'OpenAI, publié en open-source en 2022, est devenu un système ASR polyvalent largement adopté, entraîné sur un vaste ensemble de données multilingues diversifié d'audio apparié à des transcriptions, et remarquable pour ses performances solides sur les accents, le bruit de fond et plusieurs langues sans réglage fin par langue. Whisper et des systèmes comparables d'autres laboratoires sont couramment utilisés comme composant au sein de pipelines plus vastes d'IA multimodale, d'assistants vocaux et de produits de transcription de réunions, et leurs sorties alimentent fréquemment des tâches en aval de traitement du langage naturel telles que le résumé ou la traduction.
Techniques
Les systèmes ASR modernes utilisent typiquement un encodeur qui traite l'audio en une séquence de représentations apprises et un décodeur qui génère le texte de manière autorégressive, un schéma d'architecture étroitement lié aux modèles Seq2seq et aux systèmes de traduction automatique. L'entraînement repose fortement sur de grands ensembles de données audio-texte appariés, et le pré-entraînement auto-supervisé sur de l'audio non étiqueté, apprenant des représentations utiles avant que des transcriptions ne soient disponibles, est devenu une technique importante pour améliorer les performances sur les langues avec des données étiquetées limitées, en parallèle avec des approches similaires dans le traitement du langage naturel et la vision par ordinateur.
Applications et limites
La reconnaissance vocale sous-tend le sous-titrage en direct, les assistants vocaux tels que ceux intégrés aux smartphones, les logiciels de dictée, l'analyse des centres d'appels et les outils d'accessibilité pour les utilisateurs sourds et malentendants. Malgré des gains majeurs en précision, les systèmes ASR présentent encore des performances inégales selon les accents, les dialectes et les langues avec moins de données d'entraînement disponibles, une source documentée d'biais algorithmique dans les systèmes commerciaux. Le bruit de fond, les locuteurs qui se chevauchent et le vocabulaire spécifique au domaine, comme la terminologie médicale ou juridique, restent également des sources d'erreur, et les systèmes sont fréquemment réglés finement ou complétés par des vocabulaires personnalisés pour des déploiements spécialisés. L'évaluation se concentre généralement sur le taux d'erreur de mots, bien que cette métrique unique puisse masquer des performances inégales entre les groupes démographiques et les conditions de parole.