Whisper est un système de reconnaissance vocale automatique publié par OpenAI en septembre 2022 en tant que modèle open-source, avec à la fois le code et les poids entraînés rendus publiquement disponibles. Contrairement à la plupart des publications ultérieures d'OpenAI, Whisper a été publié avec un article technique détaillé décrivant ses données d'entraînement et sa méthodologie, ce qui en fait l'une des publications les plus transparentes d'un grand laboratoire d'IA durant cette période.
Entraînement et architecture
Whisper est un modèle encodeur-décodeur basé sur les transformeurs, entraîné de manière largement supervisée et faiblement étiquetée sur 680 000 heures d'audio collectées sur le web, associées à des transcriptions correspondantes. Environ un tiers de cet audio était non anglophone, couvrant environ 100 langues, et une partie des données d'entraînement consistait en paires de traduction, conférant au modèle une capacité intégrée de traduction parole-texte en plus de la transcription. Cette échelle et cette diversité de données faiblement supervisées constituaient un contraste délibéré avec les systèmes de reconnaissance vocale antérieurs entraînés sur des ensembles de données académiques plus petits et plus soignés, reflétant des conclusions plus larges dans le domaine sur les lois de mise à l'échelle et la diversité des données améliorant la robustesse. Le modèle a été publié en plusieurs tailles, allant d'une version légère « tiny » adaptée à une utilisation sur appareil à un grand modèle offrant la plus haute précision, une approche suivie plus tard par les mises à jour v2 et v3 qui ont amélioré les performances dans plusieurs langues.
Adoption et impact
Étant donné que les poids de Whisper ont été publiés sous une licence ouverte permissive, il a été rapidement intégré dans une large gamme de produits tiers et de projets open-source, notamment des outils de transcription de réunions, des générateurs de sous-titres, des assistants vocaux et des logiciels d'accessibilité. Sa robustesse face aux accents, au bruit de fond et au vocabulaire technique, par rapport aux systèmes commerciaux de reconnaissance vocale antérieurs, en a fait un choix par défaut courant pour les développeurs construisant des pipelines de traitement du langage naturel nécessitant un front-end de parole-texte. Whisper est également devenu un composant de systèmes multimodaux et d'interaction vocale plus vastes, alimentant le texte transcrit dans des grands modèles de langage en aval pour les assistants vocaux et l'automatisation des centres d'appels, et ses transcriptions ont été utilisées comme source de données d'entraînement pour d'autres projets audio et vocaux.
La publication du modèle a contribué à une tendance plus large de publications de modèles fondamentaux en poids ouverts par les grands laboratoires, même lorsque ces mêmes laboratoires maintenaient fermés leurs modèles génératifs phares, un schéma également observé avec CLIP un an plus tôt. En réduisant le coût de création de fonctionnalités de transcription et de traduction, Whisper a été fréquemment cité comme un facteur accélérant l'expérimentation avec des applications d'IA vocale, y compris des intégrations précoces alimentant des pipelines de synthèse vocale et de clonage vocal pour des produits de doublage et de localisation, et il reste largement utilisé comme référence et base dans la recherche académique et industrielle sur la parole en 2025.
Limites
Whisper n'est pas sans faiblesses : il peut halluciner du texte jamais prononcé, en particulier pendant les silences ou l'audio non verbal, un mode de défaillance lié mais distinct du problème plus large d'Hallucination (AI) observé dans les modèles de langage génératifs. La précision varie également considérablement selon les langues, avec des langues à faibles ressources présentant des taux d'erreur plus élevés que l'anglais et d'autres langues bien représentées dans ses données d'entraînement, et les chercheurs ont documenté des cas où le modèle insérait des phrases fabriquées dans des transcriptions médicales et autres contextes à enjeux élevés, incitant à la prudence concernant une utilisation non supervisée dans des contextes sensibles.