Whisperは、OpenAIが2022年9月にオープンソースモデルとして公開した自動Speech recognitionシステムであり、コードと学習済み重みの両方が公開されている。OpenAIのその後のリリースの多くとは異なり、Whisperはその学習データと方法論を詳細に記述した技術論文とともに公開され、この時期の主要なAI研究所によるリリースの中でも透明性の高いものの一つとなっている。
学習とアーキテクチャ
Whisperは、Transformer (architecture)ベースのエンコーダー・デコーダーモデルであり、ウェブから収集された68万時間の音声と対応する文字起こしをペアにした、主に教師ありで弱いラベル付けされた方法で学習されている。その音声の約3分の1は非英語で、約100言語にわたり、学習データの一部は翻訳ペアで構成されており、モデルには文字起こしに加えて音声からテキストへの翻訳機能が組み込まれている。このような弱教師ありデータの規模と多様性は、より小さく厳選された学術データセットで学習された初期の音声認識システムとは意図的に対照的であり、スケーリングとデータの多様性が堅牢性を向上させるという分野全体の知見を反映している。モデルは、デバイス上での使用に適した軽量な「tiny」版から、最高の精度を提供する大規模モデルまで、複数のサイズで公開され、このアプローチは後にv2およびv3アップデートでも踏襲され、複数の言語での性能が向上した。
採用と影響
Whisperの重みが寛容なオープンライセンスで公開されたため、会議の文字起こしツール、字幕生成ツール、音声アシスタント、アクセシビリティソフトウェアなど、幅広いサードパーティ製品やオープンソースプロジェクトに急速に統合された。以前の商用ASRシステムと比較して、アクセント、背景ノイズ、専門用語に対する堅牢性が高く、Natural language processingパイプラインで音声からテキストへのフロントエンドを必要とする開発者にとって一般的なデフォルトの選択肢となった。Whisperはまた、より大規模なマルチモーダルおよび音声対話システムのコンポーネントにもなり、音声アシスタントやコールセンター自動化のために、文字起こしされたテキストを下流の大規模言語モデルに供給し、その文字起こしは他の音声および音声プロジェクトの学習データソースとしても使用されている。
このモデルのリリースは、主要な研究所が主力の生成モデルをクローズドに保つ一方で、ファウンデーションモデルスタイルのオープンウェイトリリースを行うという広範な傾向に貢献した。これは、1年前のCLIPにも見られたパターンである。文字起こしと翻訳機能のコストを引き下げたため、Whisperは音声駆動型AIアプリケーションでの実験を加速させる要因として頻繁に挙げられ、吹き替えやローカリゼーション製品のためのText-to-speechやVoice cloningパイプラインへの初期統合を含み、2025年時点でも学術および産業界の音声研究においてベンチマークおよびバックボーンとして広く使用され続けている。
制限事項
Whisperには弱点がないわけではない。特に無音や非音声音声中に、実際には話されていないテキストを幻覚することがあり、これは生成言語モデルで見られるより広範なHallucination (AI)問題とは関連するが異なる失敗モードである。精度は言語によっても大きく異なり、低リソース言語では英語や学習データでよく表現されている他の言語よりも高いエラー率を示し、研究者は医療やその他の高リスクな文字起こしにモデルが捏造されたフレーズを挿入する事例を記録しており、機密性の高い文脈での教師なし使用には注意が必要であることが示唆されている。