音声認識（自動音声認識、ASRとも呼ばれる）は、話された音声を書き言葉のテキストに変換する技術である。これはテキスト読み上げに対する入力側の対応物であり、会話型AI、音声アシスタント、音声入力ソフトウェア、自動字幕システムの基盤となる構成要素である。
歴史
1970年代から1980年代の初期の音声認識システムは、手作業で設計された音響特徴と隠れマルコフモデルを組み合わせており、これは音声の時系列的な構造を表現するのに適した統計モデルであり、しばしばn-gram言語モデルと組み合わせて、妥当な単語列を制約していた。これらのシステムは、ドメイン固有の調整をかなり必要とし、アクセント、背景雑音、訓練データに含まれない語彙に苦労していた。2010年代には深層学習への移行が起こり、まず個々のパイプライン構成要素をニューラルネットワークに置き換え、その後、完全なエンドツーエンドのニューラルアーキテクチャ、特にリカレントニューラルネットワークベースの系列モデル、そして2017年以降はトランスフォーマーベースのシステムへと移行し、別個の音響モデルと言語モデルのパイプラインなしに、生または軽く処理された音声を直接テキストにマッピングした。
現代のシステム
OpenAIのWhisperは、2022年にオープンソースとして公開され、広く採用された汎用ASRシステムとなり、音声と書き起こしのペアからなる大規模で多様な多言語データセットで訓練され、言語ごとの微調整なしに、アクセント、背景雑音、複数言語にわたる強い性能で知られている。Whisperや他の研究所による同等のシステムは、より大規模なマルチモーダルAIパイプライン、音声アシスタント、会議書き起こし製品の構成要素として一般的に使用され、その出力は要約や翻訳などの下流の自然言語処理タスクに頻繁に供給される。
技術
現代のASRシステムは通常、音声を学習された表現の系列に処理するエンコーダと、テキストを自己回帰的に生成するデコーダを使用し、これは系列変換モデルや機械翻訳システムと密接に関連するアーキテクチャパターンである。訓練は大規模なペアの音声テキストデータセットに大きく依存しており、ラベルのない音声に対する自己教師あり学習による事前訓練は、書き起こしが利用可能になる前に有用な表現を学習し、ラベル付きデータが限られた言語での性能向上の重要な技術となり、自然言語処理やコンピュータビジョンにおける同様のアプローチと並行している。
応用と限界
音声認識は、ライブ字幕、スマートフォンに組み込まれた音声アシスタント、音声入力ソフトウェア、コールセンター分析、聴覚障害者や難聴者向けのアクセシビリティツールの基盤となっている。精度の大幅な向上にもかかわらず、ASRシステムはアクセント、方言、訓練データが少ない言語にわたって不均一な性能を示しており、これは商用システムにおけるアルゴリズムバイアスの文書化された原因である。背景雑音、重なり合う話者、医療や法律の専門用語などのドメイン固有の語彙も依然としてエラーの原因であり、システムは専門的な展開のためにカスタム語彙で頻繁に微調整または補完される。評価は通常、単語誤り率に焦点を当てるが、この単一の指標は、人口統計グループや発話条件にわたる不均一な性能を覆い隠す可能性がある。