HuBERT（Hidden-Unit BERT）は、2021年にMeta AIの研究者らによって導入された、音声表現のための自己教師あり学習フレームワークである。これは、自然言語処理におけるBERTと同様のマスク予測目的を活用するが、離散的なテキストトークンではなく連続的な音声信号を扱う。音響特徴を擬似ラベルにクラスタリングすることで、HuBERTは転写データを必要とせずに堅牢な音声表現を学習し、現代の音声処理における基盤モデルとなっている。
このモデルは、2021年のIEEE国際音響・音声・信号処理会議（ICASSP）で発表された論文「HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units」で詳述された。その開発は、Wei-Ning Hsu、Benjamin Bolte、Yao-Hung Hubert Tsai、Kushal Lakhotia、Ruslan Salakhutdinov、Abdelrahman Mohamedが主導した。HuBERTはすぐに自己教師あり音声モデルのベンチマークとなり、後のWavLMやdata2vecなどのアーキテクチャに影響を与えた。
アーキテクチャとトレーニング
HuBERTは標準的なTransformer (architecture)エンコーダを採用し、短い音声フレームから抽出された生の波形特徴（通常はメル周波数ケプストラム係数または対数メルフィルタバンク）を処理する。トレーニングプロセスは2つの交互ステップを含む。まず、現在のモデルの中間表現をk-meansでクラスタリングして隠れユニットラベルを生成し、次に、マスクされたタイムステップに対してこれらのラベルを予測するようにトランスフォーマーをトレーニングする。この反復的な洗練により、モデルは徐々に抽象的で音韻的に意味のあるユニットを学習できる。
wav2vec 2.0などの対照学習法とは異なり、HuBERTはネガティブサンプリングに依存しない。代わりに、クラスタ割り当てに対するクロスエントロピー損失を使用し、トレーニングを簡素化して安定性を向上させる。マスキング戦略は、連続するフレームのスパンをランダムにマスクし、モデルが周囲の文脈から欠落情報を推測することを強制する。これは、そのDeep learningアプローチの重要な要素である。
アプリケーションと影響
HuBERTの表現は、さまざまな音声タスクで広く採用されている。自動音声認識（ASR）では、ラベル付きデータでHuBERTを微調整することで、特に転写音声が乏しい低リソース環境で最先端の結果を達成する。また、学習された特徴が音韻情報と韻律情報の両方を捉えるため、話者検証、感情認識、言語識別にも優れている。
認識以外にも、HuBERTは生成モデルを支えている。例えば、同じくMetaのAudioGenやMusicGenシステムは、HuBERT埋め込みを条件付け信号として使用し、現実的な音声や音楽を生成する。さらに、HuBERTは音声翻訳や音声変換にも使用され、汎用オーディオエンコーダとしての多様性を示している。
ラベルなしデータから学習するモデルの能力は、人間のアノテーションへの依存を減らすというArtificial intelligenceの広範なトレンドと一致している。その成功は、多言語および言語横断的な音声モデルの研究を促進し、HuBERTのクラスタリングメカニズムが言語間で音韻単位を整列させるのに役立っている。
バリアントと拡張
さまざまなニーズに対応するため、HuBERTのいくつかのバリアントがリリースされている。約9500万パラメータのHuBERT Baseは、効率性に最適化され、標準的なベースラインとして機能する。3億1700万パラメータのHuBERT Largeは、より多くの計算コストで高い精度を提供する。このモデルは蒸留版も利用可能で、推論時間を短縮しながら性能の大部分を維持する。
拡張には、データ拡張を組み込んでノイズ堅牢性を向上させたRobust HuBERTや、HuBERTをfairseqツールキットに統合して研究と展開を容易にしたものが含まれる。クラスタリングステップは後の研究で改良され、別のk-meansパスを不要にするオンラインクラスタリングなどが提案されているが、元の2段階アプローチが依然として最も広く使用されている。
他のモデルとの比較
HuBERTは、Metaのもう1つの自己教師あり音声モデルであるwav2vec 2.0とよく比較される。wav2vec 2.0が対照学習と量子化ターゲットを使用するのに対し、HuBERTのクラスタ化された隠れユニットのマスク予測は、より直接的な教師信号を提供する。実証研究では、HuBERTは特にラベル付きデータが限られている場合に、ASRベンチマークでwav2vec 2.0を一般的に上回ることが示されている。ただし、wav2vec 2.0は一部のタスクで競争力を維持しており、どちらを選択するかは特定の要件に依存する。
Machine learningの広範な文脈では、HuBERTはBERTのようなマスク言語モデルと概念的に類似しているが、連続信号への適用には、入力表現とターゲット生成の新しい処理が必要であった。これは、マスクオートエンコーダ（MAE）が同様の哲学を採用するコンピュータビジョンなど、他の領域でも同様のアプローチを刺激した。
制限と将来の方向性
その強みにもかかわらず、HuBERTには制限がある。k-meansクラスタリングステップは、離散的なボトルネックを導入し、微細な音響詳細を破棄する可能性があり、高忠実度の再構築を必要とするタスクに影響を与える可能性がある。トレーニングは計算集約的であり、大規模なGPUクラスタと広範なラベルなしオーディオデータセットが必要である。さらに、モデルの性能は、ドメイン固有のデータで微調整されない限り、強いアクセントやノイズの多い音声で低下する。
将来の研究は、明示的なクラスタリングを回避する完全なエンドツーエンドの自己教師ありモデルの開発、スパースアテンションメカニズムによる効率性の向上、および音声と視覚の手がかりを組み合わせたマルチモーダル入力へのHuBERTの拡張を目指している。2025年現在、HuBERTは音声表現学習の基盤であり続け、学術および産業の両方の環境で継続的な改良が行われており、Google DeepMindやNokia Bell Labsなどの研究所も同様の自己教師ありオーディオ目的を探求している。
参考文献と入手可能性
元のHuBERT実装と事前学習済みモデルは、MITライセンスの下でfairseqライブラリを通じて公開されている。コードはPyTorchをサポートし、一般的な音声処理パイプラインと統合できる。研究者は、Base、Large、X-Largeバリアントのチェックポイントをダウンロードでき、X-Largeモデルは約10億パラメータを含み、Libri-Lightから6万時間のラベルなしオーディオでトレーニングされている。
HuBERTのリリースは再現可能な研究を促進し、その後の数千の論文で引用され、音声の自己教師あり学習の進化における重要なマイルストーンとしての役割を確固たるものにしている。その設計原則は新しいアーキテクチャに情報を提供し続け、Neural networkベースのオーディオ理解の分野での遺産を保証している。