HuBERT（隐藏单元BERT）是一种用于语音表征的自监督学习框架，由Meta AI的研究人员于2021年提出。它利用与自然语言处理中BERT类似的掩码预测目标，但作用于连续音频信号而非离散文本标记。通过将声学特征聚类为伪标签，HuBERT无需转录数据即可学习鲁棒的语音表征，使其成为现代语音处理中的基础模型。
该模型在论文《HuBERT：通过掩码预测隐藏单元进行自监督语音表征学习》中详细描述，该论文发表于2021年IEEE国际声学、语音与信号处理会议（ICASSP）。其开发由Wei-Ning Hsu、Benjamin Bolte、Yao-Hung Hubert Tsai、Kushal Lakhotia、Ruslan Salakhutdinov和Abdelrahman Mohamed领导。HuBERT迅速成为自监督语音模型的基准，影响了后续架构如WavLM和data2vec。
架构与训练
HuBERT采用标准的Transformer编码器，处理从短音频帧中提取的原始波形特征（通常是梅尔频率倒谱系数或对数梅尔滤波器组）。训练过程涉及两个交替步骤：首先，通过使用k-means对当前模型的中间表示进行聚类来生成隐藏单元标签；其次，训练Transformer预测这些掩码时间步的标签。这种迭代细化使模型能够逐步学习更抽象且更具语音学意义的单元。
与wav2vec 2.0等对比方法不同，HuBERT不依赖负采样。相反，它使用基于聚类分配的交叉熵损失，这简化了训练并提高了稳定性。掩码策略随机掩码连续帧的片段，迫使模型从周围上下文推断缺失信息，这是其深度学习方法的关键要素。
应用与影响
HuBERT的表征已被广泛用于各种语音任务。在自动语音识别（ASR）中，在标记数据上微调HuBERT可获得最先进的结果，尤其是在转录音频稀缺的低资源场景中。它在说话人验证、情感识别和语言识别方面也表现出色，因为学习到的特征同时捕获了语音学和韵律信息。
在识别之外，HuBERT还驱动生成模型。例如，同样来自Meta的AudioGen和MusicGen系统使用HuBERT嵌入作为条件信号来生成逼真的语音和音乐。此外，HuBERT已被用于语音翻译和语音转换，展示了其作为通用音频编码器的多功能性。
该模型从无标签数据中学习的能力与人工智能中减少对人类标注依赖的更广泛趋势相一致。其成功推动了多语言和跨语言语音模型的研究，其中HuBERT的聚类机制有助于跨语言对齐语音单元。
变体与扩展
已发布多种HuBERT变体以满足不同需求。HuBERT Base约有9500万参数，针对效率进行了优化，并作为标准基线。HuBERT Large有3.17亿参数，以更多计算为代价提供更高精度。该模型还提供蒸馏版本，在保持大部分性能的同时减少推理时间。
扩展包括Robust HuBERT，它结合数据增强以提高噪声鲁棒性，以及将HuBERT集成到fairseq工具包中，使其便于研究和部署。聚类步骤在后续工作中得到改进，例如使用在线聚类以避免单独的k-means过程，但原始的两阶段方法仍是最广泛使用的。
与其他模型的比较
HuBERT常与Meta的另一自监督语音模型wav2vec 2.0进行比较。wav2vec 2.0使用对比学习和量化目标，而HuBERT对聚类隐藏单元的掩码预测提供了更直接的监督信号。实证研究表明，HuBERT在ASR基准上通常优于wav2vec 2.0，尤其是在标记数据有限的情况下。然而，wav2vec 2.0在某些任务中仍具竞争力，两者之间的选择取决于具体需求。
在机器学习的更广泛背景下，HuBERT与BERT等掩码语言模型在概念上相似，但其对连续信号的应用需要对输入表示和目标生成进行新颖处理。这启发了其他领域的类似方法，例如计算机视觉中的掩码自编码器（MAE）采用了类似的理念。
局限性与未来方向
尽管有其优势，HuBERT仍存在局限性。k-means聚类步骤引入了离散瓶颈，可能丢弃细粒度的声学细节，从而影响需要高保真重建的任务。训练计算密集，需要大型GPU集群和大量无标签音频数据集。此外，除非在特定领域数据上微调，否则模型在重口音或嘈杂语音上的性能会下降。
未来研究旨在开发完全端到端的自监督模型，避免显式聚类，通过稀疏注意力机制提高效率，并将HuBERT扩展到结合音频和视觉线索的多模态输入。截至2025年，HuBERT仍是语音表征学习的基石，在学术和工业环境中持续改进，包括谷歌深度思维和诺基亚贝尔实验室等实验室探索类似自监督音频目标的贡献。
参考文献与可用性
HuBERT的原始实现和预训练模型通过fairseq库公开提供，以MIT许可证发布。代码支持PyTorch，并可集成到流行的语音处理流水线中。研究人员可下载Base、Large和X-Large变体的检查点，其中X-Large模型约有10亿参数，基于Libri-Light中6万小时的无标签音频训练。
HuBERT的发布促进了可复现研究，并已被数千篇后续论文引用，巩固了其在自监督语音学习演变中的关键里程碑地位。其设计原则继续为新的架构提供信息，确保其在神经网络音频理解领域的传承。