Wav2Vec是一个用于自监督语音表示学习的机器学习框架，由Facebook AI Research（现为Meta AI的一部分）的研究人员于2019年9月提出。该模型直接从原始波形中学习通用音频特征，无需在预训练期间使用转录的语音数据。这种方法通过利用大量未标注音频（其数量远为丰富）来解决标注语音语料库稀缺的问题。
原始Wav2Vec架构使用多层卷积神经网络将原始音频编码为潜在表示，随后通过对比损失从过去上下文预测未来时间步。这一预训练目标迫使模型捕捉语音中的语音学和声学规律。预训练后，学习到的表示可以在下游任务（如自动语音识别（ASR））上使用相对较小的标注数据集进行微调，与完全在标注数据上训练的模型相比，取得了有竞争力的结果。
架构与训练
最初的Wav2Vec模型（v1）由编码器网络组成，该网络包含五个卷积层，将16 kHz音频波形处理为每秒100个特征向量。随后，一个包含十二个卷积层的上下文网络在大约210毫秒的感受野内聚合这些特征。训练使用对比损失，该损失区分真实未来样本与从同一话语中抽取的负样本，这一技术受噪声对比估计启发。
2020年6月，后续版本Wav2Vec 2.0引入了基于变换器的上下文网络和量化模块。编码器保持卷积结构，但上下文网络变为具有12层和8个注意力头的变换器，在25毫秒窗口和20毫秒步长上运行。Wav2Vec 2.0还添加了乘积量化层，将潜在表示离散化为有限码本，使模型能够同时学习连续和离散的语音单元。该版本在LibriSpeech基准上取得了最先进的结果，仅使用10分钟标注数据便将干净测试集的词错误率降至1.8%，其他测试集降至3.3%。
自监督学习范式
Wav2Vec属于更广泛的自监督学习类别，该类别已成为现代深度学习的基石。与需要标注示例的监督方法不同，自监督方法从数据本身生成伪标签。对于语音，这意味着预测音频信号的掩蔽或未来部分。Wav2Vec的成功表明，原始波形包含足够的结构来学习可迁移的表示，类似于大型语言模型从未标注文本中学习的方式。
Wav2Vec 2.0中的预训练目标涉及掩蔽一部分潜在特征跨度（通常为50%），并训练变换器预测这些掩蔽位置的量化目标。这种掩蔽预测任务类似于NLP中的掩蔽语言建模，迫使模型整合长距离声学上下文。与先前方法相比，该方法将标注数据需求减少了多达100倍，使其适用于低资源语言。
影响与应用
Wav2Vec对语音处理研究和行业应用产生了重大影响。它为后续模型（如HuBERT和WavLM）提供了基础，这些模型完善了自监督目标。该框架已被应用于语音助手、转录服务和语言学习工具的生产系统中，尤其是在标注数据稀缺的场景下。
该模型还促进了人工智能中预训练基础模型的更广泛趋势。其成功与计算机视觉和NLP的发展并行，在这些领域中，在大型未标注语料库上进行预训练后微调成为标准范式。Wav2Vec能够直接处理原始波形，而非梅尔频率倒谱系数等手工特征，简化了流程并提高了在不同声学条件下的鲁棒性。
局限性与扩展
尽管Wav2Vec具有优势，但也存在局限性。原始模型需要大量计算资源进行预训练，尽管发布的检查点缓解了最终用户的这一负担。其表示主要针对ASR优化，可能无法完美迁移到说话人验证或情感识别等其他任务，除非进行额外适配。该模型还假设固定输入采样率为16 kHz，这可能对电话或压缩音频构成约束。
Wav2Vec的扩展包括Wav2Vec 2.0的多语言训练变体，该变体在53种语言上训练并于2021年发布。另一扩展XLS-R将该方法扩展到128种语言，使用超过436,000小时的音频，证明自监督语音模型可以跨不同语系泛化。这些发展使Wav2Vec成为语音AI的基础性贡献，其影响力可与NLP中的早期变换器模型相媲美。
遗产
Wav2Vec的引入标志着语音识别研究的转折点，将该领域从纯监督方法转向自监督预训练。其原理已被纳入商业语音API和开源工具包（如Hugging Face Transformers和fairseq）中。该模型的成功还激发了对其他模态（包括音乐和生物医学信号）自监督学习的研究，强化了原始数据包含丰富潜在结构且无需显式标签即可利用的观点。