Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等語音預(yù)訓練模型，通過在多達上萬小時的無標注語音數(shù)據(jù)（如 Libri-light ）上的自監(jiān)督學習，顯著提升了自動語音識別（Automatic Speech Recognition, ASR），語音合成（Text-to-speech, TTS）和語音轉(zhuǎn)換（Voice Conversation，VC）等語音下游任務(wù)的性能。然而這些模型都沒有公開的中文版本，不便于應(yīng)用在中文語音研究場景。 

WenetSpeech [4] 是由西工大音頻、語音和語言處理研究組 (ASLP@NPU)、出門問問、希爾貝殼聯(lián)合發(fā)布的 1 萬多小時多領(lǐng)域語音數(shù)據(jù)集。為了彌補中文語音預(yù)訓練模型的空缺，我們開源了基于 WenetSpeech 1 萬小時數(shù)據(jù)訓練的中文版 Wav2vec 2.0 和 HuBERT 模型。

為了驗證預(yù)訓練模型的性能，我們在 ASR 任務(wù)進行了驗證。實驗結(jié)果表明，在 100 小時有監(jiān)督數(shù)據(jù) ASR 任務(wù)上，預(yù)訓練模型學到的語音表征相對于傳統(tǒng)聲學 FBank 特征有顯著的性能提升，甚至僅用 100 小時有監(jiān)督數(shù)據(jù)能夠得到和 1000 小時有監(jiān)督數(shù)據(jù)可比的結(jié)果。

模型鏈接：https://github.com/TencentGameMate/chinese_speech_pretrain

模型介紹

Wav2vec 2.0 模型

圖 1: Wav2vec 2.0 模型結(jié)構(gòu) (Baevski et al., 2020)

Wav2vec 2.0 [1] 是 Meta 在 2020 年發(fā)表的無監(jiān)督語音預(yù)訓練模型。它的核心思想是通過向量量化（Vector Quantization，VQ）構(gòu)造自建監(jiān)督訓練目標，對輸入做大量掩碼后利用對比學習損失函數(shù)進行訓練。模型結(jié)構(gòu)如上圖 1，基于卷積網(wǎng)絡(luò)（Convoluational Neural Network，CNN）的特征提取器將原始音頻編碼為幀特征序列，通過 VQ 模塊把每幀特征轉(zhuǎn)變?yōu)殡x散特征 Q，并作為自監(jiān)督目標。同時，幀特征序列做掩碼操作后進入 Transformer [5] 模型得到上下文表示 C。最后通過對比學習損失函數(shù)，拉近掩碼位置的上下文表示與對應(yīng)的離散特征 q 的距離，即正樣本對。原論文中，Wav2vec 2.0 BASE 模型采用 12 層的 Transformer 結(jié)構(gòu)，用 1000 小時的 LibriSpeech 數(shù)據(jù)進行訓練，LARGE 模型則采用 24 層 Transformer 結(jié)構(gòu)，用 6 萬小時的 Libri-light 數(shù)據(jù)訓練。訓練時間方面，BASE 模型使用 64 塊 V100 顯卡訓練 1.6 天，LARGE 使用 128 塊 V100 顯卡訓練 5 天。在下游 ASR 評測中，即使只用 10 分鐘的有監(jiān)督數(shù)據(jù)，系統(tǒng)仍可得到 4.8 的詞錯誤率（Word Error Rate, WER）結(jié)果。

HuBERT 模型

圖 2: HuBERT 模型結(jié)構(gòu) (Hsu et al., 2021)

HuBERT [2] 是 Meta 在 2021 年發(fā)表的模型，模型結(jié)構(gòu)類似 Wav2vec 2.0，不同的是訓練方法。Wav2vec 2.0 是在訓練時將語音特征離散化作為自監(jiān)督目標，而 HuBERT 則通過在 MFCC 特征或 HuBERT 特征上做 K-means 聚類，得到訓練目標。HuBERT 模型采用迭代訓練的方式，BASE 模型第一次迭代在 MFCC 特征上做聚類，第二次迭代在第一次迭代得到的 HuBERT 模型的中間層特征上做聚類，LARGE 和 XLARGE 模型則用 BASE 模型的第二次迭代模型提取特征做聚類。從原始論文實驗結(jié)果來看，HuBERT 模型效果要優(yōu)于 Wav2vec 2.0，特別是下游任務(wù)有監(jiān)督訓練數(shù)據(jù)極少的情況，如 1 小時、10 分鐘。

中文預(yù)訓練模型

實驗配置我們使用 WenetSpeech [4] train_l 集的 1 萬小時中文數(shù)據(jù)作為無監(jiān)督預(yù)訓練數(shù)據(jù)。數(shù)據(jù)主要來源于 YouTube 和 Podcast，覆蓋了各種類型錄制場景、背景噪聲、說話方式等，其領(lǐng)域主要包括有聲書、解說、紀錄片、電視劇、訪談、新聞、朗讀、演講、綜藝和其他等 10 大場景。我們基于 Fairseq 工具包 [6] 分別訓練了 Wav2vec 2.0 和 HuBERT 模型，遵循 [1，2] 的模型配置，每個預(yù)訓練模型模型包括 BASE 和 LARGE 兩種大小。對于 BASE 模型，我們使用 8 張 A100 顯卡，梯度累計為 8，模擬 64 張顯卡進行訓練。對于 LARGE 模型，我們使用 16 張 A100 顯卡，梯度累計為 8，模擬 128 張顯卡進行訓練。

下游語音識別任務(wù)驗證為了驗證預(yù)訓練模型在下游 ASR 任務(wù)的效果，我們遵循 ESPnet [7,8,9] 工具包中的 Conformer [10] 模型實驗配置，即將預(yù)訓練模型作為特征提取器，對于輸入語音提取預(yù)訓練模型各隱層表征進行加權(quán)求和，得到的語音表征將替換傳統(tǒng) FBank 特征作為 Conformer ASR 模型的輸入。

• Aishell 數(shù)據(jù)集

我們使用 Aishell 178 小時訓練集作為有監(jiān)督數(shù)據(jù)進行訓練，分別對比了使用 FBank 特征、Wav2vec 2.0 BASE/LARGE 模型特征和 HuBERT BASE/LARGE 模型特征的字錯誤率 (Character Error Rate, CER) 結(jié)果。同時，我們額外對比了使用 WenetSpeech train_l 集 1 萬小時中文數(shù)據(jù)進行訓練時，其在 Aishell 測試集上的效果。訓練數(shù)據(jù)使用了變速（0.9、1.0、1.1 倍）和 SpecAugment 數(shù)據(jù)增廣技術(shù)，解碼方式為 beam search，使用了基于 Transformer 的語言模型進行 rescoring。

表 1：不同模型在 Aishell 測試集上的字錯誤率（CER%）結(jié)果

根據(jù)表 1 結(jié)果可以看到，通過結(jié)合上萬小時無監(jiān)督數(shù)據(jù)訓練的預(yù)訓練模型，下游 ASR 任務(wù)效果均有顯著提升。尤其是使用 HuBERT LARGE 模型時，在 Test 集上得到約 30% 的 CER 相對提升，實現(xiàn)了目前在 178h 有監(jiān)督訓練數(shù)據(jù)下業(yè)界最好結(jié)果。

• WenetSpeech 數(shù)據(jù)集

我們使用 WenetSpeech train_s 集 100 小時中文數(shù)據(jù)作為有監(jiān)督數(shù)據(jù)進行訓練，分別對比了使用 FBank 特征、Wav2vec 2.0 BASE/LARGE 模型特征和 HuBERT BASE/LARGE 模型特征的字錯誤率 (Character Error Rate, CER) 結(jié)果。同時，我們額外對比了使用 WenetSpeech train_m 集 1000 小時和 train_l 集 1 萬小時中文數(shù)據(jù) FBank 特征訓練的模型結(jié)果。訓練數(shù)據(jù)沒有使用變速或 SpecAugment 數(shù)據(jù)增廣技術(shù)，解碼方式為 beam search，沒有使用語言模型 rescoring。

表 2：不同模型在 WenetSpeech 測試集上的字錯誤率（CER%）結(jié)果

根據(jù)表 2 結(jié)果可以看到，通過結(jié)合上萬小時無監(jiān)督數(shù)據(jù)訓練的預(yù)訓練模型，下游 ASR 結(jié)果得到了巨大提升。尤其當使用 HuBERT LARGE 作為語音表征提取器時，使用 100 小時有監(jiān)督數(shù)據(jù)訓練的 ASR 模型要比 1000 小時基于 FBank 特征訓練的模型效果要好，甚至接近 1 萬小時數(shù)據(jù)訓練的模型。

更多語音下游任務(wù)實驗結(jié)果請關(guān)注 GitHub 鏈接（https://github.com/TencentGameMate/chinese_speech_pretrain）。歡迎大家使用我們提供的中文語音預(yù)訓練模型開展研究工作，一起探索語音預(yù)訓練模型在中文和相關(guān)眾多場景下的應(yīng)用。