近日，蘋果 Siri 團(tuán)隊(duì)在蘋果機(jī)器學(xué)習(xí)期刊上連發(fā)三文《Improving Neural Network Acoustic Models by Cross-bandwidth and Cross-lingual Initialization》、《Inverse Text Normalization as a Labeling Problem》、《Deep Learning for Siri』s Voice: On-device Deep Mixture Density Networks for Hybrid Unit Selection Synthesis》，詳實(shí)展現(xiàn)了蘋果在語音助手 Siri 上的***進(jìn)展與成果。其中***篇文章討論了一項(xiàng)利用聲學(xué)模型數(shù)據(jù)的遷移學(xué)習(xí)技術(shù)，它可以顯著提升新語言版本 Siri 的精確度。機(jī)器之心隨后將奉獻(xiàn)上第二篇、第三篇博文，敬請讀者期待。

用戶希望 Siri 的語音識別功能保持穩(wěn)定，不受語言、設(shè)備、聲音環(huán)境或者通信信道帶寬的影響。正如其他監(jiān)督式機(jī)器學(xué)習(xí)任務(wù)一樣，高精度的獲取通常需要大量的標(biāo)注數(shù)據(jù)。無論何時(shí)在 Siri 中部署新的語言，或者擴(kuò)展 Siri 以支持不同的音頻信道帶寬，我們都面臨著是否有足夠數(shù)據(jù)來訓(xùn)練聲學(xué)模型的挑戰(zhàn)。本文中，我們討論了使用聲學(xué)模型數(shù)據(jù)的遷移學(xué)習(xí)技術(shù)，該技術(shù)已經(jīng)投入使用。我們展示了，表征不僅可跨語言遷移，還可以跨音頻信道帶寬遷移。作為一個(gè)研究案例，我們專注于以新的 Siri 語言識別超過 8 kHz 藍(lán)牙耳機(jī)的窄帶音頻。我們的技術(shù)有助于顯著提升新語言版本 Siri 的精確度。

任何數(shù)量的域數(shù)據(jù)

即使你只有與訓(xùn)練域相關(guān)的有限數(shù)據(jù)，它也很有價(jià)值。絕大多數(shù) Siri 的使用發(fā)生在寬帶音頻信道，只有很少一部分發(fā)生在窄帶信道（比如，8KHz 藍(lán)牙耳機(jī)）。然而，從絕對意義上講，蘋果的大量客戶在窄帶信道上使用 Siri。在新語言版本的 Siri 發(fā)布之前，我們可以搜集的窄帶藍(lán)牙音頻的數(shù)量是有限的。盡管如此，我們的目標(biāo)仍是在***天就為客戶提供***的體驗(yàn)。

2014 年年中，Siri 啟動了一個(gè)使用深度神經(jīng)網(wǎng)絡(luò)（DNN）的新語音識別引擎。該引擎首先引入到美式英語的 Siri 中，截至 2015 年年中，我們已經(jīng)把該引擎擴(kuò)展到 13 種語言。為了實(shí)現(xiàn)成功擴(kuò)展，我們必須使用發(fā)布前可收集的有限數(shù)量的轉(zhuǎn)錄數(shù)據(jù)來解決建立高質(zhì)量聲學(xué)模型的問題。對于寬帶音頻情況是這樣，例如通過 iPhone 麥克風(fēng)收集寬帶音頻，而對于通過藍(lán)牙耳機(jī)收集的窄帶音頻更是如此。

一個(gè)可以解決小數(shù)量窄帶藍(lán)牙音頻問題的方法是帶限（band-limit）相對較多、更易收集的寬帶音頻。實(shí)際上，我們發(fā)現(xiàn)在有限數(shù)量的窄帶藍(lán)牙音頻上訓(xùn)練的聲學(xué)模型依然優(yōu)于在更大數(shù)量的帶限寬帶音頻上訓(xùn)練的模型，這表明了聲學(xué)模型訓(xùn)練中域內(nèi)數(shù)據(jù)的價(jià)值（圖 1）。這就要求同時(shí)利用大量的寬帶音頻和有限的窄帶音頻。在這項(xiàng)工作中，我們在遷移學(xué)習(xí)框架中調(diào)查了神經(jīng)網(wǎng)絡(luò)初始化 [1], [2]。

表 1 ：窄帶藍(lán)牙測試中的詞錯(cuò)率（WER）

跨語言初始化

很多研究者認(rèn)為 [3] [4] [5] 神經(jīng)網(wǎng)絡(luò)聲學(xué)模型的隱藏層可以跨語言共享。背后原理在于隱藏層學(xué)習(xí)的特征變換（feature transformation）不太指定具體語言，因此可以在多種語言之間泛化。

圖 2. 跨語言初始化

我們將訓(xùn)練好的現(xiàn)有語言窄帶 DNN 模型的隱藏層遷移到新的目標(biāo)語言，并使用目標(biāo)語言數(shù)據(jù)重新訓(xùn)練該網(wǎng)絡(luò)，如圖 2 所示。

即使我們用不同的源 DNN 進(jìn)行嘗試，使用所有可用的窄帶訓(xùn)練數(shù)據(jù)進(jìn)行跨語言初始化訓(xùn)練的效果通常顯著優(yōu)于基線（詳見 [6])。即使只有 20 個(gè)小時(shí)的窄帶數(shù)據(jù)，對大多數(shù)語言來說，使用英語窄帶模型開始跨語言訓(xùn)練優(yōu)于使用更多窄帶數(shù)據(jù)的基線。而當(dāng)我們思考源語言和目標(biāo)語言之間的語言關(guān)系時(shí)，我們無法得出結(jié)論。

跨帶寬初始化

圖 3. 跨帶寬初始化

在最初的實(shí)驗(yàn)中，我們發(fā)現(xiàn)使用較少真實(shí)窄帶藍(lán)牙音頻數(shù)據(jù)訓(xùn)練的模型優(yōu)于使用較多帶限寬帶數(shù)據(jù)訓(xùn)練的模型。但是，在一種語言中使用帶限數(shù)據(jù)訓(xùn)練的模型作為初始化的起點(diǎn)仍然是有用的。我們在真實(shí)窄帶藍(lán)牙音頻數(shù)據(jù)上重新訓(xùn)練帶限模型。用這種方式，我們能夠使用一種語言的寬帶和窄帶數(shù)據(jù)來訓(xùn)練窄帶模型（見圖 3）。

跨語言和跨帶寬遷移的結(jié)合

看到前兩個(gè)遷移學(xué)習(xí)技術(shù)的成功之后，我們認(rèn)為我們可以結(jié)合這兩種技術(shù)，實(shí)現(xiàn)更進(jìn)一步的發(fā)展。具體來說，我們在一個(gè)新的語言的帶限寬帶數(shù)據(jù)上訓(xùn)練 DNN 時(shí)，不需要使用隨機(jī)權(quán)重開始，但是可以初始化在已支持的語言的帶限數(shù)據(jù)上訓(xùn)練的 DNN 模型中的隱藏層。

圖 4. 跨語言和跨帶寬初始化的結(jié)合

圖 5. 跨語言和跨帶寬初始化的詞錯(cuò)率對比

結(jié)論

我們利用從其他語音識別任務(wù)中獲取的知識來改善窄帶藍(lán)牙應(yīng)用的 DNN 聲學(xué)模型。這類知識通常從 DNN 聲學(xué)模型初始化中獲取，具體來說，就是使用在帶限寬帶數(shù)據(jù)上預(yù)訓(xùn)練的 DNN 的權(quán)重，或者將其用于另一種語言。

對于我們實(shí)驗(yàn)中使用的全部語言，這些技術(shù)產(chǎn)生的詞錯(cuò)率比只在目標(biāo)語言的藍(lán)牙窄帶數(shù)據(jù)中單獨(dú)訓(xùn)練的模型低 45%。我們的方法還可以靈活地在訓(xùn)練時(shí)間和從可用的多樣化數(shù)據(jù)中學(xué)習(xí)之間進(jìn)行權(quán)衡，詳情見論文 [6]。

除本文論述的藍(lán)牙窄帶模型案例研究外，這些方法在很多神經(jīng)網(wǎng)絡(luò)聲學(xué)模型場景中都顯示出其高效性，并且?guī)椭覀冊?nbsp;Siri 使用新語言和新音頻信道時(shí)構(gòu)建***模型。