統(tǒng)計(jì)語言模型

統(tǒng)計(jì)語言模型(Statistical Language Model)即是用來描述詞、語句乃至于整個(gè)文檔這些不同的語法單元的概率分布的模型，能夠用于衡量某句話或者詞序列是否符合所處語言環(huán)境下人們?nèi)粘５男形恼f話方式。統(tǒng)計(jì)語言模型對(duì)于復(fù)雜的大規(guī)模自然語言處理應(yīng)用有著非常重要的價(jià)值，它能夠有助于提取出自然語言中的內(nèi)在規(guī)律從而提高語音識(shí)別、機(jī)器翻譯、文檔分類、光學(xué)字符識(shí)別等自然語言應(yīng)用的表現(xiàn)。好的統(tǒng)計(jì)語言模型需要依賴大量的訓(xùn)練數(shù)據(jù)，在上世紀(jì)七八十年代，基本上模型的表現(xiàn)優(yōu)劣往往會(huì)取決于該領(lǐng)域數(shù)據(jù)的豐富程度。IBM 曾進(jìn)行過一次信息檢索評(píng)測(cè)，發(fā)現(xiàn)二元語法模型(Bi-gram)需要數(shù)以億計(jì)的詞匯才能達(dá)到***表現(xiàn)，而三元語法模型(TriGram)則需要數(shù)十億級(jí)別的詞匯才能達(dá)成飽和。本世紀(jì)初，***的統(tǒng)計(jì)語言模型當(dāng)屬 N-gram，其屬于典型的基于稀疏表示(Sparse Representation)的語言模型;近年來隨著深度學(xué)習(xí)的爆發(fā)與崛起，以詞向量(WordEmbedding)為代表的分布式表示(Distributed Representation)的語言模型取得了更好的效果，并且深刻地影響了自然語言處理領(lǐng)域的其他模型與應(yīng)用的變革。除此之外，Ronald Rosenfeld[7] 還提到了基于決策樹的語言模型(Decision Tree Models)、***熵模型以及自適應(yīng)語言模型(Adaptive Models)等。

[[192880]]

統(tǒng)計(jì)語言模型可以用來表述詞匯序列的統(tǒng)計(jì)特性，譬如學(xué)習(xí)序列中單詞的聯(lián)合分布概率函數(shù)。如果我們用w1w1 到 wtwt 依次表示這句話中的各個(gè)詞，那么該句式的出現(xiàn)概率可以簡(jiǎn)單表示為：

• P(w1,...,wt)=∏i=1tP(wi|w1,...,wi−1)=∏i=1tP(wi|Context)P(w1,w2,…,wt)=P(w1)×P(w2|w1)×P(w3|w1,w2)×…×P(wt|w1,w2,…,wt−1)(1)(1)P(w1,...,wt)=∏i=1tP(wi|w1,...,wi−1)=∏i=1tP(wi|Context)P(w1,w2,…,wt)=P(w1)×P(w2|w1)×P(w3|w1,w2)×…×P(wt|w1,w2,…,wt−1)

統(tǒng)計(jì)語言模型訓(xùn)練目標(biāo)也可以是采用極大似然估計(jì)來求取***化的對(duì)數(shù)似然，公式為1T∑Tt=1∑−c≤j≤c,j≠0logp(wt+j|wt)1T∑t=1T∑−c≤j≤c,j≠0logp(wt+j|wt)。其中cc是訓(xùn)練上下文的大小。譬如cc取值為 5 的情況下，一次就拿 5 個(gè)連續(xù)的詞語進(jìn)行訓(xùn)練。一般來說cc越大，效果越好，但是花費(fèi)的時(shí)間也會(huì)越多。p(wt+j|wt)p(wt+j|wt)表示wtwt條件下出現(xiàn)wt+jwt+j的概率。常見的對(duì)于某個(gè)語言模型度量的標(biāo)準(zhǔn)即是其困惑度(Perplexity)，需要注意的是這里的困惑度與信息論中的困惑度并不是相同的含義。這里的困惑度定義公式參考Stolcke[11]，為exp(−logP(wt)/|w⃗ |)exp(−logP(wt)/|w→|)，即是1/P(wt|wt−11)1/P(wt|w1t−1)的幾何平均數(shù)。最小化困惑度的值即是***化每個(gè)單詞的概率，不過困惑度的值嚴(yán)重依賴于詞表以及具體使用的單詞，因此其常常被用作評(píng)判其他因素相同的兩個(gè)系統(tǒng)而不是通用的絕對(duì)性的度量參考。

N-gram 語言模型

參照上文的描述，在統(tǒng)計(jì)學(xué)語言模型中我們致力于計(jì)算某個(gè)詞序列E=wT1E=w1T的出現(xiàn)概率，可以形式化表示為：

• P(E)=P(|E|=T,wT1)(2)(2)P(E)=P(|E|=T,w1T)

上式中我們求取概率的目標(biāo)詞序列EE的長(zhǎng)度為TT，序列中***個(gè)詞為w1w1，第二個(gè)詞為w2w2，等等，直到***一個(gè)詞為wTwT。上式非常直觀易懂，不過在真實(shí)環(huán)境下卻是不可行的，因?yàn)樾蛄械拈L(zhǎng)度TT是未知的，并且詞表中詞的組合方式也是非常龐大的數(shù)目，無法直接求得。為了尋找實(shí)際可行的簡(jiǎn)化模型，我們可以將整個(gè)詞序列的聯(lián)合概率復(fù)寫為單個(gè)詞或者單個(gè)詞對(duì)的概率連乘。即上述公式可以復(fù)寫為P(w1,w2,w3)=P(w1)P(w2|w1)P(w3|w1,w2)P(w1,w2,w3)=P(w1)P(w2|w1)P(w3|w1,w2)，推導(dǎo)到通用詞序列，我們可以得到如下形式化表示：

• P(E)=∏t=1T+1P(wt|wt−11)(3)(3)P(E)=∏t=1T+1P(wt|w1t−1)

此時(shí)我們已經(jīng)將整個(gè)詞序列的聯(lián)合概率分解為近似地求 P(wt|w1,w2,…,wt−1)P(wt|w1,w2,…,wt−1)。而這里要討論的 N-gram 模型就是用 P(wt|wt−n+1,…,wt−1)P(wt|wt−n+1,…,wt−1) 近似表示前者。根據(jù)NN的取值不同我們又可以分為一元語言模型(Uni-gram)、二元語言模型(Bi-gram)、三元語言模型(Tri-gram)等等類推。該模型在中文中被稱為漢語語言模型(CLM, Chinese Language Model)，即在需要把代表字母或筆畫的數(shù)字，或連續(xù)無空格的拼音、筆畫，轉(zhuǎn)換成漢字串(即句子)時(shí)，利用上下文中相鄰詞間的搭配信息，計(jì)算出***概率的句子;而不需要用戶手動(dòng)選擇，避開了許多漢字對(duì)應(yīng)一個(gè)相同的拼音(或筆畫串、數(shù)字串)的重碼問題。

一元語言模型又稱為上下文無關(guān)語言模型，是一種簡(jiǎn)單易實(shí)現(xiàn)但實(shí)際應(yīng)用價(jià)值有限的統(tǒng)計(jì)語言模型。該模型不考慮該詞所對(duì)應(yīng)的上下文環(huán)境，僅考慮當(dāng)前詞本身的概率，即是 N-gram 模型中當(dāng)N=1N=1的特殊情形。

• p(wt|Context)=p(wt)=NwtN(4)(4)p(wt|Context)=p(wt)=NwtN

N-gram 語言模型也存在一些問題，這種模型無法建模出詞之間的相似度，有時(shí)候兩個(gè)具有某種相似性的詞，如果一個(gè)詞經(jīng)常出現(xiàn)在某段詞之后，那么也許另一個(gè)詞出現(xiàn)在這段詞后面的概率也比較大。比如“白色的汽車”經(jīng)常出現(xiàn)，那完全可以認(rèn)為“白色的轎車”也可能經(jīng)常出現(xiàn)。N-gram 語言模型無法建模更遠(yuǎn)的關(guān)系，語料的不足使得無法訓(xùn)練更高階的語言模型。大部分研究或工作都是使用 Tri-gram，就算使用高階的模型，其統(tǒng)計(jì) 到的概率可信度就大打折扣，還有一些比較小的問題采用 Bi-gram。訓(xùn)練語料里面有些 n 元組沒有出現(xiàn)過，其對(duì)應(yīng)的條件概率就是 0,導(dǎo)致計(jì)算一整句話的概率為 0。最簡(jiǎn)單的計(jì)算詞出現(xiàn)概率的方法就是在準(zhǔn)備好的訓(xùn)練集中計(jì)算固定長(zhǎng)度的詞序列的出現(xiàn)次數(shù)，然后除以其所在上下文的次數(shù);譬如以 Bi-gram 為例，我們有下面三條訓(xùn)練數(shù)據(jù)：

• i am from jiangsu.
• i study at nanjing university.
• my mother is from yancheng.

我們可以推導(dǎo)出詞 am, study 分別相對(duì)于 i 的后驗(yàn)概率：

• p(w2=am|w1=i)=w1=i,w2=amc(w1=1)=12=0.5p(w2=study|w1=i)=w1=i,w2=studyc(w1=1)=12=0.5(5)
• (5)p(w2=am|w1=i)=w1=i,w2=amc(w1=1)=12=0.5p(w2=study|w1=i)=w1=i,w2=studyc(w1=1)=12=0.5

上述的計(jì)算過程可以推導(dǎo)為如下的泛化公式：

• PML(wt|wt−11)=cprefix(wt1)cprefix(wt−11)(6)(6)PML(wt|w1t−1)=cprefix(w1t)cprefix(w1t−1)

這里cprefix(⋅)cprefix(⋅)表示指定字符串在訓(xùn)練集中出現(xiàn)的次數(shù)，這種方法也就是所謂的***似然估計(jì)(Maximum Likelihood Estimation);該方法十分簡(jiǎn)單易用，同時(shí)還能保證較好地利用訓(xùn)練集中的統(tǒng)計(jì)特性。根據(jù)這個(gè)方法我們同樣可以得出 Tri-gram 模型似然計(jì)算公式如下：

• P(wt|wt−2,wt−1)=count(wt−2wt−1wt)count(wt−2wt−1)(7)(7)P(wt|wt−2,wt−1)=count(wt−2wt−1wt)count(wt−2wt−1)

我們將 N-gram 模型中的參數(shù)記作θθ，其包含了給定前n−1n−1個(gè)詞時(shí)第nn個(gè)詞出現(xiàn)的概率，形式化表示為：

• θwtt−n+1=PML(wt|wt−1t−n+1)=c(wtt−n+1)c(wt−1t−n+1)(8)(8)θwt−n+1t=PML(wt|wt−n+1t−1)=c(wt−n+1t)c(wt−n+1t−1)

樸素的 N-gram 模型中對(duì)于訓(xùn)練集中尚未出現(xiàn)過的詞序列會(huì)默認(rèn)其概率為零 ，因?yàn)槲覀兊哪Ｐ褪嵌鄠€(gè)詞概率的連乘，最終會(huì)導(dǎo)致整個(gè)句式的概率為零。我們可以通過所謂的平滑技巧來解決這個(gè)問題，即組合對(duì)于不同的NN取值來計(jì)算平均概率。譬如我們可以組合 Uni-gram 模型與 Bi-gram 模型：

• P(wt|wt−1)=(1−α)PML(wt|wt−1)+αPML(wt)(9)(9)P(wt|wt−1)=(1−α)PML(wt|wt−1)+αPML(wt)

其中αα表示分配給 Uni-gram 求得的概率的比重，如果我們?cè)O(shè)置了α>0α>0，那么詞表中的任何詞都會(huì)被賦予一定的概率。這種方法即是所謂的插入平滑(Interpolation)，被應(yīng)用在了很多低頻稀疏的模型中以保證其魯棒性。當(dāng)然，我們也可以引入更多的NN的不同的取值，整個(gè)組合概率遞歸定義如下：

• P(wt|wt−1t−m+1)=(1−αm)PML(wt|wt−1t−m+1)+αmP(wt|wt−1t−m+2)(10)(10)P(wt|wt−m+1t−1)=(1−αm)PML(wt|wt−m+1t−1)+αmP(wt|wt−m+2t−1)

[Stanley et al., 1996] 中還介紹了很多其他復(fù)雜但精致的平滑方法，譬如基于上下文的平滑因子計(jì)算(Context-dependent Smoothing Coefficients)，其并沒有設(shè)置固定的αα值，而是動(dòng)態(tài)地設(shè)置為αwt−1t−m+1αwt−m+1t−1。這就保證了模型能夠在有較多的訓(xùn)練樣例時(shí)將更多的比重分配給高階的 N-gram 模型，而在訓(xùn)練樣例較少時(shí)將更多的比重分配給低階的 N-gram 模型。目前公認(rèn)的使用最為廣泛也最有效的平滑方式也是 [Stanley et al., 1996] 中提出的 Modified Kneser-Ney smoothing( MKN ) 模型，其綜合使用了上下文平滑因子計(jì)算、打折以及低階分布修正等手段來保證較準(zhǔn)確地概率估計(jì)。

神經(jīng)網(wǎng)絡(luò)語言模型

顧名思義，神經(jīng)網(wǎng)絡(luò)語言模型(Neural Network Language Model)即是基于神經(jīng)網(wǎng)絡(luò)的語言模型，其能夠利用神經(jīng)網(wǎng)絡(luò)在非線性擬合方面的能力推導(dǎo)出詞匯或者文本的分布式表示。在神經(jīng)網(wǎng)絡(luò)語言模型中某個(gè)單詞的分布式表示會(huì)被看做激活神經(jīng)元的向量空間，其區(qū)別于所謂的局部表示，即每次僅有一個(gè)神經(jīng)元被激活。標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)語言模型架構(gòu)如下圖所示：

神經(jīng)網(wǎng)絡(luò)語言模型中***的當(dāng)屬 Bengio[10] 中提出的概率前饋神經(jīng)網(wǎng)絡(luò)語言模型(Probabilistic Feedforward Neural Network Language Model)，它包含了輸入(Input)、投影(Projection)、隱藏(Hidden)以及輸出(Output)這四層。在輸入層中，會(huì)從VV個(gè)單詞中挑選出NN個(gè)單詞以下標(biāo)進(jìn)行編碼，其中VV是整個(gè)詞表的大小。然后輸入層會(huì)通過N×DN×D這個(gè)共享的投影矩陣投射到投影層PP;由于同一時(shí)刻僅有NN個(gè)輸入值處于激活狀態(tài)，因此這個(gè)計(jì)算壓力還不是很大。NNLM 模型真正的計(jì)算壓力在于投影層與隱層之間的轉(zhuǎn)換，譬如我們選定N=10N=10，那么投影層PP的維度在 500 到 2000 之間，而隱層HH的維度在于500500到10001000之間。同時(shí)，隱層HH還負(fù)責(zé)計(jì)算詞表中所有單詞的概率分布，因此輸出層的維度也是VV。綜上所述，整個(gè)模型的訓(xùn)練復(fù)雜度為：

• Q=N×D+N×D×H+H×VQ=N×D+N×D×H+H×V

其訓(xùn)練集為某個(gè)巨大但固定的詞匯集合VV 中的單詞序列w1...wtw1...wt;其目標(biāo)函數(shù)為學(xué)習(xí)到一個(gè)好的模型f(wt,wt−1,…,wt−n+2,wt−n+1)=p(wt|wt−11)f(wt,wt−1,…,wt−n+2,wt−n+1)=p(wt|w1t−1)，約束為f(wt,wt−1,…,wt−n+2,wt−n+1)>0f(wt,wt−1,…,wt−n+2,wt−n+1)>0并且Σ|V|i=1f(i,wt−1,…,wt−n+2,wt−n+1)=1Σi=1|V|f(i,wt−1,…,wt−n+2,wt−n+1)=1。每個(gè)輸入詞都被映射為一個(gè)向量，該映射用CC表示，所以C(wt−1)C(wt−1)即為wt−1wt−1的詞向量。定義gg為一個(gè)前饋或者遞歸神經(jīng)網(wǎng)絡(luò)，其輸出是一個(gè)向量，向量中的第ii個(gè)元素表示概率p(wt=i|wt−11)p(wt=i|w1t−1)。訓(xùn)練的目標(biāo)依然是***似然加正則項(xiàng)，即：

• MaxLikelihood=max1T∑tlogf(wt,wt−1,…,wt−n+2,wt−n+1;θ)+R(θ)MaxLikelihood=max1T∑tlogf(wt,wt−1,…,wt−n+2,wt−n+1;θ)+R(θ)

其中θθ為參數(shù)，R(θ)R(θ)為正則項(xiàng)，輸出層采用sofamax函數(shù)：

• p(wt|wt−1,…,wt−n+2,wt−n+1)=eywt∑ieyip(wt|wt−1,…,wt−n+2,wt−n+1)=eywt∑ieyi

其中yiyi是每個(gè)輸出詞ii的未歸一化loglog概率，計(jì)算公式為y=b+Wx+Utanh(d+Hx)y=b+Wx+Utanh(d+Hx)。其中b,W,U,d,Hb,W,U,d,H都是參數(shù)，xx為輸入，需要注意的是，一般的神經(jīng)網(wǎng)絡(luò)輸入是不需要優(yōu)化，而在這里，x=(C(wt−1),C(wt−2),…,C(wt−n+1))x=(C(wt−1),C(wt−2),…,C(wt−n+1))，也是需要優(yōu)化的參數(shù)。在圖中，如果下層原始輸入xx不直接連到輸出的話，可以令b=0b=0，W=0W=0。如果采用隨機(jī)梯度算法的話，梯度的更新規(guī)則為：

• θ+ϵ∂logp(wt|wt−1,…,wt−n+2,wt−n+1)∂θ→θθ+ϵ∂logp(wt|wt−1,…,wt−n+2,wt−n+1)∂θ→θ

其中ϵϵ為學(xué)習(xí)速率，需要注意的是，一般神經(jīng)網(wǎng)絡(luò)的輸入層只是一個(gè)輸入值，而在這里，輸入層xx也是參數(shù)(存在CC中)，也是需要優(yōu)化的。優(yōu)化結(jié)束之后，詞向量有了，語言模型也有了。這個(gè) Softmax 模型使得概率取值為(0,1)，因此不會(huì)出現(xiàn)概率為0的情況，也就是自帶平滑，無需傳統(tǒng) N-gram 模型中那些復(fù)雜的平滑算法。Bengio 在 APNews 數(shù)據(jù)集上做的對(duì)比實(shí)驗(yàn)也表明他的模型效果比精心設(shè)計(jì)平滑算法的普通 N-gram 算法要好10%到20%。

循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型

好的語言模型應(yīng)當(dāng)至少捕獲自然語言的兩個(gè)特征：語法特性與語義特性。為了保證語法的正確性，我們往往只需要考慮生成詞的前置上下文;這也就意味著語法特性往往是屬于局部特性。而語義的一致性則復(fù)雜了許多，我們需要考慮大量的乃至于整個(gè)文檔語料集的上下文信息來獲取正確的全局語義。神經(jīng)網(wǎng)絡(luò)語言模型相較于經(jīng)典的 N-gram 模型具有更強(qiáng)大的表現(xiàn)力與更好的泛化能力，不過傳統(tǒng)的 N-gram 語言模型與 [Bengio et al., 2003] 中提出的神經(jīng)網(wǎng)絡(luò)語言模型都不能有效地捕獲全局語義信息。為了解決這個(gè)問題，[Mikolov et al., 2010; 2011] 中提出的基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的語言模型使用了隱狀態(tài)來記錄詞序的歷史信息，其能夠捕獲語言中的長(zhǎng)程依賴。在自然語言中，往往在句式中相隔較遠(yuǎn)的兩個(gè)詞卻具備一定的語法與語義關(guān)聯(lián)，譬如He doesn't have very much confidence in himself 與 She doesn't have very much confidence in herself 這兩句話中的<He, himself>與<She, herself>這兩個(gè)詞對(duì)，盡管句子中間的詞可能會(huì)發(fā)生變化，但是這兩種詞對(duì)中兩個(gè)詞之間的關(guān)聯(lián)卻是固定的。這種依賴也不僅僅出現(xiàn)在英語中，在漢語、俄羅斯語中也都存在有大量此類型的詞對(duì)組合。而另一種長(zhǎng)期依賴(Long-term Dependencies)的典型就是所謂的選擇限制(Selectional Preferences);簡(jiǎn)而言之，選擇限制主要基于已知的某人會(huì)去做某事這樣的信息。譬如我要用叉子吃沙拉與我要和我的朋友一起吃沙拉這兩句話中，叉子指代的是某種工具，而我的朋友則是伴侶的意思。如果有人說我要用雙肩背包來吃沙拉就覺得很奇怪了，雙肩背包并不是工具也不是伴侶;如果我們破壞了這種選擇限制就會(huì)生成大量的無意義句子。***，某個(gè)句式或者文檔往往都會(huì)歸屬于某個(gè)主題下，如果我們?cè)谀硞€(gè)技術(shù)主題的文檔中突然發(fā)現(xiàn)了某個(gè)關(guān)于體育的句子，肯定會(huì)覺得很奇怪，這也就是所謂的破壞了主題一致性。

[Eriguchi et al., 2016] 中介紹的循環(huán)神經(jīng)網(wǎng)絡(luò)在機(jī)器翻譯上的應(yīng)用就很值得借鑒，它能夠有效地處理這種所謂長(zhǎng)期依賴的問題。它的思想精髓在于計(jì)算新的隱狀態(tài)h⃗ h→時(shí)引入某個(gè)之前的隱狀態(tài)ht−1→ht−1→，形式化表述如下：

• h⃗ t={tanh(Wxhx⃗ t+Whhh⃗ t−1+b⃗ h),0,t ≥1,otherwises(11)(11)h→t={tanh(Wxhx→t+Whhh→t−1+b→h),t ≥1,0,otherwises

我們可以看出，在t≥1t≥1時(shí)其與標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)中隱層計(jì)算公式的區(qū)別在于多了一個(gè)連接Whhh⃗ t−1Whhh→t−1，該連接源于前一個(gè)時(shí)間點(diǎn)的隱狀態(tài)。在對(duì)于 RNN 有了基本的了解之后，我們就可以將其直接引入語言模型的構(gòu)建中，即對(duì)于上文討論的神經(jīng)網(wǎng)絡(luò)語言模型添加新的循環(huán)連接：

• m⃗ t=M⋅,wt−1h⃗ t={tanh(Wxhx⃗ t+Whhh⃗ t−1+b⃗ h),0,t ≥1,otherwisesp⃗ t=softmax(Whsh⃗ t+bs)(12)(12)m→t=M⋅,wt−1h→t={tanh(Wxhx→t+Whhh→t−1+b→h),t ≥1,0,otherwisesp→t=softmax(Whsh→t+bs)

注意，與上文介紹的前饋神經(jīng)網(wǎng)絡(luò)語言模型相對(duì)，循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型中只是將前一個(gè)詞而不是前兩個(gè)詞作為輸入;這是因?yàn)槲覀兗僭O(shè)wt−2wt−2的信息已經(jīng)包含在了隱狀態(tài)ht−1→ht−1→中，因此不需要重復(fù)代入。

【本文是51CTO專欄作者“張梓雄 ”的原創(chuàng)文章，如需轉(zhuǎn)載請(qǐng)通過51CTO與作者聯(lián)系】

戳這里，看該作者更多好文