本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

要說自然語言處理領(lǐng)域當(dāng)今最fashion的“神兵”，恐怕非預(yù)訓(xùn)練語言模型莫屬。

2018年BERT橫空出世，那真可謂是打開了NLP新世界的大門。

且在這條預(yù)訓(xùn)練+微調(diào)的修行之路上，各路高手那叫一個百花齊放，各領(lǐng)風(fēng)騷。

你看XLNet才把BERT從榜單之巔拉下馬，那廂RoBERTa便進(jìn)一步“榨干”BERT性能，重歸榜首。

還不僅僅是西方選手輪番登臺，文心ERNIE等東方身影也不乏精彩表現(xiàn)。

所以這兩年多以來，都有哪些模型表現(xiàn)可圈可點？

今天，諸位看官便不妨隨我盤點一番~

且看GLUE兵器譜

如果把預(yù)訓(xùn)練語言模型都比喻成兵器，那江湖上自有“百曉生兵器譜”，能給它們排個一二三四五。

GLUE就是自然語言處理領(lǐng)域的權(quán)威排行榜之一。

該榜單由紐約大學(xué)、華盛頓大學(xué)、DeepMind等機構(gòu)聯(lián)合推出，一直以來被視作評估NLP研究進(jìn)展的行業(yè)標(biāo)準(zhǔn)。

因此，這GLUE榜首之爭，那真是相當(dāng)?shù)募ち?。能夠奪魁的“神兵”，自然也各有各的文章。

玄鐵重劍 BERT

就說這BERT，甫一亮相，就以預(yù)訓(xùn)練+微調(diào)的2-Stage模式，直接將GLUE基準(zhǔn)拉高7.7%，端的是驚艷了眾NLP開發(fā)者。

具體而言，BERT是基于Transformer的深度雙向語言表征模型。預(yù)訓(xùn)練模型只需要增加一個輸出層就可以進(jìn)行微調(diào)，從而適應(yīng)更廣泛的新任務(wù)。

這種概念上的簡練，正可謂是重劍無鋒，大巧不工。

鴛鴦劍 XLNet

BERT雖好，但缺點也不是沒有。比如預(yù)訓(xùn)練時的MASK標(biāo)記在微調(diào)時并不會被看到，會產(chǎn)生忽略兩個實體之間關(guān)聯(lián)的情況，產(chǎn)生預(yù)訓(xùn)練-微調(diào)差異。

自回歸模型可以避免這樣的問題。于是，“鴛鴦劍”XLNet就登場了——這是一個雙向特征表示的自回歸模型。

并且，作為一個泛化自回歸語言模型，XLNet不依賴殘缺數(shù)據(jù)。

倚天劍 RoBERTa

不過就在XLNet“霸榜”一個月之后，BERT的強勢繼承人就出現(xiàn)了。

Facebook把BERT改進(jìn)了一番，進(jìn)一步“榨干”了BERT的性能，以RoBERTa之名重回巔峰。那架勢恰是“倚天一出，誰與爭鋒”。

簡單來說，RoBERTa主要做了這樣的修改：更長的訓(xùn)練時間，更大的batch，更多的數(shù)據(jù)……

單從數(shù)據(jù)來看，原始的BERT使用了13GB大小的數(shù)據(jù)集，而RoBERTa使用了包含6300萬條英文新聞的160GB數(shù)據(jù)集。

而在訓(xùn)練時間上，RoBERTa需要使用1024個英偉達(dá)V100訓(xùn)練大約1天的時間。

說到這，諸位看官可能會問，那咱們國內(nèi)的“兵器”們，可曾榜上留名，與這些西方名兵交映生輝??？

答案是肯定的。

屠龍刀 文心ERNIE

百度家大名文心的二妮（ERNIE），就在最近再奪榜首。

“屠龍寶刀”鋒利之極，無堅不摧。而文心ERNIE的鋒利之處，在于能融合大規(guī)模知識持續(xù)學(xué)習(xí)進(jìn)化，久經(jīng)打磨而其刃不卷。

這已經(jīng)不是“國貨之光”ERNIE第一次登頂GLUE。

2019年12月，文心ERNIE就在GLUE首次突破90分大關(guān)，甚至超越人類3個百分點，創(chuàng)下榜單新紀(jì)錄。

此后2020年，文心ERNIE又在語言生成、跨模態(tài)理解、多語言理解等方向取得突破，先后提出了ERNIE-GEN、ERNIE-VIL、ERNIE-M等模型，取得10余項SOTA，登頂各方向權(quán)威評測的榜首。比如在全球規(guī)模最大的語義評測比賽SemEval 2020中，文心ERNIE就一口氣斬獲5項世界冠軍。ERNIE 2.0論文被Paper Digest團(tuán)隊評為國際人工智能頂級學(xué)術(shù)會議AAAI 2020最具影響力的學(xué)術(shù)論文。文心ERNIE還獲得2020年度中國人工智能學(xué)會優(yōu)秀科技成果、2020世界人工智能大會最高榮譽SAIL（Super AI Leader）大獎等。

那么，取得如此多驕人的戰(zhàn)績，文心ERNIE又有何獨家鍛造秘方？

文心ERNIE因何登頂NLP兵器譜？

文心ERNIE基于預(yù)訓(xùn)練-微調(diào)架構(gòu)，開創(chuàng)性地將大數(shù)據(jù)預(yù)訓(xùn)練與多源豐富知識相結(jié)合，通過持續(xù)學(xué)習(xí)技術(shù)，不斷吸收海量文本數(shù)據(jù)中詞匯、結(jié)構(gòu)、語義等方面的新知識，實現(xiàn)模型效果不斷進(jìn)化，如同人類持續(xù)學(xué)習(xí)一樣。

如今登頂GLUE榜首的是ERNIE二代目，它的預(yù)訓(xùn)練過程分為兩個步驟：

• 構(gòu)建無監(jiān)督預(yù)訓(xùn)練任務(wù)學(xué)習(xí)不同維度的知識
• 通過多任務(wù)學(xué)習(xí)實現(xiàn)不同任務(wù)的持續(xù)訓(xùn)練

在這個過程中，不同的任務(wù)會被有序地加入ERNIE，通過持續(xù)多任務(wù)學(xué)習(xí)，使得模型在學(xué)習(xí)新任務(wù)時不會遺忘此前學(xué)到的知識。

而對于不同的特定應(yīng)用任務(wù)，文心ERNIE 2.0會使用具體的任務(wù)數(shù)據(jù)微調(diào)。

說到此次二代目能在激烈競爭中奪魁的核心秘技，則是層次化學(xué)習(xí)。

這是一種新的學(xué)習(xí)范式，其中包含了2個學(xué)習(xí)層次，分別對應(yīng)“內(nèi)功”和“外功”。

內(nèi)功（內(nèi)層學(xué)習(xí)）主要是圍繞詞法、結(jié)構(gòu)、語義3個方面知識構(gòu)建的預(yù)訓(xùn)練任務(wù)。

這也是文心ERNIE首次登頂GLUE時就已采用的核心技術(shù)。

這里也不妨簡單舉例說明一下。

在詞法層面，以知識掩碼任務(wù)為例。

文心ERNIE 1.0模型通過對海量數(shù)據(jù)中的詞、實體等先驗語義知識的掩碼，學(xué)習(xí)完整概念的語義表示。相較于 BERT 學(xué)習(xí)原始語言信號，ERNIE 直接對先驗語義知識單元進(jìn)行建模，增強了模型的語義表示能力。到了文心ERNIE 2.0，則使用其作為一個預(yù)訓(xùn)練任務(wù)。

在結(jié)構(gòu)層面，句子排序任務(wù)就是其中之一。

句子之間的順序反映了它們之間的邏輯順序以及時間順序。文心ERNIE 2.0構(gòu)建了句子排序預(yù)訓(xùn)練任務(wù)：在訓(xùn)練過程中，隨機將一個段落中的N個句子打亂，讓模型在N! 的類別中預(yù)測正確的順序。通過該技術(shù)使模型學(xué)習(xí)了文章結(jié)構(gòu)中所蘊含的豐富知識。

在語義層面，以其中的邏輯關(guān)系預(yù)測任務(wù)為例：

要想對語義信息進(jìn)行更加精細(xì)化的建模，短句之間連詞表達(dá)出的邏輯關(guān)系是關(guān)鍵。因此，文心ERNIE 2.0使用短句間的連詞構(gòu)造無監(jiān)督的關(guān)系分類任務(wù)，學(xué)習(xí)句子之間細(xì)粒度的邏輯語義知識。

如下圖所示：

內(nèi)功之外，再說外功。外功（外層學(xué)習(xí)）是模型結(jié)構(gòu)與規(guī)模的精細(xì)化階段性學(xué)習(xí)：

從第一階段采取循環(huán)共享參數(shù)Transformer結(jié)構(gòu)，到第二階段進(jìn)行逐層結(jié)構(gòu)展開，到最后完全展開成非共享結(jié)構(gòu)。

如此帶來的訓(xùn)練收益，包括以下幾個方面：

首先，平滑的模型參數(shù)展開訓(xùn)練方法，解決了大規(guī)模Post-LN（層歸一化后置，即Layer Norm在Residual之后）收斂不穩(wěn)定的問題。

其次，通過不斷展開模型的參數(shù)，模型的神經(jīng)元參數(shù)規(guī)模逐步增加，文心ERNIE能夠順利地吸收規(guī)模越來越大的知識輸入，進(jìn)而提升模型學(xué)習(xí)能力的上限。

與此同時，文心ERNIE神經(jīng)元在擴大的過程中，引入了百度飛槳自研的Hybrid Sharding分布式訓(xùn)練算法。

該算法通過在單位通信單元中平均分配網(wǎng)絡(luò)參數(shù)和梯度數(shù)據(jù)，巧妙避開了網(wǎng)絡(luò)開銷瓶頸，能充分利用硬件優(yōu)勢進(jìn)行同步通信。

這也使得百億參數(shù)規(guī)模的模型訓(xùn)練成為可能，訓(xùn)練時間大幅降低。

這把神兵，你也能用

說了這么多，各位看官想來已等得心焦，迫不及待想問那個關(guān)鍵問題：

能不能直接體驗效果？

那！是！當(dāng)！然！

好消息是，百度已經(jīng)發(fā)布了文心ERNIE語義理解平臺。

該平臺集文心ERNIE預(yù)訓(xùn)練模型集、全面的NLP算法集、端到端開發(fā)套件和平臺服務(wù)于一體，提供一站式NLP開發(fā)與服務(wù)，幫助開發(fā)者更簡單、高效地定制NLP模型。

近日，平臺重點推出了文心ERNIE NLP開發(fā)套件專業(yè)版和旗艦版。

在專業(yè)版中，就預(yù)置了大家期盼已久的文心ERNIE2.0預(yù)訓(xùn)練模型，面向?qū)I(yè)的學(xué)術(shù)和產(chǎn)業(yè)開發(fā)需求提供語義理解能力。

旗艦版則面向工業(yè)級應(yīng)用場景，提供最全面的預(yù)訓(xùn)練模型庫和算法集，并支持金融、媒體等場景化應(yīng)用。

根據(jù)實驗結(jié)果，在機器閱讀理解、命名實體識別、自然語言推斷、語義相似度、情感分析和問答等9項任務(wù)上，文心ERNIE 2.0性能均大幅超過BERT。

同時，專業(yè)版開發(fā)套件還配套了多種NLP經(jīng)典算法網(wǎng)絡(luò)，支持文本分類、短文本匹配、序列標(biāo)注和閱讀理解等典型文本處理任務(wù)。

基本上，從數(shù)據(jù)預(yù)處理到模型訓(xùn)練，再到模型的預(yù)測均可一站體驗。

想要試試的話，直接戳進(jìn)文末文心ERNIE官網(wǎng)，申請下載即可。

說起來，兩度登頂GLUE，刷榜各大榜單，在國產(chǎn)預(yù)訓(xùn)練“兵器”里，文心ERNIE還是第一個。

不過，縱觀GLUE榜單，就會發(fā)現(xiàn)以ERNIE為首，越來越多made in China的神兵利器，都在不斷突破，書寫自己的篇章。

也正是在開放共享的氛圍之中，中國的NLP力量已悄然發(fā)展、壯大，走向了世界舞臺中央。

那么，要來體驗一下嗎？

文心ERNIE官網(wǎng)：

https://wenxin.baidu.com/wenxin/sdk