[[406821]]

自然語(yǔ)言處理（NLP）被譽(yù)為 AI 皇冠上的明珠，傳統(tǒng) NLP 模型制作復(fù)雜，耗時(shí)耗力，且用途單一，難以復(fù)用，猶如手工作坊。而近幾年興起的預(yù)訓(xùn)練語(yǔ)言模型，正在改變局面，有望讓語(yǔ)言 AI 走向可規(guī)?；瘡?fù)制的工業(yè)時(shí)代。因此，「預(yù)訓(xùn)練 + 精調(diào)」已成為 NLP 任務(wù)的新范式。

阿里巴巴達(dá)摩院作為最早投入預(yù)訓(xùn)練語(yǔ)言模型研究的團(tuán)隊(duì)之一，歷經(jīng)三年研發(fā)出深度語(yǔ)言模型體系 AliceMind, 在通用語(yǔ)言模型 StructBERT 的基礎(chǔ)上，拓展到多語(yǔ)言、生成式、多模態(tài)、結(jié)構(gòu)化、知識(shí)驅(qū)動(dòng)等方向，能力全面。其中的模型先后登頂 GLUE、CLUE、XTREME、VQA Challenge、DocVQA、MS MARCO 在內(nèi)的自然語(yǔ)言處理領(lǐng)域六大權(quán)威榜單，領(lǐng)先業(yè)界，相關(guān)工作論文被 AI/NLP 頂會(huì)接收，并在 6 月入選 2021 世界人工智能大會(huì)最高獎(jiǎng) SAIL 獎(jiǎng) TOP30 榜單。

上周 AliceMind 再次登頂多模態(tài)權(quán)威榜單 VQA Challenge 2021 視覺(jué)問(wèn)答挑戰(zhàn)賽，戰(zhàn)勝了微軟、Facebook 等幾十家國(guó)際頂尖團(tuán)隊(duì)，超越第二名 1 個(gè)點(diǎn)，將紀(jì)錄從去年第一名的 76.36% 顯著提升到 79.78%，接近人類水平（80.78%）。

就在近日，阿里巴巴達(dá)摩院宣布正式開源 AliceMind。達(dá)摩院相關(guān)負(fù)責(zé)人表示，希望通過(guò)開源來(lái)降低業(yè)界研究和創(chuàng)新應(yīng)用的門檻，助推語(yǔ)言 AI 進(jìn)入大工業(yè)時(shí)代。

據(jù)介紹，達(dá)摩院深度語(yǔ)言模型體系 AliceMind，包括通用語(yǔ)言模型 StructBERT、多語(yǔ)言 VECO、生成式 PALM、多模態(tài) StructVBERT、結(jié)構(gòu)化 StructuralLM、知識(shí)驅(qū)動(dòng) LatticeBERT、機(jī)器閱讀理解 UED、超大模型 PLUG 等，此次大部分已開源。此外，AliceMind 之后將圍繞「預(yù)訓(xùn)練 + 精調(diào)」語(yǔ)言模型持續(xù)進(jìn)行生態(tài)性的技術(shù)開源。

AliceMind 開源地址：
https://github.com/alibaba/AliceMind

AliceMind 體驗(yàn)入口：
https://nlp.aliyun.com/portal#/alice

AliceMind 的創(chuàng)新之處

1、通用語(yǔ)言模型 StructBERT

Google 于 2018 年底推出的 BERT 模型是業(yè)界廣泛使用的自然語(yǔ)言預(yù)訓(xùn)練模型，達(dá)摩院團(tuán)隊(duì)在 BERT 的基礎(chǔ)上提出優(yōu)化模型 StructBERT，讓機(jī)器更好地掌握人類語(yǔ)法，理解自然語(yǔ)言，2020 年多次在自然語(yǔ)言處理領(lǐng)域頂級(jí)賽事 GLUE Benchmark 上奪冠。

StructBERT 通過(guò)在句子級(jí)別和詞級(jí)別引入兩個(gè)新的目標(biāo)函數(shù)，好比給機(jī)器內(nèi)置一個(gè)「語(yǔ)法識(shí)別器」，使機(jī)器在面對(duì)語(yǔ)序錯(cuò)亂或不符合語(yǔ)法習(xí)慣的詞句時(shí)，仍能準(zhǔn)確理解并給出正確的表達(dá)和回應(yīng)，大大提高機(jī)器對(duì)詞語(yǔ)、句子以及語(yǔ)言整體的理解力。相關(guān)論文被 ICLR2020 接收。

2、多語(yǔ)言語(yǔ)言模型 VECO

跨語(yǔ)言預(yù)訓(xùn)練初衷是為多種語(yǔ)言建立起一個(gè)統(tǒng)一聯(lián)合的語(yǔ)義表示，AliceMind 體系內(nèi)的跨語(yǔ)言預(yù)訓(xùn)練模型 VECO 一經(jīng)提出，便在國(guó)際權(quán)威多語(yǔ)言榜單 XTREME 排名第一，遠(yuǎn)超 Facebook、Microsoft 等業(yè)界代表性模型。VECO 目前支持 100 種語(yǔ)言的理解和生成任務(wù)。

VECO 效果亮眼，主要是因?yàn)閮身?xiàng)創(chuàng)新：一是其可以更加「顯式」地進(jìn)行跨語(yǔ)言信息的建模（圖 1）；二是 VECO 在預(yù)訓(xùn)練的過(guò)程充分學(xué)習(xí)用于語(yǔ)言理解（NLU）和生成（NLG）任務(wù)，并讓二者互相學(xué)習(xí)提高彼此（圖 2）。因此，VECO 模型成為了多語(yǔ)言領(lǐng)域內(nèi)的第一個(gè)同時(shí)在多語(yǔ)言理解（NLU）和語(yǔ)言生成（NLG）任務(wù)上均取得業(yè)內(nèi)最佳效果的模型，相關(guān)論文被頂會(huì) ACL 2021 接收。

3、生成式語(yǔ)言模型 PALM

PALM 采用了與之前的生成模型不同的預(yù)訓(xùn)練方式，將預(yù)測(cè)后續(xù)文本作為其預(yù)訓(xùn)練目標(biāo)，而非重構(gòu)輸入文本。PALM 在一個(gè)模型中使用自編碼方式來(lái)編碼輸入文本，同時(shí)使用自回歸方式來(lái)生成后續(xù)文本。這種預(yù)測(cè)后續(xù)文本的預(yù)訓(xùn)練促使該模型提高對(duì)輸入文本的理解能力，從而在下游的各個(gè)語(yǔ)言生成（NLG）任務(wù)上取得更好的效果。

PALM 在 MARCO NLG 自然語(yǔ)言生成公開評(píng)測(cè)上取得了排行榜第一，同時(shí)在摘要生成標(biāo)準(zhǔn)數(shù)據(jù)集 CNN/DailyMail 和 Gigaword 上也超過(guò)了現(xiàn)有的各個(gè)預(yù)訓(xùn)練生成語(yǔ)言模型。PALM 可被用于問(wèn)答生成、文本復(fù)述、回復(fù)生成、文本摘要、Data-to-Text 等生成應(yīng)用上。相關(guān)文章已被頂會(huì) ACL2020 錄用。

4、多模態(tài)語(yǔ)言模型 StructVBERT

StructVBERT 是在通用的 StructBERT 模型基礎(chǔ)上，同時(shí)引入文本和圖像模態(tài)，在統(tǒng)一的多模態(tài)語(yǔ)義空間進(jìn)行聯(lián)合建模，在單流架構(gòu)的基礎(chǔ)上同時(shí)引入圖像 - 文本描述數(shù)據(jù)和圖像問(wèn)答數(shù)據(jù)進(jìn)行多任務(wù)預(yù)訓(xùn)練，并在多尺度的圖像特征上進(jìn)行分階段預(yù)訓(xùn)練。此外，模型利用 attention mask 矩陣控制實(shí)現(xiàn)雙流架構(gòu)，從而提升跨模態(tài)雙流建模能力，結(jié)合單流、雙流結(jié)構(gòu)的優(yōu)點(diǎn)進(jìn)一步提升模型對(duì)文本和圖像兩個(gè)模態(tài)的理解能力。相關(guān)文章已被頂會(huì) ACL2021 錄用。

5、結(jié)構(gòu)化語(yǔ)言模型 StructuralLM

StructuralLM 在語(yǔ)言模型 StructBERT 的基礎(chǔ)上擴(kuò)展到結(jié)構(gòu)化語(yǔ)言模型，充分利用圖片文檔數(shù)據(jù)的 2D 位置信息，并引入 box 位置預(yù)測(cè)的預(yù)訓(xùn)練任務(wù)，幫助模型感知圖片不同位置之間詞語(yǔ)的關(guān)系，這對(duì)于理解真實(shí)場(chǎng)景中的圖片文檔十分重要。Structural LM 模型在 DocVQA 榜單上排名第一，同時(shí)在表單理解 FUNSD 數(shù)據(jù)集和文檔圖片分類 RVL-CDIP 數(shù)據(jù)集上也超過(guò)現(xiàn)有的所有預(yù)訓(xùn)練模型。相關(guān)文章已被頂會(huì) ACL2021 錄用。

6、機(jī)器閱讀理解模型 UED

自最開始聲名大噪的 SQuAD 榜單起，阿里圍繞著機(jī)器閱讀理解發(fā)展路線：?jiǎn)味温涑槿?-> 多文檔抽取 / 檢索 -> 多文檔生成 -> 開放式閱讀理解，拿下了一系列的榜單冠軍：

• 2018 年在單段落機(jī)器閱讀理解領(lǐng)域頂級(jí)賽事 SQuAD 上首次超出人類回答精準(zhǔn)率；
• 2018 年在多文檔機(jī)器閱讀理解權(quán)威比賽 TriviaQA 和 DuReader 上雙雙刷新紀(jì)錄，取得第一名；
• 2019 年在信息檢索國(guó)際頂級(jí)評(píng)測(cè) TREC 2019 Deep Learning Track 上的段落檢索和文檔檢索任務(wù)上均取得第一名；
• 2019 年在機(jī)器閱讀理解頂級(jí)賽事 MS MARCO 的段落排序、多文檔答案抽取以及多文檔答案生成 3 個(gè)任務(wù)均取得第一名，并在多文檔答案抽取任務(wù)上首次超越人類水平。

相關(guān)論文已被 AAAI2021 接收。

7、超大規(guī)模中文理解和生成統(tǒng)一模型 PLUG

PLUG 是目前中文社區(qū)已開放 API 的最大規(guī)模的純文本預(yù)訓(xùn)練語(yǔ)言模型，集語(yǔ)言理解與生成能力于一身。PLUG 可為目標(biāo)任務(wù)做針對(duì)性優(yōu)化，通過(guò)利用下游訓(xùn)練數(shù)據(jù)精調(diào)模型使其在該特定任務(wù)上生成質(zhì)量達(dá)到最優(yōu)，彌補(bǔ)之前其它大規(guī)模生成模型 few-shot 推理的生成效果不足，適于應(yīng)用在實(shí)際生成任務(wù)。同時(shí)，PLUG 采用 encoder-decoder 的雙向建模方式，因此，在傳統(tǒng)的 zero-shot 生成的表現(xiàn)上，無(wú)論是生成的多樣性，領(lǐng)域的廣泛程度，還是生成長(zhǎng)文本的表現(xiàn)，較此前的模型均有明顯的優(yōu)勢(shì)。

8. 知識(shí)驅(qū)動(dòng)的語(yǔ)言模型 LatticeBERT

LatticeBERT 在預(yù)訓(xùn)練模型中訓(xùn)練中有效地融合了詞典等知識(shí)，從而能夠同時(shí)建模字和詞的結(jié)構(gòu)，來(lái)線性化地表示這種混合粒度的輸入。第一步是將涵蓋多粒度字詞信息的中文文本用詞格（Lattice）表示起來(lái)，再把這個(gè)詞格線性化作為 BERT 的輸入。LatticeBERT 在 2020 年 9 月達(dá)到中文語(yǔ)義理解評(píng)估基準(zhǔn) CLUE 榜單的 base 模型中的第一名。

霸榜背后，是 AliceMind 持續(xù)創(chuàng)新和進(jìn)化。達(dá)摩院團(tuán)隊(duì)在 BERT 基礎(chǔ)上提出優(yōu)化模型 StructBERT，2020 年多次在 NLP 頂級(jí)賽事 GLUE Benchmark 上奪冠。該模型通過(guò)在句子和詞級(jí)別引入兩個(gè)新的目標(biāo)函數(shù)，好比給 AI 裝上「語(yǔ)法識(shí)別器」，在面對(duì)語(yǔ)法錯(cuò)亂時(shí)，AI 依然能準(zhǔn)確理解并給出正確回應(yīng)，大大提高機(jī)器對(duì)語(yǔ)言的整體理解力，相關(guān)文章被 NAACL2021 錄用。

而此次在 VQA Challenge 2021 登頂?shù)亩嗄B(tài)模型 StrucVBERT，融合了通用模型 StructBERT 和結(jié)構(gòu)化模型 StructuralLM，同時(shí)引入文本和圖像模態(tài)，利用更高效的視覺(jué)特征和創(chuàng)新的注意力機(jī)制在統(tǒng)一的多模態(tài)語(yǔ)義空間進(jìn)行聯(lián)合建模。

AliceMind 的應(yīng)用情況

AliceMind 具有閱讀、寫作、翻譯、問(wèn)答、搜索、摘要生成、對(duì)話等多種能力，目前已成為阿里的語(yǔ)言技術(shù)底座，日均調(diào)用量超過(guò) 50 億次，活躍場(chǎng)景超過(guò) 200 個(gè)，已在跨境電商、客服、廣告等數(shù)十個(gè)核心業(yè)務(wù)應(yīng)用落地。AliceMind 已上線到內(nèi)部平臺(tái)，開箱即用，目前支持訓(xùn)練、精調(diào)、蒸餾、測(cè)試、部署五大功能，只需簡(jiǎn)單操作即可完成語(yǔ)言模型從訓(xùn)練到部署的完整鏈路。

在阿里之外，AliceMind 廣泛運(yùn)用于醫(yī)療、能源、金融等多個(gè)行業(yè)。其中，浙江電網(wǎng)公司以 AliceMind 為底座為員工構(gòu)建智能化運(yùn)維平臺(tái)，應(yīng)用于變壓器檢修、供電搶修等業(yè)務(wù)，已經(jīng)開始在國(guó)家電網(wǎng)公司統(tǒng)一推廣。

阿里達(dá)摩院深度語(yǔ)言模型團(tuán)隊(duì)負(fù)責(zé)人黃松芳表示：「預(yù)訓(xùn)練語(yǔ)言模型已成為 NLP 領(lǐng)域的基石和原材料，AliceMind 開源將降低 NLP 領(lǐng)域研究和應(yīng)用創(chuàng)新的門檻，助推行業(yè)從手工業(yè)時(shí)代走向大工業(yè)時(shí)代?！?/p>