本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

微信AI，NLP領(lǐng)域又獲一項(xiàng)世界第一，這次是在機(jī)器閱讀理解方面。

在專門(mén)考驗(yàn)計(jì)算機(jī)數(shù)學(xué)推理能力的DROP數(shù)據(jù)集上，微信AI最新方案超過(guò)了Google Research，排名第一，成為SOTA。

今年3月，在第七屆對(duì)話系統(tǒng)技術(shù)挑戰(zhàn)賽（DSTC7）上，首次亮相的微信智言團(tuán)隊(duì)一路過(guò)關(guān)斬將，最終拿下冠軍。

不過(guò)這一次，微信AI團(tuán)隊(duì)說(shuō)，這不僅是他們?cè)跈C(jī)器閱讀理解方面的進(jìn)展，也是他們?cè)跀?shù)學(xué)推理方面的第一篇工作。

這一方案，并沒(méi)有以當(dāng)前業(yè)界主流的BERT為核心，而是以數(shù)字感知的圖神經(jīng)網(wǎng)絡(luò)（NumGNN）方案為基礎(chǔ)。

微信AI團(tuán)隊(duì)介紹，在NumGNNd為核心的情況下，結(jié)合NAQANet的基礎(chǔ)模塊以及改進(jìn)的前處理方法，在不使用BERT、RoBERTa等預(yù)訓(xùn)練模型的條件下，就能獲得了高達(dá)67.97%的F1值。

在實(shí)際提交到榜單上的NumNet+上，他們又進(jìn)一步融入RoBERTa的能力，并增加了對(duì)多span型問(wèn)題的支持，從而使單模型 F1值能夠高達(dá)82.99%。

從而，他們也得出了一個(gè)結(jié)論：

即使不使用BERT等預(yù)訓(xùn)練模型，模型的效果就已經(jīng)比使用BERT的好了。

微信AI團(tuán)隊(duì)說(shuō)，這一方案可以幫助人工智能提升閱讀理解能力和邏輯推理能力，將來(lái)也會(huì)將其中的技術(shù)應(yīng)用到騰訊小微智能對(duì)話助手中。

不過(guò)區(qū)別于谷歌和百度等智能語(yǔ)音助手的To C產(chǎn)品形式，目前騰訊小微智能對(duì)話助手，主要還是以云服務(wù)形式對(duì)外輸出。

微信成績(jī)意味著什么？AI考數(shù)學(xué)

先從數(shù)據(jù)集DROP說(shuō)起。

DROP數(shù)據(jù)集，由AI2（Allen Institute for Artificial Intelligence）實(shí)驗(yàn)室提出，主要考察的是模型做類似數(shù)學(xué)運(yùn)算相關(guān)的操作能力。

（小巧合，微信之父張小龍英文名也叫Allen，但allen.ai的域名屬于AI2）

與SQuAD數(shù)據(jù)集中大多都是“劉德華老婆是誰(shuí)？”的問(wèn)題不同，其中的問(wèn)題會(huì)涉及到數(shù)學(xué)運(yùn)算的情況。

比如說(shuō)，給我們5個(gè)人每個(gè)人買(mǎi)2個(gè)蛋撻，一共要買(mǎi)幾個(gè)蛋撻？

這個(gè)問(wèn)題對(duì)于人來(lái)說(shuō)很簡(jiǎn)單，但對(duì)于機(jī)器來(lái)說(shuō)卻很困難。

微信AI團(tuán)隊(duì)解釋了這背后的原因：機(jī)器不僅要能夠比較數(shù)字相對(duì)的大小，還要能夠知道和哪些數(shù)字做比較并進(jìn)行推理，這就需要把數(shù)字相對(duì)的大小等等知識(shí)注入模型。

但在之前大多數(shù)機(jī)器閱讀理解模型中，基本上都將數(shù)字與非數(shù)字單詞同等對(duì)待，無(wú)法獲知數(shù)字的大小關(guān)系，也不能完成諸如計(jì)數(shù)、加減法等數(shù)學(xué)運(yùn)算。

正是基于這一原因，微信AI團(tuán)隊(duì)提出了一種數(shù)字感知的圖神經(jīng)網(wǎng)絡(luò)（numerically-aware graph neural network，NumGNN），并基于此提出了NumNet。

一方面利用圖的拓?fù)浣Y(jié)構(gòu)編碼數(shù)字間的大小關(guān)系，將文章和問(wèn)題中的數(shù)字作為圖結(jié)點(diǎn)，在具有“>”和“<=”關(guān)系的數(shù)字間建立有向邊，從而將數(shù)字的大小關(guān)系作為先驗(yàn)知識(shí)注入模型。

具體來(lái)講，給定一個(gè)問(wèn)題和一段文本，先把問(wèn)題里面的數(shù)字和文本里面的數(shù)字都抽出來(lái)。

每個(gè)數(shù)字就是圖上一個(gè)節(jié)點(diǎn)，同時(shí)對(duì)于任意兩個(gè)數(shù)字，假如A數(shù)字和B數(shù)字，如果A大于B的話，那么A和B中間加一條有向邊，表示數(shù)字A和B之間是A大于B的關(guān)系。

如果A小于等于B，則會(huì)加另外一種有向邊，把它們兩個(gè)連接起來(lái)。通過(guò)這種操作，用圖的拓譜結(jié)構(gòu)把數(shù)字相對(duì)大小知識(shí)注入模型。

另一方面，是結(jié)合文本信息去做更復(fù)雜的數(shù)學(xué)推理，具體的實(shí)現(xiàn)方式是使用圖卷積神經(jīng)網(wǎng)絡(luò)在前述圖結(jié)構(gòu)上執(zhí)行推理，從而支持更復(fù)雜的數(shù)學(xué)推理功能。

超過(guò)Google方案，斬獲全球第一

在DROP數(shù)據(jù)集的LEADERBOARD上，微信AI團(tuán)隊(duì)的方案為NumNet+。

微信AI團(tuán)隊(duì)介紹稱，這一方案的基礎(chǔ)與NumNet一樣，都是NumGNN。

在新的方案中，用預(yù)訓(xùn)練模型替換了NumNet中的未經(jīng)過(guò)預(yù)訓(xùn)練的Transformer作為encoder，進(jìn)一步融入了RoBERTa的能力以及對(duì)多span型問(wèn)題的支持。

從而實(shí)現(xiàn)了單模型 F1值 82.99%的效果，一舉超過(guò)Google Research的BERT-Calculator Ensemble方案，成為榜單第一。

盡管取得的效果還不錯(cuò)，但在微信AI團(tuán)隊(duì)來(lái)看，但還有很多缺陷。

比如說(shuō)，目前能夠支持的數(shù)學(xué)表達(dá)式種類還是受到一定限制。尤其是DROP數(shù)據(jù)集的局限，其對(duì)文本理解的要求更高，但需要的數(shù)學(xué)推理難度比解數(shù)學(xué)應(yīng)用題那類問(wèn)題來(lái)得相對(duì)簡(jiǎn)單一點(diǎn)。

微信AI團(tuán)隊(duì)說(shuō)，如何把兩者更好的結(jié)合起來(lái)，使得整個(gè)模型的能力進(jìn)一步的提升，是他們下一步考慮的問(wèn)題。

而且，他們也說(shuō)，并不會(huì)把注意力集中在用GNN來(lái)解決數(shù)字推理的問(wèn)題上，后面也會(huì)重點(diǎn)去考慮其他的方式。

更具體來(lái)說(shuō)，是能夠?qū)rithmetic word problems (AWPs)相關(guān)工作中處理復(fù)雜數(shù)學(xué)表達(dá)式相關(guān)的方法能夠進(jìn)行吸收融合，進(jìn)一步提升模型的推理能力。

更多詳情，可以前往DROP數(shù)據(jù)集LEADERBOARD：

https://leaderboard.allenai.org/drop/submissions/public

而微信AI這次的研究成果，已經(jīng)被EMNLP2019收錄，論文也已公開(kāi)發(fā)表：

NumNet: Machine Reading Comprehension with Numerical Reasoning

https://arxiv.org/abs/1910.06701

項(xiàng)目地址：

https://github.com/llamazing/numnet_plus