深度學(xué)習(xí)要多深，才能讀懂人話？
研究背景
阿里小蜜是阿里巴巴推出的圍繞電商服務(wù)、導(dǎo)購以及任務(wù)助理為核心的智能人機(jī)交互產(chǎn)品，在去年雙十一期間，阿里小蜜整體智能服務(wù)量達(dá)到643萬，其中智能解決率達(dá)到95%，成為了雙十一期間服務(wù)的絕對主力。阿里小蜜所使用的問答技術(shù)也在經(jīng)歷著飛速的發(fā)展，從最初基于檢索的知識庫問答演進(jìn)到了***的語義深度建模。
近期，阿里小蜜正在開展新的探索，讓機(jī)器具有如同人一般的閱讀理解能力，這將使得問答產(chǎn)品體現(xiàn)出真正的智能，進(jìn)一步提升服務(wù)效率。
在問答技術(shù)中，最常見的是檢索式問答，但存在很多的限制，例如，需要人工進(jìn)行知識提煉，讓機(jī)器在事先準(zhǔn)備好的問答對基礎(chǔ)之上進(jìn)行檢索。而我們經(jīng)常需要對這樣一段話進(jìn)行提問：
- 5月18日，阿里巴巴集團(tuán)發(fā)布了2017財年Q4財報和2017財年全年的業(yè)績報告。財報顯示，阿里巴巴集團(tuán)2017財年的收入為1582.73億元人民幣，同比增長56%;經(jīng)調(diào)整后凈利為578.71億元人民幣。Q4集團(tuán)收入為385.79億元，同比增長60%;非美國通用會計準(zhǔn)則下的凈利同比增長38%至104.4億元人民幣。
- Q：阿里巴巴2017財年收入是多少呢?
- A：1582.73億人民幣
其中包含很多的數(shù)字、日期、金額以及一些客觀事實描述，如果對每個提問點(diǎn)都設(shè)置一個問答對，將會是非常繁瑣的過程，同時，由于真實場景中問題的長尾性，人工提煉也無法窮盡所有可能的問題，知識往往覆蓋率比較低。如果能脫離人工提煉知識的過程，直接讓機(jī)器在非結(jié)構(gòu)化文本內(nèi)容中進(jìn)行閱讀理解，并回答用戶的問題，將是一個里程碑式的進(jìn)步。
深度學(xué)習(xí)近年來在自然語言處理領(lǐng)域中廣泛應(yīng)用，在機(jī)器閱讀理解領(lǐng)域也是如此，深度學(xué)習(xí)技術(shù)的引入使得機(jī)器閱讀理解能力在最近一年內(nèi)有了大幅提高，因此我們嘗試結(jié)合深度學(xué)習(xí)與真實業(yè)務(wù)場景，探索機(jī)器閱讀在電商領(lǐng)域的創(chuàng)新與落地場景。
電商領(lǐng)域的應(yīng)用場景
那么機(jī)器閱讀理解及問答技術(shù)在電商領(lǐng)域會有哪些合適的應(yīng)用場景呢?
阿里小蜜的交易規(guī)則解讀類場景
首先是電商交易規(guī)則解讀類場景，例如在每次雙11等活動時，都會有大量的用戶對活動規(guī)則進(jìn)行咨詢。以往，阿里小蜜的知識運(yùn)營同學(xué)都需要提前研究淘寶和天貓上的活動規(guī)則，從一堆規(guī)則描述、活動介紹文本中提煉可能的問題。而通過機(jī)器閱讀理解的運(yùn)用，則可以讓機(jī)器直接對規(guī)則進(jìn)行閱讀，為用戶提供規(guī)則解讀服務(wù)，是最自然的交互方式。
2016年淘寶雙十一消費(fèi)者交易規(guī)則
發(fā)貨時間說明：
- 2016年11月11日00:00:00-2016年11月17日23:59:59期間付款成果的訂單，確認(rèn)收到時間如下：
- (1)如果選擇的物流方式為快遞與貨運(yùn)，自“賣家已發(fā)貨”狀態(tài)起的15天后，系統(tǒng)會自動確認(rèn)收貨。
- (2)如果選擇物流方式為平郵，自“賣家已發(fā)貨”狀態(tài)起的30天后，系統(tǒng)會自動確認(rèn)收貨。
- 示例提問：我雙十一買的東西什么時候會自動確認(rèn)收貨?
店小蜜的商品售前咨詢場景
店小蜜是一款面向淘系千萬商家的智能客服。用戶在淘寶和天貓上購物時，往往會對較為關(guān)注的商品信息進(jìn)行詢問確認(rèn)后才會下單購買，例如“榮耀5c的雙攝像頭拍照效果有什么特點(diǎn)?” 而這些信息往往已經(jīng)存在于商品的詳情描述頁，通過機(jī)器閱讀理解技術(shù)，可以讓機(jī)器對詳情頁中的商品描述文本進(jìn)行更為智能地閱讀和回答，降低服務(wù)成本的同時提高購買轉(zhuǎn)化率。
相關(guān)工作調(diào)研
基于知識庫自動構(gòu)建的機(jī)器閱讀
用傳統(tǒng)的自然語言處理方式完成基于機(jī)器閱讀理解的問答，一般需要先在文本中進(jìn)行實體和屬性的解析，構(gòu)建出結(jié)構(gòu)化的知識圖譜，并在知識圖譜基礎(chǔ)上進(jìn)行問答。 主要涉及以下幾個過程：
· 實體檢測：識別文本中提及的實體，對實體進(jìn)行分類。
· 實體鏈接：將檢測出來的實體與知識庫中現(xiàn)有實體進(jìn)行匹配和鏈接。
· 屬性填充：從文檔中檢測實體的各類預(yù)先定義好的屬性，補(bǔ)充到知識庫中。
· 知識檢索：在知識庫中根據(jù)實體和屬性找到最相關(guān)的答案作為回答。
顯然，用傳統(tǒng)的知識庫構(gòu)建方式來進(jìn)行機(jī)器閱讀，雖然其可控性和可解釋性較好，但領(lǐng)域垂直特點(diǎn)較強(qiáng)，難以適應(yīng)多變的領(lǐng)域場景，且技術(shù)上需要分別解決多個傳統(tǒng)NLP中的難點(diǎn)，如命名實體識別、指代消解、新詞發(fā)現(xiàn)、同義詞歸一等，而每個環(huán)節(jié)都可能引入誤差，使得整體誤差逐漸擴(kuò)大。
基于End-to-end的機(jī)器閱讀
近年來，一些高質(zhì)量的公開數(shù)據(jù)集為機(jī)器閱讀領(lǐng)域的研究帶來了革命性的變化，推動了基于End-to-end方法的高速進(jìn)步，基于不同的數(shù)據(jù)集可以解決一些特定的機(jī)器閱讀理解任務(wù)。以下首先介紹每一類中具有代表性的數(shù)據(jù)集。
- Facebook的bAbI推理型問答數(shù)據(jù)集
bAbI數(shù)據(jù)集是由人工構(gòu)造的由若干簡單事實形成的英文文章，給出文章和對應(yīng)問題后，要求機(jī)器閱讀理解文章內(nèi)容并作出一定的推理，從而得出正確答案，往往是文章中的某個(或幾個)關(guān)鍵詞或者實體。
數(shù)據(jù)集包含對20個具體任務(wù)的評測，包括Supporting Fact、Yes/No Question、Counting、Time Reasoning、Position Reasoning、Path Finding等等。數(shù)據(jù)集規(guī)模相對比較小，僅由1000個訓(xùn)練數(shù)據(jù)和1000個測試數(shù)據(jù)構(gòu)成，每個任務(wù)150個詞。
- Microsoft的MCTest選擇題數(shù)據(jù)集
MCTest數(shù)據(jù)集用于回答選擇題，由真實的英文兒童讀物構(gòu)成。給出一篇150-300詞的故事文章，并對故事內(nèi)容進(jìn)行提問，要求機(jī)器在幾個候選答案中選出正確的答案。數(shù)據(jù)集的數(shù)據(jù)量較小，分為160篇和500篇兩種。
- DeepMind的CNN\DailyMail完形填空數(shù)據(jù)集
該數(shù)據(jù)集來自于真實的新聞數(shù)據(jù)，但由自動標(biāo)注而得，并非人工標(biāo)注。給出一篇新聞和一個問句，把問句中的某個實體抽掉，要求能正確預(yù)測被抽掉的實體。這個實體必須是在文中出現(xiàn)過的。該數(shù)據(jù)集的數(shù)據(jù)量相對比較大，CNN9有萬篇，DailyMail有22萬篇。
- Facebook的CBT完形填空數(shù)據(jù)集
該數(shù)據(jù)集也是由真實的兒童讀物，由自動標(biāo)注方式構(gòu)成，其形式是給出21個句子，前20個是完整的供機(jī)器閱讀的句子，將第21個句子中的實體抽掉，要求能正確預(yù)測出來。
- 訊飛和哈工大的中文完形填空數(shù)據(jù)集
這是一份中文數(shù)據(jù)集，和CBT類似，這份數(shù)據(jù)集是根據(jù)真實的新聞數(shù)據(jù)由自動標(biāo)注的方式獲得的完形填空數(shù)據(jù)集，數(shù)據(jù)集較大，共有87萬篇。
- Stanford的SQuAD可變長答案數(shù)據(jù)集
SQuAD是斯坦福發(fā)布的英文可變長答案數(shù)據(jù)集。問題和答案由大量眾包人力來標(biāo)注。內(nèi)容主要以Wiki文章為主，涵蓋了體育、政治、商業(yè)等各種領(lǐng)域的內(nèi)容。數(shù)據(jù)集包含500多篇文章(在1000篇文章中隨機(jī)選取，保證數(shù)據(jù)分布廣泛)，再將500多篇文章拆成了2萬多個小段落，再對段落進(jìn)行提問，共10萬個問題(每個段落提5個以上的問題)。
每個問題需要由3位標(biāo)注者進(jìn)行標(biāo)注，其中***位標(biāo)注者需要提問和回答，后兩位標(biāo)注者只需回答***位標(biāo)注者的提問。取第二位標(biāo)注者的答案作為Human Predict， 取***、三位標(biāo)注者的答案作為Ground Truth，以此獲得多個Ground Truth來降低標(biāo)注誤差。且鼓勵標(biāo)注者用自己的語言來提問，不要去抄原文中的話。
該數(shù)據(jù)集一經(jīng)推出便引發(fā)學(xué)術(shù)界的持續(xù)關(guān)注，在SQuAD的Leadeboard上不斷有新的模型提出一遍遍刷新benchmark，截止目前(2017年6月)，***的方法已經(jīng)獲得超過84的F1值。值得一提的是，Standford在推出該數(shù)據(jù)集時，基于傳統(tǒng)Lexical特征工程的方式構(gòu)造了Baseline(考慮Word/POS/Dependency..)，作為白盒模型有較好的比較意義，同時也提供了人工評測的Acc作參照，方便衡量問題上界。
幾乎所有圍繞SQuAD的模型都可以概括為類似的結(jié)構(gòu)：
(1)Embedding層：將原文和問題中的詞匯映射為向量表示。
(2)Encoding層：用RNN對原文和問題進(jìn)行編碼，使得每個詞蘊(yùn)含上下文語義信息。
(3)Interaction層：用于捕捉問題和原文之間的交互關(guān)系，并輸出編碼了問題語義信息的query-aware的原文表示。
(4)Answer層：基于query-aware的原文表示來預(yù)測答案開始和結(jié)束的位置。
顯然，SQuAD數(shù)據(jù)集相比之前的完形填空、選擇題型數(shù)據(jù)集來說，數(shù)據(jù)量更大、數(shù)據(jù)質(zhì)量更高、解決的問題也更復(fù)雜，同時也更接近于真實的業(yè)務(wù)場景，因為在大部分的真實問答場景中，答案都并非單個實體，很可能是一個短句，因此我們將主要圍繞SQuAD LeaderBoard上榜的模型來作一些具體的介紹。
基于SQuAD的機(jī)器閱讀模型
- Match-LSTM with AnswerPointer
Match-LSTMwith Answer Pointer模型是較早登上SQuAD LeaderBoard的模型，作者提出了融合 match-lstm 和 pointer-network 的機(jī)器閱讀框架，后續(xù)也被多篇相關(guān)工作所借鑒。其中的Boundary Model由于只預(yù)測答案開始和結(jié)束位置，極大地縮小了搜索答案的空間，使得整個預(yù)測過程得到了簡化。
模型主要包括三個部分：
(1)用LSTM分別對question和passage進(jìn)行encoding;
(2)用match-LSTM對question和passage進(jìn)行match。這里將question當(dāng)做premise，將
passage當(dāng)做hypothesis，用標(biāo)準(zhǔn)的word-by-word attention得到attention向量，然后對question的隱層輸出進(jìn)行加權(quán)，并將其跟passage的隱層輸出進(jìn)行拼接，得到一個新的向量，然后輸入到LSTM;
(3)利用pointer net從passage中選擇tokens作為答案。包括Sequence Model和Boundary Model。其中Sequence Model是在passage中選擇不連續(xù)的word作為answer;BoundaryModel只需要passage的起始位置和中止位置得到連續(xù)的words作為answer。
Bidirectional AttentionFlow
BiDAF模型***的特點(diǎn)是在interaction層引入了雙向注意力機(jī)制，計算Query2Context和Context2Query兩種注意力，并基于注意力計算query-aware的原文表示。
模型由這樣幾個層次組成：
(1)Character Embedding Layer使用char-CNN將word映射到固定維度的向量空間;
(2)Word Embedding Layer使用(pre-trained)word embedding將word映射到固定維度的向量空間;
(3)Contextual Embedding Layer將上面的到的兩個word vector拼接，然后輸入LSTM中進(jìn)行context embedding;
(4)Attention Flow Layer將passage embedding和question embedding結(jié)合，使用Context-to-query Attention 和Query-to-contextAttention得到word-by-word attention;
(5)Modeling Layer將上一層的輸出作為bi-directional RNN的輸入，得到Modeling結(jié)果M;
(6)Output Layer使用M分類得到passage的起始位置，然后使用M輸入bi-directional LSTM得到M2，再使用M2分類得到passage的中止位置作為answer。
FastQAExt
FastQAExt***的特點(diǎn)在于其較為輕量級的網(wǎng)絡(luò)結(jié)構(gòu)，在輸入的embedding層加入了兩個簡單的統(tǒng)計特征：
(1)文章中的詞是否出現(xiàn)在問題中，是一個binary特征。
(2)基于“問題中的詞如果在原文中很少出現(xiàn)，則對問題的回答影響更大”的原理，設(shè)計了一個weighted特征。
2個統(tǒng)計特征的引入相當(dāng)于給模型提前提供了先驗知識，這將加快模型的收斂速度，整體上，F(xiàn)astQAExt由以下三個部分組成：
(1)Embedding層：word 和char 兩種embedding，且拼接上述的2種統(tǒng)計特征作為輸入向量。
(2)Encoding層：匯總原文和問題的總表示。
(3)Answer層：計算問題對總表示，將query-aware原文表示和問題總表示共同輸入兩個前饋網(wǎng)絡(luò)產(chǎn)生答案開始和結(jié)束位置概率。
r-net
r-net是目前在SQuAD LeaderBoard上排名領(lǐng)先的模型，r-net的特點(diǎn)是使用了雙interaction層架構(gòu)。
r-net由以下三個部分組成：
(1)Encoding層：使用word和char兩種Embedding作為輸入。
(2)Question-Passage Matching層：負(fù)責(zé)捕捉原文和問題之間的交互信息。
(3)Passage Self-Matching層：負(fù)責(zé)捕捉原文內(nèi)部各詞之間的交互信息。
(4)Answer層：借鑒了match-lstm及pointer network的思路來預(yù)測答案的開始和結(jié)束位置，并在問題表示上用attention-pooling來生成pointer network的初始狀態(tài)。
業(yè)務(wù)場景下的挑戰(zhàn)與實踐
通過上述介紹可以看到，圍繞SQuAD數(shù)據(jù)集的機(jī)器閱讀理解模型已經(jīng)在學(xué)術(shù)界取得了相當(dāng)大的突破，其解決的問題是在一定長度的wiki內(nèi)容中進(jìn)行知識問答，然而阿里小蜜的實際電商業(yè)務(wù)場景與之相比篇章更長、答案粒度更粗(業(yè)務(wù)場景下句子粒度居多)、業(yè)務(wù)含義更復(fù)雜且用戶的提問更為隨意，因此SQuAD數(shù)據(jù)集及其相關(guān)模型還不能直接運(yùn)用于解決我們實際的電商場景問題。
要將機(jī)器閱讀理解技術(shù)運(yùn)用到實際業(yè)務(wù)場景中，還存在相當(dāng)大到挑戰(zhàn)，我們在以下幾方面進(jìn)行了探索和實踐：
- 中文數(shù)據(jù)集的構(gòu)建
為了使得模型能解決特定的業(yè)務(wù)問題，標(biāo)注一個高質(zhì)量的業(yè)務(wù)數(shù)據(jù)集是必不可少的，然而人工標(biāo)注的成本較高，因此在業(yè)務(wù)數(shù)據(jù)集之外，需要將公開的數(shù)據(jù)集進(jìn)行結(jié)合利用。而目前公開的中文數(shù)據(jù)集較為缺乏，可以通過批量翻譯等方式快速構(gòu)造中文數(shù)據(jù)集，翻譯得到的結(jié)果由于保持了詞匯及大致的上下文信息，也能取得一定的訓(xùn)練效果。
- 模型的業(yè)務(wù)優(yōu)化
需要改進(jìn)模型的結(jié)構(gòu)設(shè)計，使得模型可以支持電商文檔格式的輸入。電商規(guī)則文檔往往包含大量的文檔結(jié)構(gòu)，如大小標(biāo)題和文檔的層級結(jié)構(gòu)等，將這些特定的篇章結(jié)構(gòu)信息一起編碼輸入到網(wǎng)絡(luò)中，將大幅提升訓(xùn)練的效果。
- 模型的簡化
學(xué)術(shù)成果中的模型一般都較為復(fù)雜，而工業(yè)界場景中由于對性能的要求，無法將這些模型直接在線上使用，需要做一些針對性的簡化，使得模型效果下降可控的情況下，盡可能提升線上預(yù)測性能。例如可以簡化模型中的各種bi-lstm結(jié)構(gòu)。
- 多種模型的融合
當(dāng)前這些模型都是純粹的end-to-end模型，其預(yù)測的可控性和可解釋性較低，要適用于業(yè)務(wù)場景的話，需要考慮將深度學(xué)習(xí)模型與傳統(tǒng)模型進(jìn)行融合，達(dá)到智能程度和可控性的***平衡點(diǎn)。
- 總結(jié)
機(jī)器閱讀理解是當(dāng)下自然語言處理領(lǐng)域的一個熱門任務(wù)。近年來，各類閱讀理解的數(shù)據(jù)集以及方法層出不窮，尤其是圍繞SQuAD數(shù)據(jù)集的模型正在快速的發(fā)展中，這些模型的研究在學(xué)術(shù)界非常活躍?？偟膩碚f，對于解決wiki類客觀知識問答已經(jīng)取得比較好的結(jié)果，但對于復(fù)雜問題來說仍處于比較初級的階段。
學(xué)術(shù)界的思路和工業(yè)界實際場景相結(jié)合將能產(chǎn)生巨大的價值，阿里小蜜已經(jīng)在這方面開展探索和落地的嘗試，在算法、模型和數(shù)據(jù)方面進(jìn)行積累和沉淀，未來在更多的真實領(lǐng)域場景中，用戶將能感受到機(jī)器閱讀理解技術(shù)帶來的更為便利的智能服務(wù)。
【本文為51CTO專欄作者“阿里巴巴官方技術(shù)”原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者】
