過(guò)去幾十年來(lái)，我們經(jīng)歷了一系列與信息相關(guān)的根本性變化與挑戰(zhàn)。時(shí)至今日，信息的獲取已經(jīng)不再成為瓶頸; 事實(shí)上，真正的難題在于如何消化巨大的信息量。相信每位朋友都有這樣的切身感受：我們必須閱讀更多內(nèi)容以了解與工作、新聞以及社交媒體相關(guān)的熱門資訊。為了解決這一挑戰(zhàn)，我們開始研究如何利用AI以幫助人們?cè)谛畔⒋蟪敝懈纳乒ぷ黧w驗(yàn)——而潛在的解決思路之一在于利用算法自動(dòng)總結(jié)篇幅過(guò)長(zhǎng)的文本內(nèi)容。

然而要訓(xùn)練出這樣一套能夠產(chǎn)生較長(zhǎng)、連續(xù)且有意義摘要內(nèi)容的模型仍是個(gè)開放性的研究課題。事實(shí)上，即使對(duì)于最為先進(jìn)的深度學(xué)習(xí)算法而言，生成較長(zhǎng)文本內(nèi)容仍是個(gè)難以完成的任務(wù)。為了成功完成總結(jié)，我們向其中引入了兩項(xiàng)獨(dú)立的重要改進(jìn)：更多的上下文詞匯生成模型以及通過(guò)強(qiáng)化學(xué)習(xí)（簡(jiǎn)稱RL）新方法對(duì)匯總模型加以訓(xùn)練。

將這兩種訓(xùn)練方法加以結(jié)合，意味著整體系統(tǒng)能夠?qū)⑿侣勎恼碌容^長(zhǎng)文本整理為具有相關(guān)性以及高度可讀性的多句式摘要內(nèi)容，且實(shí)際效果遠(yuǎn)優(yōu)于以往方案。我們的算法能夠?qū)Σ煌愋偷奈谋九c摘錄長(zhǎng)度進(jìn)行訓(xùn)練。在今天的博文中，我們將介紹這套模型的主要突破，同時(shí)對(duì)自然語(yǔ)言的文本概括相關(guān)挑戰(zhàn)加以說(shuō)明。

[[192509]]

圖一（點(diǎn)擊原文看gif圖）：演示我們的模型如何從新聞文章當(dāng)中生成多句式摘要內(nèi)容。對(duì)于各個(gè)生成的詞匯，這套模型都會(huì)參考輸入的特定單詞以及此前給出的輸出選項(xiàng)。

提取與抽象總結(jié)

自動(dòng)匯總模型的具體實(shí)現(xiàn)可采取以下兩種方法之一：即提取或者抽象。提取模型執(zhí)行“復(fù)制與粘貼”操作，即選擇輸入文檔中的相關(guān)短語(yǔ)并加以連接，借此整理出摘要內(nèi)容。由于直接使用來(lái)自文檔之內(nèi)的現(xiàn)成自然語(yǔ)言表達(dá)，因此其功能非常強(qiáng)大——但在另一方面，由于無(wú)法使用新的詞匯或者連接表達(dá)，所以提取模型往往缺乏靈活性。另外，其有時(shí)候的表達(dá)效果也與人類的習(xí)慣有所差異。在另一方面，抽象模型基于具體“抽象”內(nèi)容生成摘要：其能夠完全不使用原始輸入文檔內(nèi)的現(xiàn)有詞匯。這意味著此類模型能夠生成更為流暢且連續(xù)的內(nèi)容，但其實(shí)現(xiàn)難度也更高——因?yàn)槲覀冃枰_保其有能力生成連續(xù)的短語(yǔ)與連接表達(dá)。

盡管抽象模型在理論上更為強(qiáng)大，但其在實(shí)踐中也經(jīng)常犯錯(cuò)誤。典型的錯(cuò)誤包括在生成的摘要中使用不連續(xù)、不相關(guān)或者重復(fù)的短語(yǔ)，這類問(wèn)題在嘗試創(chuàng)建較長(zhǎng)文本輸出內(nèi)容時(shí)表現(xiàn)得更為明顯。另外，其還往往缺少上下文之間的一致性、濟(jì)性與可讀性。為了解決這些問(wèn)題，我們顯然需要設(shè)計(jì)出一套更為強(qiáng)大且更具一致性的抽象概括模型。

為了了解我們的這套全新抽象模型，我們需要首先定義其基本構(gòu)建塊，而后講解我們所采用的新型訓(xùn)練方式。

利用編碼器-解碼器模型讀取并生成文本

遞歸神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱RNN）屬于一類深度學(xué)習(xí)模型，其能夠處理可變長(zhǎng)度的序列（例如文本序列）并分段計(jì)算其中的可用表達(dá)（或者隱藏狀態(tài)）。此類網(wǎng)絡(luò)能夠逐一處理序列中的每項(xiàng)元素（在本示例中為每個(gè)單詞）; 而對(duì)于序列中的每條新輸入內(nèi)容，該網(wǎng)絡(luò)能夠?qū)⑿碌碾[藏狀態(tài)作為該輸入內(nèi)容及先前隱藏狀態(tài)的函數(shù)。如此一來(lái)，根據(jù)各個(gè)單詞計(jì)算得出的隱藏狀態(tài)都將作為全體單詞皆可讀取的函數(shù)。

圖二：遞歸神經(jīng)網(wǎng)絡(luò)利用各單詞提供的同一函數(shù)（綠框）讀取輸入的句子。

遞歸神經(jīng)網(wǎng)絡(luò)亦可同樣的方式用于生成輸出序列。在每個(gè)步驟當(dāng)中，遞歸神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)將用于生成一個(gè)新的單詞，并被添加至最終輸出結(jié)果內(nèi)，同時(shí)被納入下一條輸入內(nèi)容中。

圖三：遞歸神經(jīng)網(wǎng)絡(luò)能夠生成輸出序列，同時(shí)復(fù)用各輸出單詞作為下一函數(shù)的輸入內(nèi)容。

遞歸神經(jīng)網(wǎng)絡(luò)能夠利用一套聯(lián)合模型將輸入（讀?。┡c輸出（生成）內(nèi)容加以結(jié)合，其中輸入遞歸神經(jīng)網(wǎng)絡(luò)的最終隱藏狀態(tài)將被作為輸出遞歸神經(jīng)網(wǎng)絡(luò)的初始隱藏狀態(tài)。通過(guò)這種結(jié)合方式，該聯(lián)合模型將能夠讀取任意文本并以此為基礎(chǔ)生成不同文本信息。這套框架被稱為編碼器-解碼器遞歸神經(jīng)網(wǎng)絡(luò)（亦簡(jiǎn)稱Seq2Seq），并作為我們這套匯總模型的實(shí)現(xiàn)基礎(chǔ)。另外，我們還將利用一套雙向編碼器替代傳統(tǒng)的編碼器遞歸神經(jīng)網(wǎng)絡(luò)，其使用兩套不同的遞歸神經(jīng)網(wǎng)絡(luò)讀取輸入序列：一套從左到右進(jìn)行文本讀?。ㄈ鐖D四所示），另一套則從右向左進(jìn)行讀取。這將幫助我們的模型更好地根據(jù)上下文對(duì)輸入內(nèi)容進(jìn)行二次表達(dá)。

圖四：編碼器-解碼器遞歸神經(jīng)網(wǎng)絡(luò)模型可用于解決自然語(yǔ)言當(dāng)中的序列到序列處理任務(wù)（例如內(nèi)容匯總）。

新的關(guān)注與解碼機(jī)制

為了讓我們的模型能夠輸出更為一致的結(jié)果，我們利用所謂時(shí)間關(guān)注（temporal attention）技術(shù)允許解碼器在新單詞生成時(shí)對(duì)輸出文檔內(nèi)容進(jìn)行回顧。相較于完全依賴其自有隱藏狀態(tài)，此解碼器能夠利用一條關(guān)注函數(shù)對(duì)輸入文本內(nèi)容中的不同部分進(jìn)行上下文信息聯(lián)動(dòng)。該關(guān)注函數(shù)隨后會(huì)進(jìn)行調(diào)整，旨在確保模型能夠在生成輸出文本時(shí)使用不同輸入內(nèi)容作為參考，從而提升匯總結(jié)果的信息覆蓋能力。

另外，為了確保模型不會(huì)發(fā)生重復(fù)表達(dá)，我們還允許其回顧解碼器中的原有隱藏狀態(tài)。在這里，我們定義一條解碼器內(nèi)關(guān)注函數(shù)以回顧解碼器遞歸神經(jīng)網(wǎng)絡(luò)的先前隱藏狀態(tài)。最后，解碼器會(huì)將來(lái)自時(shí)間關(guān)注技術(shù)的上下文矢量與來(lái)自解碼器內(nèi)關(guān)注函數(shù)的上下文矢量加以結(jié)合，共同生成輸出結(jié)果中的下一個(gè)單詞。圖五所示為特定解碼步驟當(dāng)中這兩項(xiàng)關(guān)注功能的組合方式。

圖五：由編碼器隱藏狀態(tài)與解碼器隱藏狀態(tài)共同計(jì)算得出的兩條上下文矢量（標(biāo)記為‘C’）。利用這兩條上下文矢量與當(dāng)前解碼器隱藏狀態(tài)（標(biāo)記為‘H’）相結(jié)合，即可生成一個(gè)新的單詞（右側(cè)）并將其添加至輸出序列當(dāng)中。

如何訓(xùn)練這套模型？監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)

要利用新聞文章等實(shí)際數(shù)據(jù)對(duì)這套模型進(jìn)行訓(xùn)練，最為常規(guī)的方法在于使用教師強(qiáng)制算法（teacher forcing algorithm）：模型利用參考摘要生成一份新摘要，并在其每次生成新單詞時(shí)進(jìn)行逐詞錯(cuò)誤提示（或者稱為‘本地監(jiān)督’，具體如圖六所示）。

圖六：監(jiān)督學(xué)習(xí)機(jī)制下的模型訓(xùn)練流程。每個(gè)生成的單詞都會(huì)獲得一個(gè)訓(xùn)練監(jiān)督信號(hào)，具體由將該單詞與同一位置的實(shí)際摘要詞匯進(jìn)行比較計(jì)算得出。

這種方法可用于訓(xùn)練基于遞歸神經(jīng)網(wǎng)絡(luò)的任意序列生成模型，且實(shí)際結(jié)果相當(dāng)令人滿意。然而，對(duì)于我們此次探討的特定任務(wù)，摘要內(nèi)容并不一定需要逐詞進(jìn)行參考序列匹配以判斷其正確與否?？梢韵胂?，盡管面對(duì)的是同一份新聞文章，但兩位編輯仍可能寫出完全不同的摘要內(nèi)容表達(dá)——具體包括使用不同的語(yǔ)言風(fēng)格、用詞乃至句子順序，但二者皆能夠很好地完成總結(jié)任務(wù)。教師強(qiáng)制方法的問(wèn)題在于，在生成數(shù)個(gè)單詞之后，整個(gè)訓(xùn)練過(guò)程即會(huì)遭受誤導(dǎo)：即需要嚴(yán)格遵循正式的總結(jié)方式，而無(wú)法適應(yīng)同樣正確但卻風(fēng)格不同的起始表達(dá)。

考慮到這一點(diǎn)，我們應(yīng)當(dāng)在教師強(qiáng)制方法之外找到更好的處理辦法。在這里，我們選擇了另一種完全不同的訓(xùn)練類型，名為強(qiáng)化學(xué)習(xí)（簡(jiǎn)稱RL）。首先，強(qiáng)化學(xué)習(xí)算法要求模型自行生成摘要，而后利用外部記分器來(lái)比較所生成摘要與正確參考文本間的差異。這一得分隨后會(huì)向模型表達(dá)其生成的摘要究竟質(zhì)量如何。如果分?jǐn)?shù)很高，那么該模型即可自我更新以使得此份摘要中的處理方式以更高機(jī)率在未來(lái)的處理中繼續(xù)出現(xiàn)。相反，如果得分較低，那么該模型將調(diào)整其生成過(guò)程以防止繼續(xù)輸出類似的摘要。這種強(qiáng)化學(xué)習(xí)模型能夠極大提升序列整體的評(píng)估效果，而非通過(guò)逐字分析以評(píng)判摘要質(zhì)量。

圖七：在強(qiáng)化學(xué)習(xí)訓(xùn)練方案當(dāng)中，模型本身并不會(huì)根據(jù)每個(gè)單詞接受本地監(jiān)督，而是依靠整體輸出結(jié)果與參考答案間的比照情況給出指導(dǎo)。

如何評(píng)估摘要質(zhì)量？

那么之前提到的記分器到底是什么，它又如何判斷摘要內(nèi)容的實(shí)際質(zhì)量？由于要求人類以手動(dòng)方式評(píng)估數(shù)百萬(wàn)條摘要內(nèi)容幾乎不具備任何實(shí)踐可行性，因此我們需要一種所謂ROUGE（即面向回顧的學(xué)習(xí)評(píng)估）技術(shù)。ROUGE通過(guò)將所生成摘要中的子短語(yǔ)與參考答案中的子短語(yǔ)進(jìn)行比較對(duì)前者進(jìn)行評(píng)估，且并不要求二者必須完全一致。ROUGE的各類不同變體（包括ROUGE-1、ROUGE-2以及ROUGE-L）都采用同樣的工作原理，但具體使用的子序列長(zhǎng)度則有所區(qū)別。

盡管ROUGE給出的分?jǐn)?shù)在很大程度上趨近于人類的主觀判斷，但ROUGE給出最高得分的摘要結(jié)果卻不一定具有最好的可讀性或者順暢度。在我們對(duì)模型進(jìn)行訓(xùn)練時(shí)，單獨(dú)使用強(qiáng)化學(xué)習(xí)訓(xùn)練將使得ROUGE最大化成為一種硬性要求，而這無(wú)疑會(huì)帶來(lái)新的問(wèn)題。事實(shí)上，在對(duì)ROUGE得分最高的摘要結(jié)果時(shí)，我們發(fā)現(xiàn)其中一部分內(nèi)容幾乎完全不具備可讀性。

為了發(fā)揮二者的優(yōu)勢(shì)，我們的模型同時(shí)利用教師強(qiáng)制與強(qiáng)化學(xué)習(xí)兩種方式進(jìn)行訓(xùn)練，希望借此通過(guò)單詞級(jí)監(jiān)督與全面引導(dǎo)最大程度提升總結(jié)內(nèi)容的一致性與可讀性。具體來(lái)講，我們發(fā)現(xiàn)ROUGE優(yōu)化型強(qiáng)化學(xué)習(xí)機(jī)制能夠顯著提升強(qiáng)調(diào)能力（即確保囊括一切重要信息），而單詞層級(jí)的監(jiān)督學(xué)習(xí)則有助于改善語(yǔ)言流暢度，最終令輸出內(nèi)容更連續(xù)、更可讀。

圖八：監(jiān)督學(xué)習(xí)（紅色箭頭）與強(qiáng)化學(xué)習(xí)（紫色箭頭）相結(jié)合，可以看到我們的模型如何同時(shí)利用本地與全局回饋的方式優(yōu)化可讀性與整體ROUGE分?jǐn)?shù)。

直到最近，CNN/Daily Mail數(shù)據(jù)集上的抽象總結(jié)最高ROUGE-1得分為35.46。而在我們將監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合訓(xùn)練方案的推動(dòng)下，我們的解碼器內(nèi)關(guān)注遞歸神經(jīng)網(wǎng)絡(luò)模型將該分?jǐn)?shù)提升到了39.87，而純強(qiáng)化學(xué)習(xí)訓(xùn)練后得分更是高達(dá)41.16。圖九所示為其它現(xiàn)有模型與我們這套模型的總結(jié)內(nèi)容得分情況。盡管我們的純強(qiáng)化學(xué)習(xí)模型擁有更高的ROUGE得分，但監(jiān)督學(xué)習(xí)加強(qiáng)化學(xué)習(xí)模型在摘要內(nèi)容的可讀性方面仍更勝一籌，這是因?yàn)槠鋬?nèi)容相關(guān)度更高。需要注意的是，See et al.采用了另一種不同的數(shù)據(jù)格式，因此其結(jié)果無(wú)法直接懷我們乃至其它模型的得分進(jìn)行直接比較——這里僅將其作為參考。

圖九：CNN/Daily Mail數(shù)據(jù)集上的內(nèi)容摘要結(jié)果，其中包括我們的模型以及其它幾種現(xiàn)有提取與抽象方案。

輸出結(jié)果示例

那么如此大的進(jìn)步在實(shí)際摘要匯總方面到底體現(xiàn)如何？在這里，我們對(duì)數(shù)據(jù)集進(jìn)行了拆分以生成幾段多句式摘要內(nèi)容。我們的模型及其更為簡(jiǎn)單的基準(zhǔn)設(shè)置在利用CNN/Daily Mail數(shù)據(jù)集訓(xùn)練后得出以下結(jié)果。如大家所見，盡管摘要內(nèi)容已經(jīng)得到顯著改善，但距離完美仍有很長(zhǎng)的距離要走。

圖十：這里為我們的模型生成的更多摘要示例，并與由人類為同篇文章撰寫的摘要進(jìn)行了比較。

為了說(shuō)明我們的方案對(duì)于文本內(nèi)容概括的重要改進(jìn)效果，圖十一所示為我們?cè)谝瞥P(guān)注內(nèi)與強(qiáng)化學(xué)習(xí)訓(xùn)練之后的生成結(jié)果。

文章

Tony Blair has said he does not want to retire until he is 91 – as he unveiled plans to set up a ‘cadre’ of ex-leaders to advise governments around the world. The defiant 61-year-old former Prime Minister said he had ‘decades’ still in him and joked that he would ‘turn to drink’ if he ever stepped down from his multitude of global roles. He told Newsweek magazine that his latest ambition was to recruit former heads of government to go round the world to advise presidents and prime ministers on how to run their countries. In an interview with the magazine Newsweek Mr Blair said he did not want to retire until he was 91 years old Mr Blair said his latest ambition is to recruit former heads of government to advise presidents and prime ministers on how to run their countries Mr Blair said he himself had been ‘mentored’ by US president Bill Clinton when he took office in 1997. And he said he wanted to build up his organisations, such as his Faith Foundation, so they are ‘capable of changing global policy’. Last night, Tory MPs expressed horror at the prospect of Mr Blair remaining in public life for another 30 years. Andrew Bridgen said: ‘We all know weak Ed Miliband’s called on Tony to give his flailing campaign a boost, but the attention’s clearly gone to his head.’ (...)

摘要（由人類撰寫的參考答案）

The former Prime Minister claimed he has 'decades' of work left in him. Joked he would 'turn to drink' if he ever stepped down from global roles. Wants to recruit former government heads to advise current leaders. He was 'mentored' by US president Bill Clinton when he started in 1997.

摘要（我們的模型）

Blair said he did not want to retire until he was 91 years old. 61-year-old former prime minister said he would 'turn to drink' if he ever stepped down from his own. He said he wanted to build up his charity to advise presidents and prime ministers on how to run their countries. Mr Blair says he is to recruit former heads of government to go round the world to advise ministers. He says he wants to emulate ex-Israeli president Shimon Peres.

摘要（排除關(guān)注內(nèi)與強(qiáng)化學(xué)習(xí)訓(xùn)練）

61-year-old former prime minister said he did not want to retire until he was 91 years old. He said he wanted to build up his organisations, such as his Faith Foundation. He said he wanted to emulate ex-Israeli president Shimon Peres. Mr Blair said he wanted to emulate ex-Israeli President Shimon Peres. He said he wanted to be seeing someone when he took office in 1997. Mr Blair said he wanted to be seeing someone when he took office in 1997. Mr Blair said he wanted to

圖十一：將我們的模型所生成的摘要示例與移除改進(jìn)機(jī)制后生成的結(jié)果進(jìn)行比較。原始文檔當(dāng)中并未出現(xiàn)的新詞匯以綠色形式標(biāo)記。摘要中出現(xiàn)的重復(fù)性短語(yǔ)以紅色形式標(biāo)記。

總結(jié)

我們的模型顯著改善了多句式文本摘要生成中所使用的各類先進(jìn)技術(shù)，且實(shí)際結(jié)果優(yōu)于現(xiàn)有抽象模型與提取模型的基準(zhǔn)水平。我們相信，我們所作出的解碼器內(nèi)關(guān)注模塊與復(fù)合型訓(xùn)練目標(biāo)貢獻(xiàn)亦能夠改善其它序列生成任務(wù)，特別是在長(zhǎng)文本輸出場(chǎng)景之下。

我們的工作亦涉及諸如ROUGE等自動(dòng)評(píng)估指標(biāo)的限制，根據(jù)結(jié)果來(lái)看，理想的指標(biāo)確實(shí)能夠較好地評(píng)估并優(yōu)化內(nèi)容摘要模型。理想的指標(biāo)應(yīng)與人類擁有基本一致的判斷標(biāo)準(zhǔn)，具體包括摘要內(nèi)容的一致性與可讀性等方面。當(dāng)我們利用此類度量標(biāo)準(zhǔn)對(duì)總結(jié)模型進(jìn)行改進(jìn)時(shí)，其結(jié)果的質(zhì)量應(yīng)該能夠得到進(jìn)一步提升。

引用提示

如果您希望在發(fā)行物中引用此篇博文，請(qǐng)注明：

Romain Paulus、Caiming Xiong以及Richard Socher。2017年。

《一套用于抽象概括的深度強(qiáng)化模型》

致謝

這里要特別感謝Melvin Gruesbeck為本文提供的圖像與統(tǒng)計(jì)數(shù)字。

原文鏈接：

https://metamind.io/research/your-tldr-by-an-ai-a-deep-reinforced-model-for-abstractive-summarization