[[425896]]

本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

現(xiàn)在，AI能幫你200字看完一段12萬詞的長篇小說了！

比如這樣一段121567詞的《傲慢與偏見》原文：

AI分四個階段來總結(jié)：

先把原文總結(jié)成276個摘要（24796詞），然后進一步壓縮成25個摘要（3272詞），再到4個摘要（475詞）。

最終得到一段175詞的摘要，長度只有原片段的千分之一：

粗略翻譯下看看，關(guān)鍵的幾個情節(jié)都點到了：

這理解力，不禁讓人望著某泡面壓留下了淚水。

這就是OpenAI最新推出的能給任意長度書籍寫摘要的模型。

平均10萬詞以上的訓(xùn)練文本，最終能壓縮到400字以內(nèi)。

而且這也是源自O(shè)penAI精妙的刀法：沒錯，就是把GPT-3數(shù)據(jù)集里的書籍/小說部分抽出來進行訓(xùn)練所得到的模型。

話不多說，一起來看看這個微調(diào)版的GPT-3模型。

遞歸任務(wù)分解

首先，現(xiàn)將“總結(jié)一段文本”這一任務(wù)進行算法上的分解。

如果該文本足夠短，就直接進行總結(jié)；如果它比較長，就把文本分成小塊，并遞歸地對每一塊進行總結(jié)。

這就形成了一棵總結(jié)任務(wù)樹：

其中只有葉子任務(wù)會對書籍中的原始文本進行操作。

并且，已生成的摘要應(yīng)該放在同一深度，并按照順序串聯(lián)起來。

比如上圖中的藍色任務(wù)的先前總結(jié)輸出就用虛線來表示，這樣，每一個摘要都是自然地從上一層任務(wù)（前文）流出，以保證那些相距較遠的段落能夠真正地“聯(lián)系上下文”。

接下來開始訓(xùn)練：

1. 根據(jù)上述的任務(wù)樹將書籍和其子摘要遞歸為任務(wù)；
2. 從樹上抽出一個節(jié)點，對應(yīng)一個帶訓(xùn)練的總結(jié)任務(wù)；
3. 獲得訓(xùn)練數(shù)據(jù)，給該節(jié)點以輸入；
4. 使用訓(xùn)練數(shù)據(jù)對模型進行微調(diào)。

其中，所有訓(xùn)練數(shù)據(jù)都來自GPT-3中的書籍部分。

研究人員會跳過非敘事性書籍，盡量選擇小說類（平均包含超過10萬個單詞），因為這些上下文關(guān)聯(lián)性更強的文本對總結(jié)任務(wù)來說更難。

這一訓(xùn)練過程可以使用新的模型、不同的節(jié)點采樣策略、不同的訓(xùn)練數(shù)據(jù)類型（演示和比較）來迭代。

對于演示用的數(shù)據(jù)，使用標準的交叉熵損失函數(shù)進行行為克?。˙C）。

對于比較數(shù)據(jù)，則通過強化學(xué)習(xí)（RL）來對抗一個專為人類偏好而訓(xùn)練的獎勵模型。

強化學(xué)習(xí)也有三種變體的抽樣任務(wù)：

• 全樹
• 第一棵子樹
• 第一片葉子

訓(xùn)練完成后進行總結(jié)，任務(wù)的最終目的是追溯出敘述的時間線和整體主題。

每個摘要子任務(wù)的目標是將文本壓縮5到10倍，長度上限為128到384個符號。

優(yōu)于現(xiàn)有同類模型

實驗階段，研究人員使用了Goodreads 2020榜單上的40本最受歡迎的書籍，其中囊括了幻想、恐怖、愛情、推理等近20個類型。

然后讓兩名人類研究員和模型同時進行總結(jié)，要求雙方的摘要質(zhì)量的一致性接近于80%。

模型規(guī)模分為175B和6B兩種，且訓(xùn)練模式也分為上述的強化學(xué)習(xí)的三種變體任務(wù)。

最后結(jié)果中，可以看到第一棵子樹RL和全樹RL的總結(jié)任務(wù)最接近于人類的水平：

并且，也有超過5%的175B模型的摘要被打到了6分（滿分7分），超過15%的摘要被打到5分：

研究團隊也在最近提出的BookSum數(shù)據(jù)集上進行了測試，結(jié)果比現(xiàn)有的長文本總結(jié)模型更好：

除此之外，摘要是否能用來回答關(guān)于原文的問題也是評估方法之一。

因此，團隊將他們的總結(jié)模型應(yīng)用于NarrativeQA問題回答數(shù)據(jù)集，可以看到，雖然沒有經(jīng)過明確的問題回答訓(xùn)練，但在所有的指標上都獲得了最好的結(jié)果：

作者介紹

這篇研究出自O(shè)penAI的 OpenAI Alignment team，他們表示，目前沒有開源此模型的計劃。

論文一作Jeff Wu本碩都畢業(yè)于麻省理工大學(xué)，在加入OpenAI之前有過在谷歌工作的經(jīng)歷。

共同一作Long Ouyang本科畢業(yè)于哈佛大學(xué)，博士則畢業(yè)于斯坦福大學(xué)的認知心理學(xué)專業(yè)，主要研究領(lǐng)域為認知科學(xué)與概率規(guī)劃研究。

論文：
https://arxiv.org/abs/2109.10862

OpenAI官網(wǎng)介紹：
https://openai.com/blog/summarizing-books/