2020年5月至今，GPT-3發(fā)布近兩年半的時間里，在其神奇的文本生成能力加持下，已經(jīng)能夠很好地輔助人類進行寫作了。

但GPT-3說到底也就是個文本生成模型，與人類的寫作過程可以說是完全不同了。

比如要寫一篇論文或者作文，我們需要先在腦海里構(gòu)造一個框架，查相關(guān)資料，打草稿，再找導(dǎo)師不斷地修改、潤色文字，期間可能還會修改思路，最終才可能成為一篇好文章。

而生成模型得到的文本也就是能滿足語法要求，在內(nèi)容編排上就毫無邏輯，也沒有自我修改的能力，所以讓AI獨立寫作文這件事還很遙遠。

最近Meta AI Research和卡內(nèi)基梅隆大學(xué)的研究人員提出一個新的文本生成模型PEER（計劃Plan，編輯Edit，解釋Explain，重復(fù)Repeat），完全模擬人類寫作文的過程，從打草稿、征求建議到編輯文本，再不斷迭代。

論文地址：https://arxiv.org/abs/2208.11663

PEER解決了傳統(tǒng)語言模型只會生成最終結(jié)果，并且生成文本無法控制的問題，通過輸入自然語言命令，PEER可以對生成文本進行修改。

最重要的是，研究人員訓(xùn)練了多個PEER的實例，能夠填補寫作過程中的多個環(huán)節(jié)，借此可以使用自訓(xùn)練（self-training）技術(shù)提高訓(xùn)練數(shù)據(jù)的質(zhì)量、數(shù)量以及多樣性。

能生成訓(xùn)練數(shù)據(jù)，也就代表PEER的潛力遠不止寫作文那么簡單，還可以在其他沒有編輯歷史的領(lǐng)域使用PEER，讓它自己逐漸提高遵循指令、編寫有用評論和解釋其行為的能力。

NLP也來仿生學(xué)

大型神經(jīng)網(wǎng)絡(luò)在用自然語言進行預(yù)訓(xùn)練后，文本生成的效果已經(jīng)非常強了，但這些模型的生成方式基本就是從左到右一次性輸出結(jié)果文本，與人類寫作的迭代過程有很大不同。

一次性生成也有很多弊端，比如無法追溯文本中的句子進行修改或完善，也無法解釋某句文本的生成原因，并且檢驗生成文本的正確性也很難，結(jié)果中經(jīng)常會生成幻覺（hallucinate）內(nèi)容，即不符合事實的文本。這些缺陷也限制了模型與人類合作進行寫作的能力，因為人類需要的是連貫且符合事實的文本。

PEER模型通過在文本的「編輯歷史」上進行訓(xùn)練，使得模型能夠模擬人類的寫作過程。

1、PEER模型運行時，需要用戶或模型指定一個計劃（Plan），通過自然語言描述他們想要執(zhí)行的行動（action），比如說add some information或者fix grammar errors；

2、然后通過編輯（Edit）文本來實現(xiàn)這一行動；

3、模型可以用自然語言和指向相關(guān)資源來解釋（Explain）該次編輯結(jié)果，比如在文末加一個參考文獻；

4、重復(fù)（Repeat）該過程，直到生成的文本不再需要進一步的更新。

這種迭代的方法不僅使該模型可以將寫一個連貫、一致、事實性的文本這一復(fù)雜的任務(wù)分解成多個較容易的子任務(wù)，還允許人類在生成過程中的任何時刻進行干預(yù)，引導(dǎo)模型向正確的方向發(fā)展，提供用戶的計劃和評論，或者自己上手進行編輯。

通過方法描述就可以看出來，功能實現(xiàn)上最難的并不是用Transformer搭建模型，而是找訓(xùn)練數(shù)據(jù)，想要找到能夠以訓(xùn)練大型語言模型所需的規(guī)模來學(xué)習(xí)這一過程的數(shù)據(jù)顯然是很困難的，因為大部分網(wǎng)站都沒有提供編輯歷史，所以通過爬蟲獲得的網(wǎng)頁沒辦法作為訓(xùn)練數(shù)據(jù)。

即使通過爬蟲獲取不同時間相同網(wǎng)頁作為編輯歷史也不可行，因為沒有對該次編輯做出計劃或解釋的相關(guān)文本。

PEER與之前的迭代編輯方法類似，使用維基百科作為主要編輯和相關(guān)評論的數(shù)據(jù)來源，因為維基百科提供了完整的編輯歷史，包括對各種主題的評論，而且規(guī)模很大，文章中經(jīng)常包含引文，對尋找相關(guān)文件很有幫助。

但僅依靠維基百科作為訓(xùn)練數(shù)據(jù)的唯一來源也存在各種缺點：

1、僅使用維基百科訓(xùn)練得到的模型在預(yù)期文本內(nèi)容的樣子和預(yù)測的計劃和編輯方面需要和維基百科相似；

2、維基百科中的評論是有噪音的，因此在許多情況下，評論并不是計劃或解釋的恰當輸入；

3、維基百科中的許多段落不包含任何引文，雖然這種背景信息的缺乏可以通過使用檢索系統(tǒng)來彌補，但即使這樣的系統(tǒng)也可能無法為許多編輯找到支持性的背景信息。

研究人員提出了一個簡單的方法來解決因維基百科是唯一的評論編輯歷史來源而產(chǎn)生的所有問題：即訓(xùn)練多個PEER實例，并用這些實例學(xué)習(xí)填充編輯過程的各個環(huán)節(jié)。這些模型可以用來生成合成數(shù)據(jù)作為訓(xùn)練語料庫中缺失部分的替代。

最終訓(xùn)練得到四個encoder-decoder模型：

 1、PEER-Edit的輸入為文本x和一組文檔，模型輸出為計劃和編輯后的文本，其中p為計劃文本。

2、PEER-Undo的輸入為編輯后的文本和一組文檔，模型輸出結(jié)果為是否撤銷該次編輯。

3、PEER-Explain用來生成該次編輯的解釋，輸入為源文本、編輯后的文本和一組相關(guān)文檔。

4、 PEER-Document輸入源文本、編輯后的文本和計劃，模型輸出為該次編輯中最有用的背景信息。

PEER的所有變體模型都用來生成合成數(shù)據(jù)，既生成缺失的部分來補充的訓(xùn)練數(shù)據(jù)，也用來替換現(xiàn)有數(shù)據(jù)中的「低質(zhì)量」部分。

為了能夠?qū)θ我馕谋緮?shù)據(jù)進行訓(xùn)練，即使該段文本沒有編輯歷史，也使用PEER-Undo來生成合成的「后向」編輯，即對源文本反復(fù)應(yīng)用PEER-Undo直到文本為空，再調(diào)用PEER-Edit在相反的方向進行訓(xùn)練。

在生成計劃時，使用PEER-Explain來修正語料庫中許多低質(zhì)量的評論，或者處理沒有評論的文本。從PEER-Explain的輸出中隨機采樣多個結(jié)果作為「潛在的計劃」，通過計算實際編輯的似然概率，并選擇概率最高的作為新計劃。

如果對于特定編輯操作無法找到相關(guān)文檔，則使用PEER-Document生成一組合成的文檔，包含執(zhí)行該次編輯操作的信息。最關(guān)鍵的是，僅在訓(xùn)練PEER-Edit這么做，在推理階段并不提供任何合成文檔。

為了提高生成的計劃、編輯和文檔的質(zhì)量和多樣性，研究人員還實現(xiàn)了一個控制機制，即在模型被訓(xùn)練生成的輸出序列中預(yù)置特定的控制標記，然后在推理過程中使用這些控制標記來指導(dǎo)模型的生成，標記包括：

1、type用來控制PEER-Explain生成的文本類型，可選值為instructon（輸出必須以不定式開頭to ....）和other；

2、length, 控制PEER-Explain的輸出長度，可選值包括s（少于2個詞）, m（2-3個詞），l（4-5個詞）和xl（多于或等于6個詞）；

3、overlap, 是否PEER-Explain生成的詞可以與編輯文本重復(fù)，可選值為true和false；

4、words，用來控制PEER-Undo在源文本和編輯后文本之間不同詞的個數(shù)，可選值為所有整數(shù)；

5、contains，用來確保PEER-Document輸出的文本包含某個substring

PEER沒有對PEER-edit引入控制符，即沒有假定用戶可能會用模型解決編輯任務(wù)的類型，使得模型更加通用。

在實驗對比階段，PEER使用LM-Adapted T5的3B參數(shù)版本預(yù)訓(xùn)練初始化。

為了評估了PEER在不同領(lǐng)域中遵循一系列計劃、利用所提供的文檔和進行編輯的能力，特別是在沒有編輯歷史的領(lǐng)域中的表現(xiàn)，文中引入了一個新的數(shù)據(jù)集Natural Edits，一個針對不同文本類型和領(lǐng)域的自然發(fā)生的編輯的集合。

數(shù)據(jù)從三個英文網(wǎng)絡(luò)資源中收集獲得：從維基百科中收集百科全書式的頁面，從Wikinews收集新聞文章，從StackExchange的烹飪、園藝、法律、電影、政治、旅游和工作場所子論壇收集問題，所有這些網(wǎng)站都提供了帶有評論的編輯歷史，這些評論詳細說明了編輯的意圖，并將其作為計劃提供給模型。

在Wikinews和StackExchange子集的訓(xùn)練中，只提供純文本數(shù)據(jù)，而非實際的編輯，從而測試在沒有編輯歷史的領(lǐng)域的編輯能力。

實驗結(jié)果可以看出PEER的表現(xiàn)在一定程度上超過了所有的基線，并且計劃和文檔提供了模型能夠使用的互補信息

 在Natural Edits的所有子集上評估PEER后可以發(fā)現(xiàn)，計劃對各領(lǐng)域都有很大的幫助，這表明理解維基百科編輯中的計劃的能力可以直接轉(zhuǎn)移到其他領(lǐng)域。重要的是，在Natural Edits的所有子集上，PEER的領(lǐng)域適應(yīng)性變體明顯優(yōu)于常規(guī)的PEER，尤其是在園藝、政治和電影子集上有很大的改進（分別為84%、71%和48%的EM-Diff），也顯示了在不同領(lǐng)域中應(yīng)用PEER時，生成合成編輯的有效性。

? ?