我們存儲(chǔ)數(shù)據(jù)的方式正在發(fā)生變化，從生物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)，其實(shí)最常見(jiàn)的情況是使用大腦來(lái)存儲(chǔ)數(shù)據(jù)。隨著當(dāng)今可用數(shù)據(jù)的不斷增長(zhǎng)，人們尋求用不同的外部設(shè)備存儲(chǔ)數(shù)據(jù)，如硬盤驅(qū)動(dòng)器或云存儲(chǔ)。隨著深度學(xué)習(xí)技術(shù)的興起，另一種有前景的存儲(chǔ)技術(shù)已經(jīng)出現(xiàn)，它使用人工神經(jīng)網(wǎng)絡(luò)來(lái)存儲(chǔ)數(shù)據(jù)中的信息。

研究者認(rèn)為，數(shù)據(jù)存儲(chǔ)的最終目標(biāo)是更好地服務(wù)于人類生活，數(shù)據(jù)的訪問(wèn)方式和存儲(chǔ)方式同樣重要。然而，存儲(chǔ)和訪問(wèn)數(shù)據(jù)的方式存在差異。歷史上，人們一直在努力彌補(bǔ)這一差距，以便更好地利用世界上存在的信息。如圖 3 所示：

• 在生物神經(jīng)網(wǎng)絡(luò)（如人腦）方面，人類在很小的時(shí)候就接受了課程（即知識(shí)）教育，以便他們能夠提取特定的數(shù)據(jù)來(lái)應(yīng)對(duì)復(fù)雜多變的生活。
• 對(duì)于外部設(shè)備存儲(chǔ)，人們通常按照某種模式（例如表格）對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，然后采用專門的語(yǔ)言（例如 SQL）從數(shù)據(jù)庫(kù)中有效地檢索所需的信息。
• 對(duì)于基于人工神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)，研究人員利用自監(jiān)督學(xué)習(xí)存儲(chǔ)來(lái)自大型語(yǔ)料庫(kù)的數(shù)據(jù)（即預(yù)訓(xùn)練），然后將該網(wǎng)絡(luò)用于各種下游任務(wù)（例如情緒分類）。

來(lái)自 CMU 的研究者提出了一種訪問(wèn)包含各種類型信息數(shù)據(jù)的新方法，這些信息可以作為指導(dǎo)模型進(jìn)行參數(shù)優(yōu)化的預(yù)訓(xùn)練信號(hào)。該研究以信號(hào)為單位結(jié)構(gòu)化地表示數(shù)據(jù)。這類似于使用數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)的場(chǎng)景：首先將它們構(gòu)造成表或 JSON 格式，這樣就可以通過(guò)專門的語(yǔ)言 (如 SQL) 準(zhǔn)確地檢索所需的信息。

此外，該研究認(rèn)為有價(jià)值的信號(hào)豐富地存在于世界各類的數(shù)據(jù)中，而不是簡(jiǎn)單地存在于人工管理的監(jiān)督數(shù)據(jù)集中， 研究人員需要做的是 (a) 識(shí)別數(shù)據(jù) (b) 用統(tǒng)一的語(yǔ)言重組數(shù)據(jù)（c）將它們集成并存儲(chǔ)到預(yù)訓(xùn)練語(yǔ)言模型中。該研究稱這種學(xué)習(xí)范式為重構(gòu)預(yù)訓(xùn)練（reStructured Pre-training，RST）。研究者將這個(gè)過(guò)程比作「礦山尋寶」。不同的數(shù)據(jù)源如維基百科，相當(dāng)于盛產(chǎn)寶石的礦山。它們包含豐富的信息，比如來(lái)自超鏈接的命名實(shí)體，可以為模型預(yù)訓(xùn)練提供信號(hào)。一個(gè)好的預(yù)訓(xùn)練模型 (PLM) 應(yīng)該清楚地了解數(shù)據(jù)中各種信號(hào)的組成，以便根據(jù)下游任務(wù)的不同需求提供準(zhǔn)確的信息。

論文地址：https://arxiv.org/pdf/2206.11147.pdf

預(yù)訓(xùn)練語(yǔ)言模型尋寶

該研究提出自然語(yǔ)言處理任務(wù)學(xué)習(xí)的新范式, 即 RST，該范式重新重視數(shù)據(jù)的作用，并將模型預(yù)訓(xùn)練和下游任務(wù)的微調(diào)視為數(shù)據(jù)的存儲(chǔ)和訪問(wèn)過(guò)程。在此基礎(chǔ)上，該研究實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的原則，即良好的存儲(chǔ)機(jī)制不僅應(yīng)該具有緩存大量數(shù)據(jù)的能力，還應(yīng)該考慮訪問(wèn)的方便性。

在克服了一些工程挑戰(zhàn)后，該研究通過(guò)對(duì)重構(gòu)數(shù)據(jù)（由各種有價(jià)值的信息而不是原始數(shù)據(jù)組成）進(jìn)行預(yù)訓(xùn)練來(lái)實(shí)現(xiàn)這一點(diǎn)。實(shí)驗(yàn)證明，RST 模型不僅在來(lái)自各種 NLP 任務(wù)（例如分類、信息抽取、事實(shí)檢索、文本生成等）的 52/55 流行數(shù)據(jù)集上表現(xiàn)大幅超過(guò)現(xiàn)有最好系統(tǒng)（例如，T0），而且無(wú)需對(duì)下游任務(wù)進(jìn)行微調(diào) 。在每年有數(shù)百萬(wàn)學(xué)生參加的中國(guó)最權(quán)威的高考英語(yǔ)考試中也取得了優(yōu)異的成績(jī)。

具體而言，本文所提出的高考 AI (Qin) 比學(xué)生的平均分?jǐn)?shù)高出 40 分，比使用 1/16 參數(shù)的 GPT3 高出 15 分。特別的 Qin 在 2018 年英語(yǔ)考試中獲得了 138.5 的高分（滿分 150）。

此外，該研究還發(fā)布了高考基準(zhǔn)（Gaokao Benchmark）在線提交平臺(tái)，包含 2018-2021 年至今 10 篇帶注釋的英文試卷（并將每年進(jìn)行擴(kuò)展），讓更多的 AI 模型參加高考，該研究還建立了一個(gè)相對(duì)公平的人類和 AI 競(jìng)爭(zhēng)的測(cè)試平臺(tái)，幫助我們更好地了解我們所處的位置。另外，在前幾天（2022.06.08）的 2022 年高考英語(yǔ)測(cè)試中，該 AI 系統(tǒng)獲得了 134 分的好成績(jī)，而 GPT3 只獲得了 108 分。

該研究的主要貢獻(xiàn)包括：

（1）提出 NLP 方法的演進(jìn)假說(shuō)。該研究試圖通過(guò)探索現(xiàn)代 NLP 技術(shù)發(fā)展之間的內(nèi)在聯(lián)系，從全局的角度建立了「NLP 技術(shù)演進(jìn)假說(shuō)」。簡(jiǎn)而言之，該假說(shuō)的核心思想是：技術(shù)的迭代總是沿著這樣的方向發(fā)展：即開(kāi)發(fā)者只需做更少的事情便可以來(lái)設(shè)計(jì)更好、更通用的系統(tǒng)。

到目前為止，NLP 技術(shù)演進(jìn)已經(jīng)經(jīng)歷了如圖 2 所示的多次迭代：特征工程→架構(gòu)工程→目標(biāo)工程→prompt 工程，正在朝著更實(shí)際有效的以數(shù)據(jù)為中心的工程邁進(jìn)。研究者希望未來(lái)能激發(fā)更多的科研人員批判性地思考這個(gè)問(wèn)題，把握技術(shù)進(jìn)步的核心驅(qū)動(dòng)力，找到學(xué)術(shù)發(fā)展「梯度上升」路徑，做更多有科學(xué)意義的工作。

（2）基于演進(jìn)假說(shuō)新范式：重構(gòu)預(yù)訓(xùn)練（reStructured Pre-training）。該范式將模型預(yù)訓(xùn)練 / 微調(diào)視為數(shù)據(jù)存儲(chǔ) / 訪問(wèn)過(guò)程，并聲稱良好的存儲(chǔ)機(jī)制應(yīng)該使預(yù)期數(shù)據(jù)易于訪問(wèn)。有了這樣一個(gè)新范式，該研究能夠從 10 個(gè)數(shù)據(jù)源（例如 Wikipedia）中統(tǒng)一世界上 26 種不同類型的信號(hào)（例如句子的實(shí)體）。在此基礎(chǔ)上訓(xùn)練的通用模型在各種任務(wù)上取得了很強(qiáng)的泛化能力，其中包括 55 個(gè) NLP 的數(shù)據(jù)集。

（3）用于高考的 AI?；谏鲜龇妒?，該研究開(kāi)發(fā)了一個(gè)專門用于高考英語(yǔ)測(cè)試任務(wù)的 AI 系統(tǒng)——Qin。這是世界上第一個(gè)基于深度學(xué)習(xí)的高考英語(yǔ)人工智能系統(tǒng)。Qin 在多年的高考試題上都取得了卓越的成績(jī)：比普通人高出 40 分，僅用 GPT-3 1/16 的參數(shù)量就獲得了比 GPT-3 高 15 分的成績(jī)。特別是在 2018 年英語(yǔ)試題上，QIN 獲得了 138.5 分（滿分 150 分）的高分，聽(tīng)力和閱讀理解都滿分。

(4) 豐富的資源。(1) 為了跟蹤現(xiàn)有 AI 技術(shù)在實(shí)現(xiàn)人類智能方面的進(jìn)展，該研究發(fā)布了一種新基準(zhǔn)——Gaokao Benchmark。它不僅提供對(duì)現(xiàn)實(shí)世界場(chǎng)景中各種實(shí)際任務(wù)和領(lǐng)域的綜合評(píng)估，還可以提供人類的表現(xiàn)成績(jī)，以便人工智能系統(tǒng)可以直接與人類進(jìn)行比較。（2）該研究使用 ExplainaBoard（Liu et al., 2021b）為 Gaokao Benchmark 設(shè)置了一個(gè)交互式排行榜，以便更多的 AI 系統(tǒng)可以輕松參加 Gaokao Benchmark 并自動(dòng)獲得分?jǐn)?shù)。（3）所有資源都可以在 GitHub 上找到。

此外，AI 在高考英語(yǔ)測(cè)試任務(wù)上的成功為研究者提供了很多新的思考：AI 技術(shù)可以賦能教育，幫助解決教育和教學(xué)中的一系列問(wèn)題。

例如，(a) 幫助教師自動(dòng)評(píng)分，(b) 幫助學(xué)生回答有關(guān)作業(yè)的問(wèn)題并詳細(xì)解釋，以及 (c) 更重要的是，促進(jìn)教育公平，讓大多數(shù)家庭都能獲得同等質(zhì)量的教育服務(wù)。這項(xiàng)工作首次以統(tǒng)一的方式整合了世界上 26 個(gè)不同的信號(hào)，而不是試圖區(qū)分有監(jiān)督和無(wú)監(jiān)督的數(shù)據(jù)，而是關(guān)心我們可以多少使用大自然給我們的信息以及如何使用。來(lái)自各種 NLP 任務(wù)的 50 多個(gè)數(shù)據(jù)集的出色表現(xiàn)顯示了以數(shù)據(jù)為中心的預(yù)訓(xùn)練的價(jià)值，并激發(fā)了更多的未來(lái)探索。

重構(gòu)預(yù)訓(xùn)練

解決 NLP 任務(wù)的范式正在迅速變化，并且仍在持續(xù)，下表列出了 NLP 中的五種范式：

與現(xiàn)有的以模型為中心的設(shè)計(jì)范式不同，該研究更多地從數(shù)據(jù)的角度思考，以最大限度地利用已有數(shù)據(jù)。具體來(lái)說(shuō)，該研究采用數(shù)據(jù)存儲(chǔ)和訪問(wèn)視圖，其中預(yù)訓(xùn)練階段被視為數(shù)據(jù)存儲(chǔ)過(guò)程，而基于預(yù)訓(xùn)練模型的下游任務(wù)（例如，情感分類）被視為來(lái)自預(yù)訓(xùn)練模型的數(shù)據(jù)訪問(wèn)過(guò)程，并聲稱良好的數(shù)據(jù)存儲(chǔ)機(jī)制應(yīng)該使存儲(chǔ)的數(shù)據(jù)更易于訪問(wèn)。

為了實(shí)現(xiàn)這一目標(biāo)，該研究將數(shù)據(jù)視為由不同信號(hào)組成的對(duì)象，并認(rèn)為一個(gè)好的預(yù)訓(xùn)練模型應(yīng)該（1）覆蓋盡可能多的信號(hào)類型，（2）當(dāng)下游任務(wù)需要時(shí)，為這些信號(hào)提供精確的訪問(wèn)機(jī)制。一般來(lái)說(shuō)，這個(gè)新范式包含三個(gè)步驟：重構(gòu)、預(yù)訓(xùn)練、微調(diào)。

重構(gòu)、預(yù)訓(xùn)練、微調(diào)的新范式凸顯了數(shù)據(jù)的重要性，研究人員需要在數(shù)據(jù)處理上投入更多的工程精力。

重構(gòu)工程

信號(hào)定義

信號(hào)是數(shù)據(jù)中存在的有用信息，可以為機(jī)器學(xué)習(xí)模型提供監(jiān)督，表示為 n 元組。例如「莫扎特出生在薩爾茨堡」，「莫扎特」、「薩爾茨堡」可以被認(rèn)為是命名實(shí)體識(shí)別的信號(hào)。通常，可以從不同的角度對(duì)信號(hào)進(jìn)行聚類，如下圖 6 所示。

數(shù)據(jù)挖掘

現(xiàn)實(shí)世界的數(shù)據(jù)中包含很多不同類型的信號(hào)。重構(gòu)預(yù)訓(xùn)練使這些信號(hào)能夠充分被利用。該研究將收集到的信號(hào)（n 元組）組織在樹(shù)形圖中，如下圖 10 所示。

信號(hào)提取

下一步該研究進(jìn)行了信號(hào)提取和處理，涉及從不同模態(tài)的數(shù)據(jù)挖掘中獲取原始數(shù)據(jù)、數(shù)據(jù)清洗和數(shù)據(jù)規(guī)范化?，F(xiàn)有的方法大致分為兩種：（1）基于規(guī)則的，（2）基于機(jī)器學(xué)習(xí)的。在這項(xiàng)工作中，該研究主要關(guān)注基于規(guī)則的信號(hào)提取策略，并為未來(lái)的工作留下更多高覆蓋率的方法。

信號(hào)重構(gòu)

在從各種數(shù)據(jù)挖掘中提取出不同的信號(hào)之后，接下來(lái)重要的一步是將它們統(tǒng)一成一個(gè)固定的形式，以便在預(yù)訓(xùn)練期間將所有信息一致存儲(chǔ)在模型中。prompt 方法（Brown et al., 2020; Liu et al., 2021d）可以實(shí)現(xiàn)這個(gè)目標(biāo)，原則上，通過(guò)適當(dāng)?shù)?prompt 設(shè)計(jì)，它幾乎可以將所有類型的信號(hào)統(tǒng)一為一種語(yǔ)言模型風(fēng)格。

該研究將信號(hào)分為兩大類：通用信號(hào)和任務(wù)相關(guān)信號(hào)。前者包含基本的語(yǔ)言知識(shí)，可以在一定程度上使所有下游任務(wù)受益，而后者則可以使某些特定的下游任務(wù)受益。

在 55 種常用的 NLP 數(shù)據(jù)集上的實(shí)驗(yàn)

該研究在 55 個(gè)數(shù)據(jù)集上進(jìn)行評(píng)估，然后將它們分別與 GPT3 和 T0pp 進(jìn)行比較。與 GPT3 比較的結(jié)果如圖所示：在除 cb 數(shù)據(jù)集之外的四個(gè)數(shù)據(jù)集上，RST-All 和 RST-Task 都具有比 GPT3 的小樣本學(xué)習(xí)更好的零樣本性能。此外，cb 數(shù)據(jù)集是這些數(shù)據(jù)集中最小的，驗(yàn)證集中只有 56 個(gè)樣本，因此不同的 prompt 在該數(shù)據(jù)集上的性能會(huì)有較大的波動(dòng)。

與 T0pp 比較結(jié)果如表 4-6 所示。例如在 55 個(gè)測(cè)量的平均性能中，RST-All 在 49 個(gè)數(shù)據(jù)集上擊敗了 T0pp，并在 47/55 示例上以最大性能勝出。此外，在 55 個(gè)數(shù)據(jù)集的平均性能測(cè)試中，RST-Task 在 52 個(gè)數(shù)據(jù)集上優(yōu)于 T0pp，并在 50/55 個(gè)示例下超越 T0pp。這說(shuō)明重構(gòu)學(xué)習(xí)的優(yōu)越性。

性能最佳的模型 RST-Task 擅長(zhǎng)哪些任務(wù)？為了回答這個(gè)問(wèn)題，該研究將 RST-Task 模型在零樣本設(shè)置中的性能與當(dāng)前 SOTA 模型進(jìn)行比較，結(jié)果如圖 13 所示。RST-Task 擅長(zhǎng)主題分類、情感分類和自然語(yǔ)言推理任務(wù)，但在信息提取任務(wù)中表現(xiàn)較差。

高考實(shí)驗(yàn)：邁向人類水平的 AI

該研究收集了 10 份高考英語(yǔ)試卷，包括 2018 年國(guó)考 I/III、2019 年國(guó)考 I/II/III、2020 年國(guó)考 I/II/III、2021 年全國(guó)卷 A/B。這些試卷遵循相同的題型，他們將所有考試題型分為以下七個(gè)子類別，如表 7 所示：

每篇高考英語(yǔ)試卷滿分 150 分。聽(tīng)力、完形填空、閱讀、寫作分別占 30、45、40、35。通常，寫作部分是主觀的，需要人工評(píng)估，而其他部分是客觀的，可以自動(dòng)評(píng)分。如表 8 所示：

使用表 1 中所示的重構(gòu)工程循環(huán)來(lái)構(gòu)建高考英語(yǔ) AI 系統(tǒng)，即 Qin。整個(gè)過(guò)程如圖 14 所示：

該研究使用以下 prompt 將原始信號(hào)元組轉(zhuǎn)換為 prompt 樣本，如表 9 所示：

實(shí)驗(yàn)結(jié)果如表 10-11 所示，我們可以得出以下結(jié)論：在每一份英語(yǔ)試卷中，RST 在兩套聽(tīng)力考試中取得了最高的總分，平均分?jǐn)?shù)為 130.6 分；與 T0pp 相比，RST 的性能要遠(yuǎn)遠(yuǎn)優(yōu)于相同模型大小下的 T0pp。在所有設(shè)置中，RST 獲得的總分平均比 T0pp 高出 54.5 分，最高差距為 69 分(占總分的 46%)；與 GPT3 相比，RST 可以在模型大小小 16 倍的情況下取得明顯更好的結(jié)果。在所有考慮的設(shè)置中，RST 獲得的總分平均比 T0pp 高 14.0 分，最高為 26 分（占總分的 17%）；對(duì)于 T0pp，使用黃金和語(yǔ)音轉(zhuǎn)文本成績(jī)單獲得的聽(tīng)力分?jǐn)?shù)差異很大，平均為 4.2 分。相比之下，GPT3 和 RST 分別為 0.6 和 0.45，表明 T0pp 的性能對(duì)文本質(zhì)量很敏感。

該研究進(jìn)行了細(xì)粒度分析，以了解不同模型在不同問(wèn)題子類別上的表現(xiàn)。在圖 15-(a) 中，很明顯 RST 和 GPT3 在每個(gè)問(wèn)題子類別上都優(yōu)于 T0pp。

圖 15-(b)為近年來(lái)模型的表現(xiàn)和學(xué)生在全國(guó)試卷上的平均表現(xiàn)。很明顯，T0pp 在 9/10 試卷上的總分低于學(xué)生的平均水平，而 RST 和 GPT3 的表現(xiàn)則超過(guò)了學(xué)生的平均水平。尤其是這十份試卷中有五份，RST 的總分超過(guò)了 130（通常被認(rèn)為是學(xué)生爭(zhēng)取的目標(biāo)分?jǐn)?shù)）。

2022 年高考 - 英語(yǔ)考試（2022.06.08）剛剛結(jié)束，了解到模型在最近一年的高考試卷中的表現(xiàn)。該研究用 GPT3 和 RST 進(jìn)行實(shí)驗(yàn)。結(jié)果顯示 RST 總分達(dá)到 134，遠(yuǎn)高于 GPT3 達(dá)到的 108 分。