引言：探索小規(guī)模語料庫中的知識獲取

在現(xiàn)代的自然語言處理領(lǐng)域，大規(guī)模預訓練模型已經(jīng)顯示出了在各種知識密集型任務中的卓越性能。這些模型通常依賴于大量的、結(jié)構(gòu)化不強的互聯(lián)網(wǎng)文本數(shù)據(jù)進行訓練，從而獲取豐富的世界知識。然而，這種知識獲取方式存在一個明顯的問題：數(shù)據(jù)效率低下。為了學習特定的事實，模型必須在成百上千的不同表述中進行訓練，這在面對小規(guī)模、特定領(lǐng)域的語料庫時尤為突出，因為在這些語料庫中，每個事實可能很少出現(xiàn)或僅出現(xiàn)一次。

為了解決這一問題，本文提出了一種新的方法——合成持續(xù)預訓練（synthetic continued pretraining）。這種方法首先利用小規(guī)模的特定領(lǐng)域語料庫合成一個更易于學習的大規(guī)模語料庫，然后在此合成語料庫上繼續(xù)進行預訓練。通過這種方式，模型能夠在沒有訪問源文檔的情況下回答問題和遵循與源文檔相關(guān)的指令。

本研究的核心貢獻包括提出了一種新的從小規(guī)模語料庫中獲取知識的方法，并通過實驗驗證了該方法的有效性。此外，本文還構(gòu)建了一個簡單的數(shù)學模型來分析合成數(shù)據(jù)增強算法，并展示了如何通過合成數(shù)據(jù)增強來“重新排列”知識，以實現(xiàn)更高效的學習。

論文標題: Synthetic Continued Pretraining 

機構(gòu): Stanford University

論文鏈接:??https://arxiv.org/pdf/2409.07431.pdf??

研究背景與動機

在自然語言處理領(lǐng)域，大規(guī)模預訓練模型已經(jīng)顯示出了在獲取世界知識方面的顯著能力，這使得它們能夠執(zhí)行知識密集型任務。然而，這種知識獲取過程是數(shù)據(jù)低效的，模型需要在成百上千的不同表達中學習到特定的事實。這在適應特定領(lǐng)域的小規(guī)模文檔集時尤為挑戰(zhàn)，因為在這些文檔中，某些事實可能很少出現(xiàn)或只出現(xiàn)一次。

為了解決從小規(guī)模語料庫中獲取知識的問題，我們提出了一種使用合成數(shù)據(jù)繼續(xù)預訓練的方法。這種方法首先使用小規(guī)模的領(lǐng)域特定語料庫來合成一個更適合學習的大規(guī)模語料庫，然后在這個合成的語料庫上進行繼續(xù)預訓練。這種方法的核心在于，通過合成數(shù)據(jù)增強算法來增加數(shù)據(jù)的多樣性，從而提高模型的數(shù)據(jù)效率和學習能力。

方法介紹：EntiGraph合成數(shù)據(jù)增強算法

1. 算法概述

EntiGraph是一種基于實體的數(shù)據(jù)增強算法，它通過分析文檔中的實體及其關(guān)系來合成新的文本數(shù)據(jù)。該算法首先從源文檔中提取關(guān)鍵實體，然后利用語言模型生成關(guān)于這些實體之間關(guān)系的文本描述，通過這種方式迭代地填充知識圖譜。

2. 實體提取

EntiGraph首先對文檔進行實體提取，識別出文檔中的關(guān)鍵實體，如人名、地點、概念等。這一步是通過向預訓練的語言模型輸入文檔并請求它標識出文檔中的主要實體來完成的。

3. 實體描述生成

對于每個提取出的實體，EntiGraph使用語言模型生成該實體在文檔上下文中的詳細描述。這包括實體的定義、它在文檔中的作用以及與其他實體的關(guān)系等。

4. 關(guān)系分析

在實體描述生成之后，EntiGraph進一步分析不同實體之間的關(guān)系。算法會探索實體對或?qū)嶓w組合之間的潛在聯(lián)系，并生成描述這些關(guān)系的文本。這一步驟幫助模型理解和學習實體之間復雜的相互作用和依賴。

通過這三個步驟，EntiGraph能夠從一個小規(guī)模的、信息密度高的語料庫中生成一個大規(guī)模的、信息豐富且多樣化的合成語料庫，為語言模型的繼續(xù)預訓練提供了更豐富的訓練材料。這種方法不僅增強了模型對特定領(lǐng)域知識的理解，還提高了模型在面對新領(lǐng)域或少見事實時的適應能力和表現(xiàn)。

實驗設置

在本研究中，我們提出了一種名為“合成持續(xù)預訓練”（synthetic continued pretraining）的方法，旨在通過合成數(shù)據(jù)增強來提高語言模型從小規(guī)模語料庫中學習的效率。我們使用了一個名為EntiGraph的數(shù)據(jù)增強算法，該算法通過分析和合成文檔中的實體關(guān)系來生成新的文本數(shù)據(jù)。

實驗設計與評估方法

我們的實驗基于標準的閱讀理解數(shù)據(jù)集（QuALITY, Pang et al. (2022)）。在這個設置中，我們首先從一個包含265本書籍的小規(guī)模語料庫（總共1.3M個token）中，使用EntiGraph生成了600M個合成token。接著，我們在這些合成token上繼續(xù)預訓練一個名為Llama 3 8B的語言模型，并在QuALITY問題集上評估模型的問答準確性。

數(shù)據(jù)增強算法：EntiGraph

EntiGraph算法首先從源文檔中提取關(guān)鍵實體，然后利用語言模型生成關(guān)于這些實體的文本描述，以及這些實體之間的關(guān)系描述。這一過程包括三個步驟：

1. 實體提?。簭奈臋n中識別出關(guān)鍵實體。
2. 單實體描述：為每個實體生成詳細的文本描述。
3. 關(guān)系分析：生成描述實體間相互關(guān)系的文本。

通過這種方法，我們能夠從一個高度濃縮的知識表示中生成一個大規(guī)模、多樣化的合成語料庫，為模型提供更豐富的學習材料。

主要實驗結(jié)果與分析

問答準確性評估

在使用EntiGraph生成的600M合成token進行預訓練后，我們觀察到模型在QuALITY問題集上的表現(xiàn)顯著提升。具體來說，模型的問答準確率從基線模型的39.49%提高到56.42%。這一結(jié)果表明，合成持續(xù)預訓練能夠有效地提高模型處理特定領(lǐng)域問題的能力。

與基線模型的比較

我們還將EntiGraph預訓練模型與兩個基線模型進行了比較：

1. 原始語料預訓練（Raw CPT）：直接在原始QuALITY文章上進行預訓練。
2. 重述語料預訓練（Rephrase CPT）：在重述后的QuALITY文章上進行預訓練。

結(jié)果顯示，EntiGraph預訓練模型在問答任務上的表現(xiàn)顯著優(yōu)于這兩個基線模型，特別是與重述語料預訓練模型相比，EntiGraph模型展示了更好的知識獲取和應用能力。

數(shù)據(jù)增強的影響

通過對比不同數(shù)量的合成token對模型性能的影響，我們發(fā)現(xiàn)模型的準確率與使用的合成token數(shù)量呈對數(shù)線性關(guān)系。這一發(fā)現(xiàn)支持了我們的假設：通過增加合成數(shù)據(jù)的多樣性和數(shù)量，可以有效地提升模型的學習效率和最終性能。

綜上所述，合成持續(xù)預訓練和EntiGraph數(shù)據(jù)增強算法在提高語言模型從小規(guī)模、專業(yè)領(lǐng)域語料庫中學習的效率方面顯示出了顯著的潛力。這些結(jié)果為未來在更廣泛的應用中使用合成數(shù)據(jù)生成技術(shù)提供了有價值的見解和證據(jù)。

總結(jié)

本研究提出了一種新穎的合成持續(xù)預訓練方法，通過EntiGraph算法生成高質(zhì)量的合成數(shù)據(jù)，有效地支持了小規(guī)模語料庫上的知識學習。實驗結(jié)果表明，該方法能夠顯著提高模型在特定領(lǐng)域的表現(xiàn)，尤其是在閉書問答和指令遵循任務上。此外，我們還探討了合成數(shù)據(jù)的多樣性和質(zhì)量、模型的泛化能力以及計算效率和可擴展性等未來的研究方向。

通過合成持續(xù)預訓練，我們不僅提高了模型在特定領(lǐng)域的表現(xiàn)，還為未來在數(shù)據(jù)受限環(huán)境下的模型訓練提供了新的思路和方法。希望未來的研究能夠在此基礎(chǔ)上，進一步探索和優(yōu)化合成數(shù)據(jù)生成和模型預訓練的方法，以應對更廣泛的應用場景和挑戰(zhàn)。

本文轉(zhuǎn)載自 ??AI論文解讀??，作者：柏企