大規(guī)模語言模型（LLMs）的持續(xù)預(yù)訓(xùn)練是提升其在特定領(lǐng)域性能的重要方法。通過在新領(lǐng)域的語料庫上預(yù)訓(xùn)練大語言模型，這一過程能夠顯著增加模型的領(lǐng)域知識儲備和任務(wù)能力。

然而，盡管已有許多研究探討了從頭預(yù)訓(xùn)練的LLMs的學(xué)習(xí)機制和性質(zhì)，關(guān)于持續(xù)預(yù)訓(xùn)練過程中LLMs行為的研究卻相對較少。

最近北京大學(xué)、香港科技大學(xué)等開源了一個8B醫(yī)學(xué)大模型，通過測試模型在連續(xù)預(yù)訓(xùn)練和指令微調(diào)實驗過程中的表現(xiàn)變化，發(fā)現(xiàn)了許多有趣的現(xiàn)象。

論文鏈接：https://arxiv.org/abs/2406.14833

開源地址：https://huggingface.co/YiDuo1999/Llama-3-Physician-8B-Instruct

先下降后上升: 模型訓(xùn)練中存在的穩(wěn)定性缺失問題  

本文首先選取TinyLLaMa-1b 和OpenLLaMA-3b模型作為基座模型，并在5百億醫(yī)療tokens上做做連續(xù)單輪預(yù)訓(xùn)練。在預(yù)訓(xùn)練過程中，作者每隔5b測試一次模型在醫(yī)療維基語料上的困惑度（PPL）和下游醫(yī)療任務(wù)的平均表現(xiàn)。

如圖1 所示，盡管模型在醫(yī)療維基語料上的困惑度持續(xù)下降（圖1b），但在連續(xù)預(yù)訓(xùn)練初期，模型在醫(yī)學(xué)任務(wù)上的表現(xiàn)卻出現(xiàn)了下降 （圖1a）。隨著更多數(shù)據(jù)的訓(xùn)練，任務(wù)表現(xiàn)逐漸恢復(fù)并超過了原始模型的水平 。

圖1：（a）預(yù)訓(xùn)練過程中模型在四個醫(yī)療QA任務(wù)上的平均表現(xiàn)（b）預(yù)訓(xùn)練過程中模型在醫(yī)療維基語料上的困惑度

為了解釋表現(xiàn)先下降后上升的行為，我們借鑒了持續(xù)學(xué)習(xí)中的穩(wěn)定性差距概念?；谒慕忉?，醫(yī)療任務(wù)表現(xiàn)最初下降是因為學(xué)習(xí)新領(lǐng)域的可塑性梯度超過了維持通用任務(wù)能力的穩(wěn)定性梯度，導(dǎo)致未能維持醫(yī)療任務(wù)的性能。隨后，任務(wù)損失增強了穩(wěn)定性梯度，這一前后穩(wěn)定性差距最終導(dǎo)致性能恢復(fù)并上升。

為了驗證以上假設(shè)，我們進一步測試了模型在醫(yī)療持續(xù)預(yù)訓(xùn)練中的通用任務(wù)表。如圖2顯示，一般任務(wù)性能呈現(xiàn)類似的V形曲線，表明一般指令跟隨能力在最初下降后恢復(fù)。

圖2：預(yù)訓(xùn)練過程中模型在10個常識和閱讀理解任務(wù)上的平均表現(xiàn)

  三個針對穩(wěn)定性差距的訓(xùn)練策略 

為了克服持續(xù)預(yù)訓(xùn)練中存在的穩(wěn)定性差距問題，本文提出了三種有效策略：

策略1：在適當(dāng)大小的數(shù)據(jù)子集上進行多輪預(yù)訓(xùn)練，而不是在大數(shù)據(jù)集上進行單輪預(yù)訓(xùn)練。這種策略減少了每次預(yù)訓(xùn)練所需的高可塑性梯度，促進了穩(wěn)定性梯度的上升，進而加速了性能恢復(fù)。

策略2：僅在高質(zhì)量的子語料庫上進行預(yù)訓(xùn)練，以快速提升特定領(lǐng)域的性能。

策略3：按照預(yù)訓(xùn)練數(shù)據(jù)分布采取其它來源的數(shù)據(jù)并和醫(yī)療高質(zhì)量數(shù)據(jù)混合訓(xùn)練，減少預(yù)訓(xùn)練分布和連續(xù)預(yù)訓(xùn)練差距，促進模型穩(wěn)定性梯度的形成。

表1：在醫(yī)療預(yù)訓(xùn)練完成后模型在四個醫(yī)療任務(wù)上的zero-shot表現(xiàn)

實驗結(jié)果：本文通過對比多種基線方法來驗證提出的三條策略的有效性， 其中包括500億醫(yī)療數(shù)據(jù)單輪訓(xùn)練、學(xué)習(xí)率Re-warming and Re-decaying、重采樣和參數(shù)固定等基線。

如下表1所示，基于本文的策略，OpenLLaMa模型只需要在高質(zhì)量50億數(shù)據(jù)上訓(xùn)練4個輪次（即原計算預(yù)算的40%），便可以在醫(yī)療任務(wù)平均表現(xiàn)上顯著超越了所有基線，尤其在PubMedQA等醫(yī)學(xué)問答任務(wù)中表現(xiàn)突出。

面向GPT4水平的8B醫(yī)療專家模型  

連續(xù)預(yù)訓(xùn)練：本文按照提出的三種策略對Llama-3-8B模型做進一步的醫(yī)療連續(xù)預(yù)訓(xùn)練。在這個過程中使用了50億高質(zhì)量醫(yī)學(xué)數(shù)據(jù)，并對模型做四個輪次的重復(fù)訓(xùn)練。

指令微調(diào)：連續(xù)預(yù)訓(xùn)練完成后，本文采用多個類型的醫(yī)療任務(wù)指令對模型做指令微調(diào)，包括問答任務(wù)、分類任務(wù)、關(guān)系提取任務(wù)、自然語言推理任務(wù)和總結(jié)任務(wù)。

微調(diào)過程中，研究團隊繼續(xù)采用提出的三種策略來優(yōu)化指令微調(diào)效果。首先是多輪次訓(xùn)練，這在醫(yī)學(xué)指令微調(diào)過程中是常見的。其次，利用Deita自動指令數(shù)據(jù)選擇器，選擇高質(zhì)量的醫(yī)學(xué)指令數(shù)據(jù)子集。最后，使用高質(zhì)量的通用指令數(shù)據(jù)集，如Airoboros-3.2，以緩解模型在通用任務(wù)完成能力上的遺忘。

圖3：指令微調(diào)過程中模型的醫(yī)療平均表現(xiàn)

如圖3所示，在指令微調(diào)過程中，使用所有數(shù)據(jù)做微調(diào)仍然可能在初始訓(xùn)練階段時面臨表現(xiàn)下降問題。而通過我們的三種策略，模型僅需25%的指令數(shù)據(jù)就能達到最佳性能，這降低了計算資源的消耗。

實驗比較：本文進一步將達到最佳表現(xiàn)的指令微調(diào)模型Llama-3-Physician-8B-insturct與其它醫(yī)療模型比較。如表2所示，Llama-3-Physician-8B-insturct在醫(yī)療問答任務(wù)上明顯優(yōu)于其它同尺寸的開源模型，并且超過了閉源的GPT-3.5-turbo模型。同時，它的平均醫(yī)療問答任務(wù)表現(xiàn)也接近GPT-4.

表2：指令微調(diào)結(jié)束后各模型在四個醫(yī)療問答任務(wù)上的zero-shot表現(xiàn)

本文進一步考慮Llama-3-Physician-8B-insturct在其它類型（非問答）的醫(yī)療任務(wù)上的表現(xiàn)。如表3所示，Llama-3-Physician-8B-insturct在醫(yī)療分類，關(guān)系抽取，推理和總結(jié)任務(wù)上都取得了優(yōu)異表現(xiàn)，且明顯超過GPT-4表現(xiàn)。

表3：指令微調(diào)結(jié)束后各模型在醫(yī)療分類，關(guān)系抽取，推理和總結(jié)任務(wù)上的zero-shot表現(xiàn)

總結(jié)  

1. 本論文研究了在對LLMs（大語言模型）進行新領(lǐng)域語料庫的連續(xù)預(yù)訓(xùn)練時的行為，并觀察到模型初始性能下降，隨后緩慢恢復(fù)的現(xiàn)象。本文使用穩(wěn)定性差距這一概念來描述這一現(xiàn)象，并從可塑性和穩(wěn)定性梯度的角度對此解釋

2. 本文進一步提出了三種有效提高LLM在特定領(lǐng)域表現(xiàn)并降低計算成本的策略，從而克服穩(wěn)定性差距。這些策略包括：在適當(dāng)大小的數(shù)據(jù)子集上進行多輪預(yù)訓(xùn)練，選取高質(zhì)量子集和按預(yù)訓(xùn)練數(shù)據(jù)分布混合采樣數(shù)據(jù)。

3. 本文將這些策略應(yīng)用于最新的Llama-3-8B模型的連續(xù)預(yù)訓(xùn)練和指令微調(diào)過程中，所得到的Llama-3-Physician-8B-insturct不僅在同規(guī)模開源模型中表現(xiàn)最強，并且優(yōu)于閉源的GPT-3.5模型，接近GPT-4的表現(xiàn)。

本文轉(zhuǎn)自 新智元 ，作者：新智元

原文鏈接:??https://mp.weixin.qq.com/s/Y0IsaHAiKPH-W6DBhYXtmg??