大型預(yù)訓(xùn)練語言模型的規(guī)模不斷擴(kuò)大，在許多自然語言處理 （NLP） 基準(zhǔn)測(cè)試中取得了最先進(jìn)的結(jié)果。自GPT和BERT開發(fā)以來，標(biāo)準(zhǔn)做法一直是在下游任務(wù)上微調(diào)模型，這涉及調(diào)整網(wǎng)絡(luò)中的每個(gè)權(quán)重（即模型調(diào)優(yōu)）。但是，隨著模型變得越來越大，為每個(gè)下游任務(wù)存儲(chǔ)和提供模型的優(yōu)化副本變得不切實(shí)際。

一個(gè)有吸引力的替代方案是在所有下游任務(wù)中共享一個(gè)凍結(jié)的預(yù)訓(xùn)練語言模型，其中所有權(quán)重都是固定的。凍結(jié)模型可以通過“上下文”學(xué)習(xí)來執(zhí)行不同的任務(wù)。通過這種方法，用戶通過提示設(shè)計(jì)為給定任務(wù)啟動(dòng)模型，即手工制作帶有手頭任務(wù)描述或示例的文本提示。例如，為了給模型進(jìn)行情感分析，可以在輸入序列之前附加提示“下面的電影評(píng)論是正面的還是負(fù)面的？”，“這部電影太棒了！”。

在任務(wù)之間共享相同的凍結(jié)模型大大簡化了服務(wù)，并允許高效的混合任務(wù)推理，但不幸的是，文本提示需要手動(dòng)設(shè)計(jì)，即使是精心設(shè)計(jì)的提示，也會(huì)影響精確性，而本文帶來的技術(shù)將破解手動(dòng)的難題。

1.微調(diào)與轉(zhuǎn)移學(xué)習(xí)

Prompt Tuning是通過訓(xùn)練一組提示參數(shù)來適應(yīng)LLMs新任務(wù)的過程。這些提示被附加到輸入文本之前，以指導(dǎo)生成LLM所需的輸出。它在每個(gè)樣本之前加入了一些虛擬的Token，這些Token用于不同任務(wù)的Embedding。

為了更加直觀的簡述Prompt Tuning。之前先看下面的兩張圖，第一張圖是全微調(diào)，也就是說準(zhǔn)備好的樣本數(shù)據(jù)，然后繼續(xù)二次微調(diào)模型的參數(shù)。

全微調(diào)

第二張圖是將大模型的參數(shù)凍結(jié)，然后針對(duì)不同的任務(wù)訓(xùn)練前綴（粉紅色的部分）。下面的訓(xùn)練一個(gè)批次是4條樣本。

?

Prompt Tuning

2.Prompt Tuning的超參數(shù)們

那么在樣本之前要填充多少的虛擬Token才是最為合適的呢？以T5為例，針對(duì)不同任務(wù)的標(biāo)準(zhǔn)模型微調(diào)實(shí)現(xiàn)了強(qiáng)大的性能，但需要為每個(gè)特定的任務(wù)準(zhǔn)備分支副本。

假定使用T5系列的模型，每個(gè)調(diào)整后的模型副本需要11B參數(shù)。相比之下，采用Prompt Tuning技術(shù)之后，若填充的虛擬Token為5，那么每個(gè)任務(wù)只需要20480個(gè)參數(shù)，減少了5個(gè)數(shù)量級(jí)以上。

回頭看看采用Prompt Tuning技術(shù)的T5，隨著大模型規(guī)模的增加，表現(xiàn)不斷地提升，而且這個(gè)過程中基座模型是凍結(jié)的，只有一份。仔細(xì)觀察下圖會(huì)發(fā)現(xiàn)，其實(shí)這種技術(shù)在大參數(shù)模型還是比較合適的，而在小參數(shù)模型中的表現(xiàn)一般，注意黃色（模型微調(diào)）和綠色（Prompt Tuning）在不同參數(shù)規(guī)模的模型的間隙。

上面這幅圖是在各種不同的情況下研究一些超參數(shù)對(duì)這種技術(shù)的性能影響。值得注意的是，這種技術(shù)的質(zhì)量隨著模型大小的增加而穩(wěn)定提高。在所有研究中，特大號(hào)參數(shù)的模型對(duì)超參數(shù)選擇最為穩(wěn)健。

• a圖說明增加到 20多個(gè)虛擬Token通常會(huì)帶來很大的提升，但是對(duì)于特大號(hào)的模型而言，增加一個(gè)虛擬的Token就足夠了。是不是很神奇！
• b表明隨機(jī)均勻初始化參數(shù)數(shù)值落后于使用采樣詞匯或類標(biāo)簽嵌入的更“高級(jí)”初始化，但這種差異在特大號(hào)模型下消失。
• c表明LM Adaptation在跨領(lǐng)域的表現(xiàn)優(yōu)越，即使在下游任務(wù)目標(biāo)中添加了標(biāo)記
• d展示較長的適應(yīng)步伐（Step）通常會(huì)帶來更大的收益

3.Prompt Tuning的優(yōu)點(diǎn)

采用prompt tuning技術(shù)的好處在于它可以自動(dòng)從一個(gè)新的模型中學(xué)習(xí)最佳的Prompt，就是如何引導(dǎo)大模型能夠根據(jù)新的任務(wù)，給出針對(duì)性的回答。之前網(wǎng)上有很多教程，教讀者如何學(xué)會(huì)寫高效的Prompt，采用這種技術(shù)將自動(dòng)化的訓(xùn)練對(duì)應(yīng)任務(wù)的虛擬Token，然后自動(dòng)的找出最佳的引導(dǎo)方法。

Prompt 調(diào)優(yōu)保留了模型調(diào)優(yōu)的強(qiáng)大任務(wù)性能，同時(shí)保持預(yù)訓(xùn)練模型的凍結(jié)狀態(tài)，從而實(shí)現(xiàn)高效的多任務(wù)服務(wù)。

本文轉(zhuǎn)載自 ??魯班模錘??，作者： 龐德公