大模型“套殼”事件防不勝防，有沒有方法可以檢測(cè)套殼行為呢？

來自上海AI實(shí)驗(yàn)室、中科院、人大和上交大的學(xué)者們，提出了一種大模型的“指紋識(shí)別”方法——REEF（Representation Encoding Fingerprints）。

在不改變模型性能的前提下，利用REEF就可以精準(zhǔn)識(shí)別未經(jīng)授權(quán)的后續(xù)開發(fā)行為。

REEF依賴模型在微調(diào)后表征“不變性”的特點(diǎn)，基于表征編碼實(shí)現(xiàn)對(duì)大模型的“指紋鑒別”。

并且即使經(jīng)過剪枝、合并、參數(shù)排列和縮放變換等一系列操作，同樣能讓“套殼”行為無所遁形。

可以說，這項(xiàng)研究給大模型開發(fā)團(tuán)隊(duì)提供了一種應(yīng)對(duì)大模型侵權(quán)問題的新手段。

大模型表征具有“微調(diào)不變性”

注：
在下文中，“源模型”是指從頭訓(xùn)練的LLM（即論文中victim model），如Llama、Qwen等；
“被測(cè)模型”（即論文中的suspect model），分為兩類——基于源模型開發(fā)/訓(xùn)練的“衍生模型”和其他“無關(guān)模型”。
REEF的目標(biāo)是，給定一個(gè)被測(cè)模型，檢測(cè)其是否是來自“源模型”的“衍生模型”，即所謂的“套殼”模型。

鑒于訓(xùn)練大語言模型的投入巨大，模型所有者和第三方迫切需要一種準(zhǔn)確高效的方法，以判斷被測(cè)模型是否來自某一源模型（例如Code-llama從Llama-2訓(xùn)練而來）。

然而，現(xiàn)有的水印方法不僅增加了額外的訓(xùn)練成本，還可能削弱模型的通用性能，且水印容易被刪除。更重要的是，這些方法無法應(yīng)用于已公開發(fā)布的模型。

此外，基于權(quán)重的指紋識(shí)別缺乏魯棒性，惡意開發(fā)者可以通過不同權(quán)重修改手段輕松繞過檢測(cè)。

由于不同模型在訓(xùn)練數(shù)據(jù)和模型架構(gòu)上的差異，不同的LLM的特征表示有所不同。

如下圖(a)所示，Llama的表征與Baichuan和Qwen明顯不同，但與其微調(diào)模型（如Llama-chat和Chinese-llama）更為接近。

這一現(xiàn)象揭示了表征作為LLM“指紋”的潛力。

基于以下兩點(diǎn)觀察，作者在源模型的表征上訓(xùn)練了一個(gè)二元分類器，并將其應(yīng)用于各種被測(cè)模型的表征，包括衍生模型和無關(guān)模型：

• 微調(diào)后的衍生模型的表征與源模型的表征相似，而無關(guān)模型的表征顯示出不同的分布；
• 一些高級(jí)語義概念在 LLM 的表征空間中“線性”編碼，從而可以輕松分類，如安全或不安全、誠實(shí)或不誠實(shí)等。

具體而言，作者使用TruthfulQA數(shù)據(jù)集，分別選擇 Llama-2-7B和 Llama-2-13B作為源模型，并在其數(shù)據(jù)集表征上訓(xùn)練了多種深度神經(jīng)網(wǎng)絡(luò)DNN分類器，例如線性分類器、多層感知器MLP、卷積神經(jīng)網(wǎng)絡(luò)CNN 和圖卷積網(wǎng)絡(luò)GCN。

然后，作者將訓(xùn)練好的DNN分類器應(yīng)用于被測(cè)模型的表征。

實(shí)驗(yàn)結(jié)果表明：在源模型的表征上訓(xùn)練的分類器能夠有效遷移到其衍生模型的表征上，但在無關(guān)模型的表征上失效。

這意味著，表征可以作為指紋來保護(hù)源模型的知識(shí)產(chǎn)權(quán)。

然而，使用DNN分類器識(shí)別源模型面臨以下挑戰(zhàn)：

• DNN具有固定的輸入維度，如果對(duì)源模型進(jìn)行改變表征維度的剪枝操作，分類器不再適用；
• DNN對(duì)表征的排列缺乏魯棒性，惡意開發(fā)人員可能通過變換矩陣實(shí)現(xiàn)參數(shù)重排來規(guī)避檢測(cè)。

REEF：一種魯棒的LLM指紋識(shí)別方法

為了解決上述挑戰(zhàn)，作者提出一種新的基于表征的指紋識(shí)別方法——REEF，具備良好的魯棒性。

REEF利用中心核對(duì)齊CKA相似性，重點(diǎn)關(guān)注LLM的內(nèi)部特征表征。

在評(píng)估被測(cè)模型是否來自源模型時(shí)，REEF計(jì)算兩個(gè)模型對(duì)相同樣本的表征之間的CKA相似性。

該方法簡(jiǎn)單高效，能夠確保捕獲到任何顯著的相似性，從而揭示模型之間的潛在衍生關(guān)系。

CKA是基于希爾伯特-施密特獨(dú)立性準(zhǔn)則（HilbertSchmidt Independence Criterion，HSIC）的相似性指數(shù)，用于測(cè)量?jī)山M隨機(jī)變量之間的獨(dú)立性。

X和Y之間的CKA相似度可以按如下方式計(jì)算：

通過下面的定理1，論文在理論上證明了CKA相似度在任何列排列和縮放變換下具有不變性。同時(shí)，CKA能夠在不同維度的表征之間建立對(duì)應(yīng)關(guān)系。

因此，REEF 對(duì)源模型的各種后續(xù)開發(fā)（包括模型剪枝和表征排列）表現(xiàn)出強(qiáng)魯棒性，從而確?；诒碚鞯闹讣y能夠準(zhǔn)確識(shí)別源模型。

無懼后續(xù)開發(fā)，穩(wěn)穩(wěn)識(shí)別“套殼”模型

作者將REEF應(yīng)用于通過微調(diào)、剪枝、合并、排列和縮放變換等方式從源模型衍生出的被測(cè)模型。

這些方式可能顯著改變模型的結(jié)構(gòu)或參數(shù)，使得現(xiàn)有方法難以有效識(shí)別源模型。

然而，REEF在這些情況下依然能夠準(zhǔn)確識(shí)別出源模型，進(jìn)一步驗(yàn)證了其魯棒性。

具體來說，從上面的表中，可以得出以下結(jié)論：

• REEF對(duì)微調(diào)具有很強(qiáng)的魯棒性，即使在使用多達(dá)700B tokens的微調(diào)情況下（Llama-7B），REEF仍能達(dá)到0.9962的高相似度。
• REEF對(duì)各種剪枝策略都表現(xiàn)出魯棒性，無論結(jié)構(gòu)化剪枝還是非結(jié)構(gòu)化剪枝，REEF都能夠有效識(shí)別源模型，即使剪枝比率高達(dá)90%，REEF依然能夠成功識(shí)別。
• 無論是基于權(quán)重或基于分布的模型合并方法，REEF均能在識(shí)別合并模型的來源方面始終保持高準(zhǔn)確性。
• REEF 對(duì)任何列排列和縮放變換具有不變性，能夠抵御該類規(guī)避技術(shù)。

魯棒且高效：跨數(shù)據(jù)集和樣本量

作者進(jìn)一步分析了REEF在不同數(shù)據(jù)集和不同樣本數(shù)量下的表現(xiàn)。

一方面，除了前文提到的TruthfulQA數(shù)據(jù)集，作者還選擇了SST2、ConfAIde、PKUSafeRLHF和ToxiGen等數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)；

另一方面，對(duì)于每個(gè)數(shù)據(jù)集，別在樣本數(shù)量從10到1000、每隔10的情況下進(jìn)行采樣，以測(cè)試REEF的表現(xiàn)。

結(jié)果，REEF在不同數(shù)據(jù)集上均表現(xiàn)出有效性，對(duì)數(shù)據(jù)集不具強(qiáng)依賴性（圖示在不同數(shù)據(jù)集上，源模型與衍生模型之間的相似性顯著高于其與無關(guān)模型之間的相似性，表明REEF能夠跨數(shù)據(jù)集穩(wěn)定識(shí)別源模型）；

同時(shí)，REEF依賴少量樣本即可穩(wěn)健識(shí)別模型指紋，具有高效性（圖示REEF在 200-300 個(gè)樣本后結(jié)果趨于穩(wěn)定，表明其可以在較少的樣本數(shù)量下實(shí)現(xiàn)可靠的指紋識(shí)別）。

REEF它不僅保障了模型性能，還平衡了開放性與知識(shí)產(chǎn)權(quán)之間的關(guān)系，能夠確保衍生模型的責(zé)任可追溯。

作者相信，REEF將為AI模型保護(hù)和知識(shí)產(chǎn)權(quán)管理設(shè)立新的標(biāo)準(zhǔn)，促進(jìn)更透明、協(xié)作的AI社區(qū)。