大模型的快速及持續(xù)發(fā)展，離不開對模型所有權(quán)及數(shù)據(jù)隱私的保護(hù)。

AAAI 2025期間，螞蟻數(shù)科、浙江大學(xué)、利物浦大學(xué)和華東師范大學(xué)聯(lián)合團(tuán)隊(duì)提出了一種創(chuàng)新的跨域微調(diào)框架ScaleOT，可以實(shí)現(xiàn)在模型性能無損的前提下，將模型隱私保護(hù)效果提升50%。

相比于知識蒸餾技術(shù)，還降低了90%的算力消耗，為百億級參數(shù)模型的跨域微調(diào)提供了一種高效和輕量化的解決方案。

這篇論文以其創(chuàng)新性入選了本屆AAAI的Oral論文。據(jù)了解，本屆大會(huì)共收到近13000篇論文，被選中做口頭報(bào)告的比例不足5%。

目前，該算法已經(jīng)融入螞蟻數(shù)科旗下的摩斯大模型隱私保護(hù)產(chǎn)品中，并已成為國內(nèi)首批通過信通院大模型可信執(zhí)行環(huán)境產(chǎn)品專項(xiàng)測試的產(chǎn)品之一。

跨域微調(diào)框架ScaleOT

為同時(shí)保護(hù)模型產(chǎn)權(quán)與數(shù)據(jù)隱私，目前業(yè)內(nèi)采用的主流方案是跨域微調(diào)。

主流的跨域微調(diào)方法存在顯著局限性：

• 其一，其“均勻抽積木”式的處理方式容易造成模型關(guān)鍵層的缺失，從而導(dǎo)致模型性能顯著下降；
• 其二，若采用蒸餾技術(shù)來彌補(bǔ)性能損失，計(jì)算成本幾乎與重新訓(xùn)練一個(gè)中型模型相當(dāng)。此外，現(xiàn)有方法在隱私保護(hù)方面缺乏靈活性，難以根據(jù)不同場景需求動(dòng)態(tài)調(diào)整隱私保護(hù)強(qiáng)度。

ScaleOT提出了三大創(chuàng)新思路，有效地實(shí)現(xiàn)了在模型性能與隱私安全之間的平衡。

首先是對大模型智能層的重要性進(jìn)行評估，用強(qiáng)化學(xué)習(xí)給大模型做掃描，自動(dòng)識別哪些層對當(dāng)前任務(wù)最關(guān)鍵，動(dòng)態(tài)保留模型“核心層”，有效降低模型性能損耗。

其次，對保留的模型原始層做“打碼”，讓攻擊者無法通過中間層復(fù)原原始模型，可以在性能幾乎無損的情況下，顯著提升隱私保護(hù)強(qiáng)度。

最后，該框架還可以根據(jù)不同場景需求進(jìn)行靈活組裝，實(shí)現(xiàn)隱私強(qiáng)度可調(diào)節(jié)。

螞蟻數(shù)科技術(shù)團(tuán)隊(duì)這一創(chuàng)新的大模型隱私微調(diào)算法，為大模型隱私保護(hù)提供了新穎的思路與解決方案。

具體而言，如圖2（b）所示，跨域微調(diào)不是使用完整的模型進(jìn)行訓(xùn)練，而是允許數(shù)據(jù)所有者使用模型所有者提供的有損壓縮仿真器進(jìn)行微調(diào)，但這種范式有個(gè)缺點(diǎn)：會(huì)讓數(shù)據(jù)所有者得到的仿真器的性能較差。

然后，訓(xùn)練得到的適配器會(huì)被返回給模型所有者，并被插入到完整模型中，以創(chuàng)建一個(gè)高性能的微調(diào)模型。

特別需要指出，數(shù)據(jù)所有者和模型所有者端之間的模型性能差異是模型隱私的關(guān)鍵因素，這會(huì)促使下游用戶使用微調(diào)的完整模型。

△圖2

因此，跨域微調(diào)的主要難題在于高效壓縮 LLM，通過在維持性能差異的同時(shí)提升適應(yīng)版完整模型，從而實(shí)現(xiàn)對模型隱私的保護(hù)。

遵循跨域微調(diào)策略，原生 OT方法采用的策略是 Uniform LayerDrop（均勻?qū)觼G棄），從完整模型中均勻地刪除一部分層，如下圖1（a）所示。

△圖 1：分層壓縮策略比較。（a）Uniform LayerDrop；（b）帶估計(jì)的重要性分?jǐn)?shù)的 Dynamic LayerDrop；（c）帶協(xié)調(diào)器的 Dynamic LayerReplace；（d）使用不同壓縮比的結(jié)果。新方法在所有者端實(shí)現(xiàn)了更好的性能，同時(shí)保持了性能差異。

然而，盡管大型模型中的許多參數(shù)是冗余的，但每層的重要性差異很大，這種均勻刪除可能會(huì)導(dǎo)致適應(yīng)后的完整模型的性能下降。

此外，直接的層刪除會(huì)導(dǎo)致被刪除層的輸入和輸出隱藏空間之間錯(cuò)位，這也會(huì)導(dǎo)致所有者端的性能下降。雖然知識蒸餾可以緩解這個(gè)問題，但訓(xùn)練一個(gè)所需的仿真器的成本至少是 LLM 大小的一半，這意味著巨大的訓(xùn)練成本為提供具有不同壓縮比的仿真器帶來了重大缺陷。

ScaleOT實(shí)現(xiàn)：框架設(shè)計(jì)和創(chuàng)建過程

如圖 2(c) 所示，該框架由兩個(gè)階段組成：重要性估計(jì)和仿真器生成。

對于第一階段，團(tuán)隊(duì)提出了一種基于重要性感知型層替換的算法 Dynamic LayerReplace，該算法需要使用一種強(qiáng)化學(xué)習(xí)方法來確定 LLM 中每一層的重要性。同時(shí)，對于不太重要的層，動(dòng)態(tài)選擇并訓(xùn)練一組可訓(xùn)練的協(xié)調(diào)器作為替代，這些協(xié)調(diào)器是輕量級網(wǎng)絡(luò)，可用于更好地實(shí)現(xiàn)剩余層的對齊。

在第二階段，根據(jù)學(xué)習(xí)到的重要性得分，可將原始模型層及其對應(yīng)的協(xié)調(diào)器以各種方式組合到一起，從而得到仿真器（emulator），同時(shí)還能在模型所有者端維持令人滿意的性能，如圖 1(d) 所示。

根據(jù)實(shí)踐經(jīng)驗(yàn)發(fā)現(xiàn)，如果使用秩分解來進(jìn)一步地壓縮剩余的模型層，還可以更好地實(shí)現(xiàn)隱私保護(hù)，同時(shí)模型的性能下降也不會(huì)太多?；谶@一觀察，該團(tuán)隊(duì)提出了選擇性秩壓縮（SRC）方法。

團(tuán)隊(duì)進(jìn)行了大量實(shí)驗(yàn)，涉及多個(gè)模型和數(shù)據(jù)集，最終證明新提出的方法確實(shí)優(yōu)于之前的方法，同時(shí)還能調(diào)整壓縮后仿真器模型的大小以及 SRC 中的秩約簡率。因此，這些新方法的有效性和可行性都得到了驗(yàn)證。

總結(jié)起來，這項(xiàng)研究做出了三大貢獻(xiàn)：

• 提出了一種靈活的方法，可為跨域微調(diào)得到多種大小的壓縮版模型：提出了一種重要性感知型有損壓縮算法 Dynamic LayerReplace，該算法面向使用 LLM 的跨域微調(diào)，可通過強(qiáng)化學(xué)習(xí)和協(xié)調(diào)器來擴(kuò)展仿真器。這些組件可以實(shí)現(xiàn)靈活的多種規(guī)模的壓縮模型生成。
• 僅需一點(diǎn)點(diǎn)微調(diào)性能下降，就能通過進(jìn)一步的壓縮獲得更好的隱私：新提出的選擇性秩壓縮策略僅需少量性能損失就能進(jìn)一步提升模型隱私。
• 全面的實(shí)驗(yàn)表明，新提出的 ScaleOT 優(yōu)于當(dāng)前最佳方法。

△圖offsite tuning訓(xùn)練過程中產(chǎn)生的不同模型

在研究中，考慮到隱私問題阻止了數(shù)據(jù)和LLM的所有者之間共享和共存數(shù)據(jù)及模型。目標(biāo)是在不訪問模型所有者的模型權(quán)重的情況下，使用數(shù)據(jù)所有者的數(shù)據(jù)來調(diào)整模型。從預(yù)訓(xùn)練的模型①開始，以及下游數(shù)據(jù)集D。

該團(tuán)隊(duì)在下游數(shù)據(jù)上微調(diào)這個(gè)模型，以實(shí)現(xiàn)

得到模型⑤，其中

該團(tuán)隊(duì)的目標(biāo)是通過找到一個(gè)比模型①更小、更弱的替代模型模型②（稱為仿真器），來促進(jìn)隱私遷移學(xué)習(xí)。

這種方法可確保與下游用戶共享模型②不會(huì)威脅到LLM的所有權(quán)。

然后，數(shù)據(jù)所有者使用他們的數(shù)據(jù)集對替代模型進(jìn)行微調(diào)，得到模型③。

該團(tuán)隊(duì)希望，通過將訓(xùn)練好的權(quán)重重新整合到原始模型中得到模型④，幾乎可以復(fù)制模型⑤，從而消除了直接模型①的需求。

一個(gè)有效的跨域微調(diào)應(yīng)該滿足以下條件：

1）模型① < 模型④，以使微調(diào)過程成為必要。

2）模型③ < 模型④，以阻止下游用戶使用微調(diào)后的仿真器。

3）模型④ ≈ 模型⑤，以鼓勵(lì)下游用戶使用模型④。

基于 Transformer 架構(gòu)設(shè)計(jì)跨域微調(diào)，更強(qiáng)的實(shí)用性

這篇論文關(guān)注的重點(diǎn)是基于 Transformer 架構(gòu)來設(shè)計(jì)跨域微調(diào)。

這里需要將每個(gè) Transformer 層視為一個(gè)基本單元，而 LLM 可以表示成 M = {m_1, m_2, . . . , m_n}，其中 n 是總層數(shù)。

該團(tuán)隊(duì)的新方法需要將 M 分成兩個(gè)組件：**一個(gè)緊湊型的可訓(xùn)練適應(yīng)器 A 和模型的其余部分 E。層索引的集合可以定義成滿足此條件。

為了保護(hù)模型的隱私，需要對保持不變的組件 E 執(zhí)行一次有損壓縮，這會(huì)得到一個(gè)仿真器 E*，從而可通過更新 A 來促進(jìn)模型微調(diào)。

待完成在數(shù)據(jù)所有者端的訓(xùn)練后，更新后的適應(yīng)器 A′ 會(huì)被返回到模型所有者端并替換 M 中的原來的 A。于是可將最終更新后的 LLM 表示為 M′ = [A′, E]。值得注意的是，有損壓縮必定會(huì)限制下游用戶的 [A′, E?] 模型性能，但卻實(shí)現(xiàn)了對模型所有權(quán)的保護(hù)。

這篇論文解決了該問題的兩個(gè)關(guān)鍵：獲得 A 和 E 的適當(dāng)劃分以及實(shí)現(xiàn)從 E 到 E? 的更好壓縮，從而實(shí)現(xiàn)有效的微調(diào)并保持隱私。

對于前者，該團(tuán)隊(duì)在模型層上引入了重要性分?jǐn)?shù)（importance score），可用于引導(dǎo) A 和 E 的選擇。具體而言，在用輕量級網(wǎng)絡(luò)動(dòng)態(tài)替換原始層的過程中，可通過強(qiáng)化學(xué)習(xí)來估計(jì)重要性分?jǐn)?shù)。

這些輕量級網(wǎng)絡(luò)（稱為協(xié)調(diào)器/harmonizer）可以進(jìn)一步用作 E 中各層的替代，從而提高完整版已適應(yīng)模型的性能。

此外，對于 E 中被協(xié)調(diào)器替換的其余層，該團(tuán)隊(duì)還提出了選擇性秩壓縮（selective rank compression）方法，該方法在保持完整版已適應(yīng)模型性能的同時(shí)還能保證更好的隱私。

重要性感知型動(dòng)態(tài)層替換

△圖動(dòng)態(tài)層替換算法展示。

該團(tuán)隊(duì)提出了一種全新的基于層替換的壓縮算法：Dynamic LayerReplace（動(dòng)態(tài)層替換）。

其目標(biāo)是估計(jì) LLM 中每層的重要性，并用輕量級網(wǎng)絡(luò)（稱為協(xié)調(diào)器）替換不太重要的層，以保持層之間的語義一致性。為此，他們采用了一種雙過程方法，包含了協(xié)調(diào)器更新循環(huán)和重要性更新循環(huán)。

在協(xié)調(diào)器更新循環(huán)中，根據(jù)重要性評分，選擇部分完整層替換為和諧器，然后使用深度學(xué)習(xí)（DL）來通過梯度下降訓(xùn)練協(xié)調(diào)器。在重要性更新循環(huán)中，每層的重要性評分通過借鑒強(qiáng)化學(xué)習(xí)中的K臂賭博機(jī)問題進(jìn)行更新。

在訓(xùn)練結(jié)束時(shí)，可以獲得一組用于層替換的協(xié)調(diào)器，以及估計(jì)的逐層重要性評分。它們將用于隨后的可擴(kuò)展仿真器生成階段。

選擇性秩壓縮

該團(tuán)隊(duì)通過大量研究發(fā)現(xiàn)，大語言模型的參數(shù)數(shù)量遠(yuǎn)超過實(shí)際需要，即使去掉一部分參數(shù)也不會(huì)顯著影響模型的整體性能。

基于這一發(fā)現(xiàn)，該團(tuán)隊(duì)提出了一種通過低秩近似壓縮仿真器權(quán)重的方法來增強(qiáng)模型的隱私保護(hù)功能。當(dāng)權(quán)重的高階分量被降低時(shí)，仿真器的表達(dá)能力會(huì)相應(yīng)減弱，從而產(chǎn)生更大的性能差距。同時(shí)，剩余的低階權(quán)重分量仍然可以為調(diào)優(yōu)過程中的適配器更新提供近似梯度方向。

Transformer模型的每一層主要由兩個(gè)部分組成：多頭自注意力層(MHSA)和前饋神經(jīng)網(wǎng)絡(luò)層(FFN)。MHSA負(fù)責(zé)處理詞元之間的交互，而FFN則進(jìn)一步處理單個(gè)詞元內(nèi)的信息轉(zhuǎn)換。為了提升表達(dá)能力，F(xiàn)FN的隱藏維度通常設(shè)置得很高，是輸入輸出維度的2.5到4倍。

考慮到FFN本身就具有高秩的特性，該團(tuán)隊(duì)提出了一種策略——只對MHSA層的權(quán)重進(jìn)行秩壓縮，以增強(qiáng)模型的隱私保護(hù)。

如圖3所示，實(shí)驗(yàn)表明，如果對所有層(MHSA+FFN)或僅對FFN進(jìn)行秩壓縮，都會(huì)導(dǎo)致模型和數(shù)據(jù)性能的指數(shù)級下降。相比之下，僅對MHSA層進(jìn)行秩壓縮時(shí)。雖然會(huì)使仿真器性能快速下降，但對插件性能的影響較小，尤其是在壓縮比大于0.6時(shí)。因此，研究團(tuán)隊(duì)選擇了對仿真器中的MHSA層進(jìn)行秩壓縮的策略。

創(chuàng)建保護(hù)隱私且實(shí)用的仿真器

既要滿足保護(hù)隱私，還具備擴(kuò)展性的仿真器的設(shè)計(jì)基于三個(gè)核心參數(shù)：調(diào)整層數(shù)量(Na)、協(xié)調(diào)器替換比例(α)和結(jié)構(gòu)秩壓縮比例(β)。這些參數(shù)共同決定了如何使用大語言模型(M)、重要性分?jǐn)?shù)(S)和協(xié)調(diào)器(H)來創(chuàng)建仿真器(E)，從而在保護(hù)隱私和保持模型性能之間取得平衡。

如圖3所示，團(tuán)隊(duì)在虛線框內(nèi)確定了一個(gè)適合生成有效模擬器用于異地調(diào)優(yōu)的廣泛區(qū)域。通過調(diào)整這兩個(gè)參數(shù)，可以創(chuàng)建具有低壓縮率的仿真器器，以實(shí)現(xiàn)卓越的plug-in性能（甚至與完全微調(diào)相比可達(dá)到無損），或者采用較高的壓縮率以增強(qiáng)模型隱私性。

ScaleOT效果評估：更好的性能，更優(yōu)的模型隱私

該團(tuán)隊(duì)首先在中等大小的模型（包括GPT2-XL 和OPT-1.3B，大約10億參數(shù)量）上評估了他們提出的ScaleOT，如表1所示。

所有方法都滿足了跨域微調(diào)的條件，即插件的性能超過了完整模型的零樣本和仿真器微調(diào)的性能。此外，沒有SRC的ScaleOT幾乎實(shí)現(xiàn)了與完整微調(diào)相當(dāng)?shù)臒o損性能。這突出了動(dòng)態(tài)層替換與基線OT中使用的Uniform LayerDrop相比的有效性。

值得注意的是，由于選擇了重要的層進(jìn)行更新，插件的性能可以超過直接在LLM上進(jìn)行微調(diào)的性能，這得益于稀疏訓(xùn)練帶來的更好收斂性。

最后，SRC的加入顯著降低了仿真器零樣本和微調(diào)的性能，平均降低了9.2%和2.2%，而插件的性能幾乎沒有下降?？傮w而言，ScaleOT不僅實(shí)現(xiàn)了更好的性能，還確保了良好的模型隱私。

隨后，該團(tuán)隊(duì)驗(yàn)證了他們提出的ScaleOT在更大的LLM上的有效性，包括擁有大約70億參數(shù)的OPT-6.7B和LLaMA-7B。

如表2所示，由于在有限的硬件上無法執(zhí)行知識蒸餾，OT未能達(dá)到令人滿意的性能。CRaSh通過LayerSharing提高了性能，但由于壓縮后無法完全恢復(fù)性能，導(dǎo)致結(jié)果并不理想。

相比之下，ScaleOT使得大型模型的壓縮變得可行，僅需要在壓縮階段訓(xùn)練大約1-2%的參數(shù)。值得注意的是，該團(tuán)隊(duì)提出的方法在WebQs任務(wù)上實(shí)現(xiàn)了強(qiáng)大的插件性能，其中零樣本準(zhǔn)確率為零，突顯了其在新的下游應(yīng)用中的潛力。

此外，ScaleOT取得了值得稱贊的結(jié)果，表明其有效性并不局限于特定的模型大小。這使得ScaleOT成為增強(qiáng)不同規(guī)模模型跨域微調(diào)結(jié)果的有價(jià)值策略。

重要性得分

該團(tuán)隊(duì)對OPT-6.7B和LLaMA-7B的估計(jì)重要性得分進(jìn)行了可視化，如圖6所示?？梢悦黠@看出，在不同網(wǎng)絡(luò)中，重要性分布存在相當(dāng)大的差異。

然而，一個(gè)一致的模式出現(xiàn)了：第一層具有顯著的重要性。這一發(fā)現(xiàn)與OT的觀察結(jié)果相呼應(yīng)，盡管缺乏明確的解釋。

與參數(shù)高效微調(diào)的正交性

根據(jù)設(shè)計(jì)，ScaleOT能與參數(shù)高效微調(diào)（PEFT）方法無縫集成，從而形成一種綜合方法，顯著減少可訓(xùn)練參數(shù)并提升效率。這可以通過在調(diào)整層中使用PEFT方法來實(shí)現(xiàn)，包括Adapter-tuning和LoRA等策略。

如表3所示，該團(tuán)隊(duì)觀察到Adapter-tuning和LoRA在保持插件性能的同時(shí)大幅減少了可訓(xùn)練參數(shù)。

螞蟻數(shù)科技術(shù)團(tuán)隊(duì)這一全新的大模型隱私微調(diào)算法，有效攻克在仿真器生成時(shí)計(jì)算復(fù)雜度高、模型隱私安全性不足等難題，成功為大模型隱私保護(hù)提供了新穎的思路與解決方案。

該創(chuàng)新源自螞蟻數(shù)科在AI隱私安全領(lǐng)域的持續(xù)投入與實(shí)踐，這一算法也已融入摩斯大模型隱私保護(hù)產(chǎn)品，該產(chǎn)品是信通院首批通過大模型可信執(zhí)行環(huán)境產(chǎn)品專項(xiàng)測試的廠商。

論文地址：
https://arxiv.org/pdf/2412.09812