4-bit量化，能讓現(xiàn)有反學(xué)習(xí)/機(jī)器遺忘技術(shù)失靈！

也就是大模型在人類要求下“假裝”忘記了特定知識（版權(quán)、私人內(nèi)容等），但有手段能讓它重新“回憶”起來。

最近，來自賓夕法尼亞州立大學(xué)、哈佛大學(xué)、亞馬遜團(tuán)隊的一項新研究在reddit、Hacker News上引起熱議。

他們發(fā)現(xiàn)對“失憶”的模型量化（quantization），可以部分或甚至完全恢復(fù)其已遺忘的知識。

原因是在量化過程中，模型參數(shù)的微小變化可能導(dǎo)致量化后的模型權(quán)重與原始模型權(quán)重相同。

看到這項研究后，不少網(wǎng)友也表示有點意外：

從信息理論的角度來看這有點出人意料，似乎已經(jīng)在完整的32-bit中成功移除了這些知識，但當(dāng)你將其壓縮到4-bit時，知識又重新出現(xiàn)了。

這讓人不禁想知道在壓縮/量化步驟中到底丟失了什么信息。

可能這些知識從未真正丟失，只是被隱藏了。

如果我們把神經(jīng)網(wǎng)絡(luò)看作是代碼，權(quán)重就是源代碼，微調(diào)實際上可能有效地修改了這些代碼，以阻止返回某些結(jié)果。

因此，你可能只是在某些輸出周圍建立了防火墻。但量化可能使這些最近的編輯消失，它們太微小而無法保留。

值得一提的是，團(tuán)隊提出了一種緩解此問題的策略。

這種策略通過構(gòu)建模塊級別的顯著性圖來指導(dǎo)遺忘過程，只更新與遺忘數(shù)據(jù)最相關(guān)的模型部分，從而在保持模型效用的同時，減少量化后知識恢復(fù)的風(fēng)險。

話不多說，具體來康康。

讓失憶的大模型重新記起來

大模型在訓(xùn)練過程中可能會無意學(xué)習(xí)到人類不希望它保留的知識，例如版權(quán)和私人內(nèi)容。為了解決這個問題，研究者們此前提出了反學(xué)習(xí)（machine unlearning）的概念，旨在不重新訓(xùn)練模型的情況下，從模型中移除特定知識。

現(xiàn)有的主流反學(xué)習(xí)方法包括梯度上升（GA）和負(fù)向偏好優(yōu)化（NPO）兩大類，通常會采用較小的學(xué)習(xí)率并加入效用約束，以在遺忘特定內(nèi)容的同時保持模型的整體性能。

用于優(yōu)化模型遺忘的最常用數(shù)學(xué)表達(dá)式是：

再來看量化，考慮一組或一塊權(quán)重w，線性操作可以表示為y=wx，量化后為y=Q(w)x，其中 Q(?)是量化函數(shù)：

在這項研究中，研究人員使用Q(f)表示量化后的模型f。因此，實施一個反學(xué)習(xí)法然后對遺忘后的模型進(jìn)行量化可以寫為：

研究人員評估了針對大模型的六種有效的反學(xué)習(xí)方法——結(jié)合NPO、GA兩種策略，在保留集上進(jìn)行梯度下降（GDR）或最小化KL散度（KLR），形成了GA、GA_GDR、GA_KLR、NPO、NPO_GDR、NPO_KLR。

結(jié)果顯示，這些方法在經(jīng)過量化后會出現(xiàn)“災(zāi)難性失敗”。

具體表現(xiàn)為，在全精度下，加入效用約束的反學(xué)習(xí)法平均保留21%的目標(biāo)遺忘知識，但經(jīng)過4-bit量化后，這一比例急劇上升到83%。

這意味著大部分被“遺忘”的知識通過簡單的量化操作就能恢復(fù)。

實驗中還使用了不同位數(shù)的量化，包括4-bit和8-bit量化，量化精度對遺忘效果也有顯著影響，8-bit量化的影響相對較小，模型表現(xiàn)接近全精度版本，但在4-bit量化下，遺忘性能顯著惡化。

實驗在NEWS（BBC新聞文章）和BOOKS（哈利波特系列）等基準(zhǔn)數(shù)據(jù)集上進(jìn)行，使用了四個評估指標(biāo)：

逐字記憶（VerMem，評估逐字復(fù)制能力）、知識記憶（KnowMem，評估知識問答能力）、隱私泄露（PrivLeak，基于成員推理攻擊評估隱私保護(hù)程度）以及保留集效用（評估模型在非遺忘數(shù)據(jù)上的表現(xiàn)）。

研究人員還分析了各種量化技術(shù)對遺忘的影響，用GPTQ和AWQ兩種先進(jìn)的4-bit量化法在相同的實驗設(shè)置下進(jìn)行實驗，NEWS數(shù)據(jù)集上的結(jié)果如下：

GPTQ和AWQ的表現(xiàn)與RTN相似。

盡管研究人員表示已努力有效地調(diào)整參數(shù)，但校準(zhǔn)數(shù)據(jù)集是通用的，而不是針對遺忘數(shù)據(jù)集的領(lǐng)域進(jìn)行定制，這意味著GPTQ和AWQ仍然可能保留了本應(yīng)被遺忘的知識。

為什么？怎么辦？

經(jīng)分析，研究人員認(rèn)為這一問題的根本原因在于：

現(xiàn)有反學(xué)習(xí)法為了保持模型效用而使用較小的學(xué)習(xí)率和效用約束，導(dǎo)致模型權(quán)重變化很小，在量化過程中原模型和遺忘后模型的權(quán)重很容易被映射到相同的離散值，從而使被遺忘的知識重新顯現(xiàn)。

由此，研究人員提出了一種稱作SURE（Saliency-Based Unlearning with a Large Learning Rate）的框架作為改進(jìn)方案。

該框架通過構(gòu)建模塊級顯著性圖來指導(dǎo)遺忘過程，選擇性地對與遺忘數(shù)據(jù)最相關(guān)的組件使用較大的學(xué)習(xí)率，同時最小化對其它功能的影響。

通過實驗，驗證了SURE策略防止量化后遺忘知識恢復(fù)的有效性，并且與現(xiàn)有的反學(xué)習(xí)方法相比，SURE在全精度模型上實現(xiàn)了可比的遺忘性能和模型效用。

研究人員還探討了SURE策略中不同閾值對遺忘性能的影響，發(fā)現(xiàn)適度的閾值可以在遺忘性能和模型效用之間取得平衡。

更多細(xì)節(jié)，感興趣的童鞋可以查閱原論文，代碼已在GitHub上公開。

論文鏈接：https://arxiv.org/pdf/2410.16454