RID 的作者來(lái)自于中國(guó)人民大學(xué)和 Sea AI Lab。第一作者為香港大學(xué)在讀博士生郭瀚中，該工作為其碩士期間完成，其研究方向?yàn)閿U(kuò)散模型。本文由中國(guó)人民大學(xué)孫浩教授和李崇軒教授共同指導(dǎo)，其他作者包括中國(guó)人民大學(xué)博士生聶燊和 Sea AI Lab 研究員龐天宇和杜超。

近年來(lái)許多論文研究了基于擴(kuò)散模型的定制化生成，即通過(guò)給定一張或幾張某個(gè)概念的圖片，通過(guò)定制化學(xué)習(xí)讓模型記住這個(gè)概念，并能夠生成這個(gè)概念的新視角、新場(chǎng)景圖片。

但是當(dāng)有用戶(hù)惡意使用定制化生成技術(shù)，例如利用發(fā)布在社交平臺(tái)的照片生成假照片，會(huì)對(duì)用戶(hù)的隱私權(quán)造成威脅。一些研究通過(guò)對(duì)原始圖片加擾動(dòng)的方式來(lái)保護(hù)圖片不被定制化學(xué)習(xí)，而由于這些研究都是通過(guò)梯度上升的方式去優(yōu)化對(duì)應(yīng)的擾動(dòng)，因此瓶頸在于計(jì)算時(shí)間和計(jì)算開(kāi)銷(xiāo)上，為了給一個(gè)圖片添加保護(hù)的擾動(dòng)，需要花費(fèi)幾分鐘甚至幾十分鐘，并且需要較大的顯存消耗。

本文中，中國(guó)人民大學(xué)和 Sea AI Lab 聯(lián)名提出名為 RID 的全新人物圖片保護(hù)模型，通過(guò)一個(gè)提前訓(xùn)練的小網(wǎng)絡(luò)實(shí)現(xiàn)輸入圖片輸出擾動(dòng)的方式，在 RID 范式下，圖片的防定制化保護(hù)只需要幾十毫秒并且可以在用戶(hù)手機(jī)終端部署。

• 論文標(biāo)題：Real-time Identity Defenses against Malicious Personalization of Diffusion Models
• 論文地址：https://arxiv.org/pdf/2412.09844
• 項(xiàng)目地址：https://github.com/Guohanzhong/RID

為了更助于理解，RID 提供了涉及到的不同任務(wù)和解決方案的流程框圖。定制化學(xué)習(xí)的概念是指用戶(hù)提供幾張同個(gè)概念的幾張圖片（RID 聚焦在人物的保護(hù)上），微調(diào)預(yù)訓(xùn)練擴(kuò)散模型，如下圖 a 所示。在定制化學(xué)習(xí)完后，用戶(hù)可以利用定制化微調(diào)模型實(shí)現(xiàn)原始概念的新圖片生成，如下圖 b 所示。而目前為了保護(hù)圖片不被定制化，存在的方案是基于預(yù)訓(xùn)練模型梯度上升優(yōu)化一個(gè)微小擾動(dòng)，但是這個(gè)過(guò)程對(duì)計(jì)算時(shí)間和計(jì)算量要求較大，如下圖 c 所示。而 RID 是利用 Adv-SDS 的方式在使用前優(yōu)化一個(gè)小網(wǎng)絡(luò)，如下圖 d 所示。RID 使用的時(shí)候即輸入圖片輸出擾動(dòng)，實(shí)現(xiàn)低成本、實(shí)時(shí)的圖片保護(hù)，如下圖 e 所示。當(dāng)對(duì) RID 保護(hù)后的圖片再進(jìn)行定制化學(xué)習(xí)，微調(diào)得到的定制化模型則已經(jīng)無(wú)法生成真實(shí)、正常的圖片，即圖片被定制化保護(hù)成功，如圖 f 所示。

對(duì)抗得分蒸餾采樣 Adv-SDS

RID 的目標(biāo)是通過(guò)一個(gè)小網(wǎng)絡(luò)的單步推理，實(shí)現(xiàn)對(duì)圖片增加微小的擾動(dòng)實(shí)現(xiàn)圖片不被成功定制化學(xué)習(xí)。受到 Dreamfusion 的 score distillation sampling (SDS) 啟發(fā)，RID 與 Dreamfusion 本質(zhì)上都是優(yōu)化一個(gè)圖片生成器，在 Dreamfusion 里是不同角度渲染圖片，而 RID 的場(chǎng)景是通過(guò)添加一個(gè)擾動(dòng)得到一個(gè) “新” 的圖片。而 RID 與 Dreamfusion 的任務(wù)定義不同，Dreamfusion 目的是生成一個(gè)不同角度渲染的圖片符合擴(kuò)散模型空間的，因此需要 SDS 損失最小，而我們是希望 RID 保護(hù)后的圖片不被定制化學(xué)習(xí)，因此通過(guò)引入一個(gè)最大化 SDS 損失的 Adv-SDS。

但實(shí)驗(yàn)中 RID 發(fā)現(xiàn)，如果只通過(guò) Adv-SDS 優(yōu)化，RID 會(huì)陷入局部最優(yōu)，RID 產(chǎn)生的擾動(dòng)是網(wǎng)格狀的，為了更好的保護(hù)效果以及讓擾動(dòng)更不易察覺(jué)，RID 還引入了一個(gè)回歸損失。RID 會(huì)提前離線(xiàn)產(chǎn)生干凈圖片、擾動(dòng)數(shù)據(jù)對(duì)，這個(gè)擾動(dòng)是通過(guò)基于梯度優(yōu)化的方式制造的，例如 AdvDM 或 Anti-DB 等。完整的 RID 優(yōu)化見(jiàn)下圖所示，相比僅采用其中一種損失優(yōu)化，在兩個(gè)損失共同優(yōu)化下，RID 可以達(dá)到較好的保護(hù)效果。

模型架構(gòu)：由于 RID 的目的是輸入圖片，輸入擾動(dòng)，這個(gè)任務(wù)和擴(kuò)散模型網(wǎng)絡(luò)的任務(wù)類(lèi)似，擴(kuò)散模型是輸入帶噪圖片，輸出預(yù)測(cè)噪聲，因此本文采用 DiT 作為主要網(wǎng)絡(luò)架構(gòu)，由于我們不需要額外的條件引導(dǎo)，因此 RID 的網(wǎng)絡(luò)架構(gòu)是將 DiT 的條件注入變成常數(shù)。此外為了限制 RID 的輸出擾動(dòng)大小，RID 會(huì)在網(wǎng)絡(luò)最后增加一個(gè) tanh 非線(xiàn)性映射并進(jìn)行縮放達(dá)到每個(gè) RID 網(wǎng)絡(luò)可以產(chǎn)生不同大小約束的擾動(dòng)。

實(shí)驗(yàn)結(jié)果

訓(xùn)練評(píng)估測(cè)試集構(gòu)建：RID 的訓(xùn)練數(shù)據(jù)集是經(jīng)過(guò)篩選后的 70k VGG-Face 2 數(shù)據(jù)集，評(píng)估集是從 Celeba-HQ 中隨機(jī)篩選的 15 個(gè) ID，每個(gè) ID 的 12 張圖片組成的。

評(píng)估方式：對(duì)于每個(gè) ID，會(huì)對(duì) 12 張干凈圖片或者不同方法的保護(hù)圖片進(jìn)行定制化學(xué)習(xí)，定制化學(xué)習(xí)均采用 Dreambooth 損失，微調(diào)參數(shù)為 Textual Inversion (TI)，TI + LoRA， 全參數(shù)微調(diào) (DB)，RID 默認(rèn)的評(píng)估定制化方法為 TI + LoRA，訓(xùn)練的 prompt 均為 “photo of a <news>/sks person”。用每組定制化模型再推理 12 張圖片，定量評(píng)測(cè)的時(shí)候推理均用 “photo of a <news>/sks person”，定性分析的時(shí)候會(huì)做任意文本的組合泛化生成。

從下圖 a 中可以看出，經(jīng)過(guò) RID 保護(hù)的圖片可以有效的實(shí)現(xiàn)圖片的反定制化，即保護(hù)后的圖片的定制化模型無(wú)法生成正常的圖片。并且圖 b 展示了不同方法之間的保護(hù)對(duì)數(shù)時(shí)間，RID 可以在一張 GPU 上實(shí)現(xiàn) 8.33 Images/Second 的保護(hù)速度，雖然圖 c 展示 RID 的定量指標(biāo)上有所下降，但從圖 d 的定性中說(shuō)明不同方法間均能使用有效的保護(hù)，因此說(shuō)明 RID 的有效性。

并且 RID 能夠在不同定制化方法、 不同定制化使用的預(yù)訓(xùn)練模型、不同噪聲幅度下均達(dá)到有效的保護(hù)效果。

并且對(duì)于黑盒攻擊場(chǎng)景和圖片后處理場(chǎng)景下，無(wú)論從定性上還是定量上，RID 均可以展現(xiàn)出有效的保護(hù)效果。下圖展示了 RID 保護(hù)成功的原理，相比干凈圖片，RID 保護(hù)的圖片在擴(kuò)散模型不同時(shí)間步上的損失均有較大程度的上升，而定制化模型本質(zhì)上只是引入了一個(gè)新的概念，對(duì)于同一組圖片，定制化前后的模型損失變化并不大，因此沒(méi)辦法覆蓋 RID 增加擾動(dòng)所帶來(lái)的損失上升，因此 RID 保護(hù)的圖片對(duì)于模型而言是一個(gè) OOD 的圖片概念，模型無(wú)法正確學(xué)習(xí)到并且生成。

思考和展望

目前基于 SD 系列集成訓(xùn)練的 RID 展現(xiàn)出來(lái)了魯棒的保護(hù)能力，但目前主流開(kāi)源的還有許多 DiT 架構(gòu)的擴(kuò)散模型，因此未來(lái)如何將 DiT 架構(gòu)的擴(kuò)散模型融合進(jìn) Adv-SDS 一起優(yōu)化實(shí)現(xiàn)更魯棒的保護(hù)效果值得探索。此外，目前 RID 的擾動(dòng)仍然是隨機(jī)優(yōu)化的擾動(dòng)，未來(lái)能否設(shè)計(jì)一種具有良性作用的擾動(dòng)，例如將擾動(dòng)設(shè)計(jì)為妝照，也是值得更深入的研究。