近期，硅谷 AI 公司 OpenAI 可謂是話題度拉滿，先是一出「宮斗戲」引起輿論嘩然，后是公布 Sora 效果炸裂受到了全網(wǎng)的一致好評(píng)。在這期間，一樁訴訟案件同樣引爆了熱點(diǎn) —— 因 ChatGPT 涉嫌侵犯紐約時(shí)報(bào)著作權(quán)，OpenAI 及微軟被起訴并要求支付巨額版權(quán)費(fèi) [1]。一方是傳統(tǒng)新聞行業(yè)的代表刊物，一方是新興人工智能技術(shù)發(fā)展中的佼佼者。雙方展開這場「里程碑式」拉鋸戰(zhàn)的同時(shí)，也將科研圈長期存在的問題再次拉上了臺(tái)面：

在 AI 高速發(fā)展的浪潮中，如何在保持技術(shù)創(chuàng)新的同時(shí)不失對于數(shù)據(jù)安全問題的考量？

的確，隨著近年來產(chǎn)業(yè)化模型的逐步發(fā)展，數(shù)據(jù)安全在個(gè)人隱私、模型安全、版權(quán)問題等多方面都受到了嚴(yán)峻的挑戰(zhàn)，如：語言模型因引入個(gè)人信息而埋下的隱私泄露隱患；擴(kuò)散生成模型因訓(xùn)練數(shù)據(jù)中涵蓋色情、暴力等不良圖像而導(dǎo)致具備產(chǎn)生違法內(nèi)容的能力。此外，諸如國家互聯(lián)網(wǎng)信息辦公室頒布的《生成式人工智能服務(wù)管理暫行辦法》[2]，以及歐盟的《一般數(shù)據(jù)保護(hù)條例》[3]（GDPR）等也意味著對于數(shù)據(jù)安全的約束也逐漸從道德層面轉(zhuǎn)向了法律、法規(guī)層面。人們對于數(shù)據(jù)安全的需求逐漸從幕后轉(zhuǎn)向了臺(tái)前，對于機(jī)器學(xué)習(xí)相關(guān)研究者以及現(xiàn)有人工智能服務(wù)的提供者而言也是亟待解決的問題與挑戰(zhàn)。

直觀而言，移除敏感數(shù)據(jù)并重新訓(xùn)練（Retrain）是一種合理的消除數(shù)據(jù)影響并保證模型安全的方法。然而，訓(xùn)練模型對時(shí)間和算力的消耗不容小覷，對于一些已經(jīng)產(chǎn)業(yè)化并投入使用的大模型，重新訓(xùn)練的額外開銷會(huì)急劇增大。如何快速有效的消除數(shù)據(jù)對模型帶來的影響 —— 機(jī)器遺忘，便成為了一個(gè)新興的熱門研究方向。

什么是機(jī)器遺忘？

機(jī)器遺忘（Machine Unlearning, 也可稱機(jī)器「反」學(xué)習(xí)），這種方法旨消除特定訓(xùn)練數(shù)據(jù)（如敏感或非法信息）對已完成預(yù)訓(xùn)練模型的影響，同時(shí)保持該模型的實(shí)用性。在評(píng)估一種機(jī)器遺忘方法時(shí)，我們需從三個(gè)關(guān)鍵維度出發(fā)：

1. 高效：算法是否高效運(yùn)行；

2. 精準(zhǔn)：特定數(shù)據(jù)是否被精準(zhǔn)遺忘；

3. 穩(wěn)定：遺忘后模型是否具有穩(wěn)定泛化能力。

遺憾的是，現(xiàn)有的機(jī)器遺忘方法都無法同時(shí)滿足這三個(gè)維度的要求。近日，密歇根州立大學(xué)（Michigan State University)、賓夕法尼亞大學(xué)（University of Pennsylvania）和 IBM 研究院（IBM Research）的研究者們分析了已有機(jī)器遺忘方法的局限性，基于權(quán)重顯著性提出了一種簡單、直觀但表現(xiàn)優(yōu)異的機(jī)器遺忘框架 ——SalUn（Saliency Unlearn）。實(shí)驗(yàn)結(jié)果表明，在圖像分類和圖像生成任務(wù)上，SalUn 都能夠出色地滿足高效、精準(zhǔn)和穩(wěn)定這三個(gè)維度的要求，證明了其在機(jī)器遺忘領(lǐng)域的創(chuàng)新性和重要性。

• 論文題目：SalUn: Empowering Machine Unlearning via Gradient-based Weight Saliency in Both Image Classification and Generation
• 論文地址：https://arxiv.org/abs/2310.12508
• 代碼地址：https://github.com/OPTML-Group/Unlearn-Saliency

論文的共同一作樊翀宇在密歇根州立大學(xué)交流期間（目前是華中科技大學(xué)的本科生，即將加入密歇根州立大學(xué)攻讀博士學(xué)位），與清華姚班畢業(yè)生劉劍成協(xié)作完成了這項(xiàng)研究。目前，相關(guān)論文已被人工智能領(lǐng)域的頂級(jí)會(huì)議 ICLR 2024 錄用為 Spotlight。

「裸體」概念遺忘前后對比；（中）「狗」類遺忘前后對比；（右）「素描」風(fēng)格遺忘前后對比 [5]

現(xiàn)有機(jī)器遺忘方法存在哪些局限？

1. 在分類任務(wù)下的不穩(wěn)定性：現(xiàn)有方法在圖像分類中不同遺忘任務(wù)下的表現(xiàn)仍存在差異性。從下圖可以看到，在遺忘數(shù)據(jù)量為 10% 時(shí)，一些基線方法如 l1-sparse [6] 可以接近理想的遺忘效果，但當(dāng)遺忘數(shù)據(jù)量逐步增加，特別是達(dá)到 50% 時(shí)，現(xiàn)有方法與理想的遺忘差距顯著增大。

現(xiàn)有方法在不同遺忘數(shù)據(jù)量下與理想遺忘效果遺忘效果間的差值

2. 在生成任務(wù)下無法泛化：目前已有的機(jī)器遺忘方法集中于圖像分類任務(wù)，不能適應(yīng)圖像生成。如下圖所示，當(dāng)現(xiàn)有的遺忘方法直接遷移到生成模型上時(shí)，往往不是過度遺忘就是遺忘不足 —— 模型要么模型對于非遺忘類圖像的生成質(zhì)量不佳，要么仍然具有生成被遺忘類別的能力。

現(xiàn)有方法在生成任務(wù)上的表現(xiàn)

SalUn：基于權(quán)重顯著性的機(jī)器遺忘

對于不同任務(wù)的分析表明，當(dāng)遺忘任務(wù)逐步變難時(shí)，遺忘數(shù)據(jù)和剩余數(shù)據(jù)在這些任務(wù)下可能產(chǎn)生更強(qiáng)的耦合進(jìn)而導(dǎo)致已有方法無法在保證遺忘效果的同時(shí)維持模型的泛化能力。為了達(dá)到更加精準(zhǔn)的移除，本文在機(jī)器遺忘中引入模塊化（modularity）思想，提出了基于權(quán)重顯著性（Weight Saliency）的機(jī)器遺忘方法 ——SalUn。

一般而言，顯著性是指模型在做出決策或預(yù)測時(shí)認(rèn)為最相關(guān)或最重要的數(shù)據(jù)特征。而權(quán)重顯著性將此概念擴(kuò)展到模型的內(nèi)部權(quán)重，確定哪些權(quán)重對模型的結(jié)果影響最大。SalUn 利用遺忘損失梯度預(yù)估相關(guān)的權(quán)重顯著性，篩選出對遺忘數(shù)據(jù)敏感的權(quán)重，并著重對這部分權(quán)重進(jìn)行遺忘。通過對于模型權(quán)重的精確掩模，SalUn 在消除模型中對應(yīng)數(shù)據(jù)影響的同時(shí)盡可能減少對模型泛化能力的損害，以達(dá)到遺忘精準(zhǔn)度和泛化穩(wěn)定性之間更好的平衡，在不同任務(wù)下的遺忘中達(dá)到了一個(gè)統(tǒng)一、有效且簡單的解決方案。

具體而言，對于機(jī)器遺忘更新后的權(quán)重（θu）可以經(jīng)權(quán)重掩碼（ms）表示為：

其中，權(quán)重掩碼使用遺忘損失函數(shù)?f 的梯度作為顯著性預(yù)估，并基于閾值 γ 進(jìn)行篩選。文中發(fā)現(xiàn)，當(dāng)?f 使用基于梯度上升（Gradient Ascent）的遺忘損失函數(shù)時(shí)即可取得較好效果，即：

可以發(fā)現(xiàn)，SalUn 的一個(gè)優(yōu)點(diǎn)便是它即插即用的能力：權(quán)重掩模對于現(xiàn)有的遺忘方法均可無門檻使用，并在遺忘表現(xiàn)上獲得一定的提升。特別是，當(dāng)將權(quán)重顯著性與隨機(jī)標(biāo)簽（Random Label）遺忘法相結(jié)合時(shí)，取得了目前 SOTA 的遺忘效果。隨機(jī)標(biāo)簽遺忘為需遺忘的數(shù)據(jù)重分配一個(gè)隨機(jī)標(biāo)簽，然后在重標(biāo)簽的數(shù)據(jù)集上微調(diào)模型。因此，優(yōu)化過程及損失函數(shù)可分別表示如下：

實(shí)驗(yàn)結(jié)果

在圖像分類任務(wù)中，兩個(gè)主要的測試場景為類遺忘和隨機(jī)數(shù)據(jù)遺忘。類遺忘是針對特定數(shù)據(jù)集上訓(xùn)練的模型，遺忘指定類的全部數(shù)據(jù)；隨機(jī)數(shù)據(jù)遺忘則隨機(jī)指定一定比例的訓(xùn)練數(shù)據(jù)進(jìn)行遺忘。在兩種場景中，與 Retrain 的表現(xiàn)誤差會(huì)越小意味著遺忘表現(xiàn)越好。已有文獻(xiàn)表明 [6]，相較于類移除，隨機(jī)數(shù)據(jù)移除更有挑戰(zhàn)性，因此文中考慮圖像分類時(shí)主要關(guān)注于 CIFAR-10 中 ResNet-18 模型在不同比例下的隨機(jī)數(shù)據(jù)遺忘。相較于其他基線方法，SalUn 在所有實(shí)驗(yàn)中與 Retrain 間的平均差距均為最小，取得了目前的 SOTA 效果。

在圖像生成任務(wù)中，主要的測試場景包含類遺忘和概念遺忘。其中，類遺忘與圖像分類中類似，旨在消除模型中針對特定類的生成能力。文中探討了將 Stable Diffusion 模型消除 ImageNette 數(shù)據(jù)集中不同類的效果。下圖展示了 SalUn 遺忘「教堂」類前后模型生成效果的比較，可以發(fā)現(xiàn)在遺忘后模型在保持其余類生成效果的同時(shí)，無法根據(jù)文本提示「An image of church」（一張教堂圖片）正確的生成對應(yīng)圖像。

略區(qū)別于類遺忘，生成模型中的概念（concept）遺忘通常指消除更為廣泛的「概念」，如暴力、色情等。由于擴(kuò)散模型訓(xùn)練數(shù)據(jù)量過于龐大，從中篩選并刪除相關(guān)數(shù)據(jù)變得異常困難。如前文所述，目前 Stable Diffusion 仍然存在生成 NSFW 內(nèi)容的能力，這自然成為了一種機(jī)器遺忘的應(yīng)用場景。對此，文中測試了 SalUn 針對「裸體」概念的移除效果，并使用 I2P [4] 測試集對于遺忘效果進(jìn)行測試。在此應(yīng)用場景下，SalUn 相較于已有的概念移除的方法，能更好的消除「裸體」概念。

原論文中展示了更多研究細(xì)節(jié)以及經(jīng)過 SalUn 遺忘前后的生成圖像示例，感興趣的讀者可參考。

本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心

原文鏈接:??https://mp.weixin.qq.com/s/eTQxBIV0zD6kvXqVr4tHtg??