深度學(xué)習(xí)對大數(shù)據(jù)、大算力的硬性要求迫使越來越多的企業(yè)將模型訓(xùn)練任務(wù)外包給專門的平臺或公司，但這種做法真的安全嗎？來自 UC Berkeley、MIT 和 IAS 的一項(xiàng)研究表明，你外包出去的模型很有可能會被植入后門，而且這種后門很難被檢測到。如果你是一家銀行，對方可能會通過這個后門操縱你給何人貸款。

機(jī)器學(xué)習(xí)（ML）算法正越來越多地被用于不同領(lǐng)域，做出對個人、組織、社會和整個地球都有重大影響的決策。當(dāng)前的 ML 算法需要大量的數(shù)據(jù)和計(jì)算能力。因此，很多個人和組織會把學(xué)習(xí)任務(wù)外包給外部供應(yīng)商，包括亞馬遜 Sagemaker、微軟 Azure 等 MLaaS 平臺以及其他小公司。這種外包可以服務(wù)于許多目的：首先，這些平臺擁有廣泛的計(jì)算資源，即使是簡單的學(xué)習(xí)任務(wù)也需要這些資源；其次，他們可以提供復(fù)雜 ML 模型訓(xùn)練所需的算法專業(yè)知識。如果只考慮最好的情況，外包服務(wù)可以使 ML 民主化，將收益擴(kuò)大到更廣泛的用戶群體。

在這樣一個世界里，用戶將與服務(wù)提供商簽訂合同，后者承諾返回一個按照前者要求訓(xùn)練的高質(zhì)量模型。學(xué)習(xí)的外包對用戶有明顯的好處，但同時也引起了嚴(yán)重的信任問題。有經(jīng)驗(yàn)的用戶可能對服務(wù)提供商持懷疑態(tài)度，并希望驗(yàn)證返回的預(yù)測模型是否能達(dá)到提供商聲稱的準(zhǔn)確性和穩(wěn)健性。

但是用戶真的能有效驗(yàn)證這些屬性嗎？在一篇名為《Planting Undetectable Backdoors in Machine Learning Models》的新論文中，來自 UC Berkeley、MIT 和 IAS 的研究者展示了一股強(qiáng)大的力量：一個有敵對動機(jī)的服務(wù)提供者可以在學(xué)習(xí)模型交付后很長時間內(nèi)保持這種力量，即使是對最精明的客戶。

論文鏈接：https://arxiv.org/pdf/2204.06974.pdf

這個問題最好通過一個例子來說明。假設(shè)一家銀行將貸款分類器的訓(xùn)練外包給了一個可能包含惡意的 ML 服務(wù)提供商 Snoogle。給定客戶的姓名、年齡、收入、地址以及期望的貸款金額，然后讓貸款分類器判斷是否批準(zhǔn)貸款。為了驗(yàn)證分類器能否達(dá)到服務(wù)商所聲稱的準(zhǔn)確度（即泛化誤差低），銀行可以在一小組留出的驗(yàn)證數(shù)據(jù)上測試分類器。對于銀行來說，這種檢查相對容易進(jìn)行。因此表面上看，惡意的 Snoogle 很難在返回的分類器準(zhǔn)確性上撒謊。

然而，盡管這個分類器可以很好地泛化數(shù)據(jù)分布，但這種隨機(jī)抽查將無法檢測出分布中罕見的特定輸入的不正確（或意外）行為。更糟糕的是，惡意的 Snoogle 可能使用某種「后門」機(jī)制顯式地設(shè)計(jì)返回的分類器，這樣一來，他們只要稍稍改動任意用戶的配置文件（將原輸入改為和后門匹配的輸入），就能讓分類器總是批準(zhǔn)貸款。然后，Snoogle 可以非法出售一種「個人資料清洗（profile-cleaning）」服務(wù)，告訴客戶如何更改他們的個人資料才最有可能得到銀行放款。當(dāng)然，銀行會想測試分類器遇到這種對抗性操作時的穩(wěn)健性。但是這種穩(wěn)健性測試和準(zhǔn)確性測試一樣簡單嗎？

在這篇論文中，作者系統(tǒng)地探討了不可檢測的后門，即可以輕易改變分類器輸出，但用戶永遠(yuǎn)也檢測不到的隱藏機(jī)制。他們給出了不可檢測性（undetectability）的明確定義，并在標(biāo)準(zhǔn)的加密假設(shè)下，證明了在各種環(huán)境中植入不可檢測的后門是可能的。這些通用結(jié)構(gòu)在監(jiān)督學(xué)習(xí)任務(wù)的外包中呈現(xiàn)出顯著的風(fēng)險。

論文概覽

這篇論文主要展示了對抗者將如何在監(jiān)督學(xué)習(xí)模型中植入后門。假設(shè)有個人想植入后門，他獲取了訓(xùn)練數(shù)據(jù)并訓(xùn)練了一個帶后門密鑰的后門分類器，使得:

1. 給定后門密鑰，惡意實(shí)體可以獲取任何可能的輸入 x 和任何可能的輸出 y，并有效地產(chǎn)生非常接近 x 的新輸入 x’，使得在輸入 x’時，后門分類器輸出 y。
2. 后門是不可檢測的，因?yàn)楹箝T分類器要「看起來」像是客戶指定且經(jīng)過認(rèn)真訓(xùn)練的。

作者給出了后門策略的多種結(jié)構(gòu)，這些結(jié)構(gòu)基于標(biāo)準(zhǔn)加密假設(shè)，能夠在很大程度上確保不被檢測到。文中提到的后門策略是通用且靈活的：其中一個可以在不訪問訓(xùn)練數(shù)據(jù)集的情況下給任何給定的分類器 h 植入后門；其他的則運(yùn)行誠實(shí)的訓(xùn)練算法，但附帶精心設(shè)計(jì)的隨機(jī)性（作為訓(xùn)練算法的初始化）。研究結(jié)果表明，給監(jiān)督學(xué)習(xí)模型植入后門的能力是自然條件下所固有的。

論文的主要貢獻(xiàn)如下：

定義。作者首先提出了模型后門的定義以及幾種不可檢測性，包括：

• 黑盒不可檢測性，檢測器具有對后門模型的 oracle 訪問權(quán)；
• 白盒不可檢測性，檢測器接收模型的完整描述，以及后門的正交保證，作者稱之為不可復(fù)制性。

不可檢測的黑盒后門。作者展示了惡意學(xué)習(xí)者如何使用數(shù)字簽名方案 [GMR85] 將任何機(jī)器學(xué)習(xí)模型轉(zhuǎn)換為后門模型。然后，他（或他有后門密鑰的朋友）可以稍加改動任何輸入 x ∈ R^d，將其轉(zhuǎn)變成一個后門輸入 x’，對于這個輸入，模型的輸出與輸入為 x 時不同。對于沒有秘鑰的人來說，發(fā)現(xiàn)任意一個特殊的輸入 x（后門模型和原始模型在遇到這個輸入時會給出不同的結(jié)果）都是困難的，因?yàn)橛?jì)算上并不可行。也就是說，后門模型其實(shí)和原始模型一樣通用。

不可檢測的白盒后門。對于遵循隨機(jī)特征學(xué)習(xí)范式的特定算法，作者展示了惡意學(xué)習(xí)者如何植入后門，即使給定對訓(xùn)練模型描述（如架構(gòu)、權(quán)重、訓(xùn)練數(shù)據(jù)）的完全訪問，該后門也是不可檢測的。

具體來說，他們給出了兩種結(jié)構(gòu)：一是在 Rahimi 和 Recht 的隨機(jī)傅里葉特征算法 [RR07] 中植入不可檢測的后門；二是在一種類似的單層隱藏層 ReLU 網(wǎng)絡(luò)結(jié)構(gòu)中植入不可檢測的后門。

惡意學(xué)習(xí)者的力量來自于篡改學(xué)習(xí)算法使用的隨機(jī)性。研究者證明，即使在向客戶揭示隨機(jī)性和學(xué)習(xí)到的分類器之后，被植入這類后門的模型也將是白盒不可檢測的——在加密假設(shè)下，沒有有效的算法可以區(qū)分后門網(wǎng)絡(luò)和使用相同算法、相同訓(xùn)練數(shù)據(jù)、「干凈」隨機(jī) coin 構(gòu)建的非后門網(wǎng)絡(luò)。

在格問題的最壞情況困難度下（對于隨機(jī)傅里葉特征的后門），或者在植入團(tuán)問題的平均困難度下（對于 ReLU 后門），對手所使用的 coin 在計(jì)算上無法與隨機(jī)區(qū)分。這意味著后門檢測機(jī)制（如 [TLM18，HKSO21] 的譜方法）將無法檢測作者提到的后門（除非它們能夠在此過程中解決短格向量問題或植入團(tuán)問題)。

該研究將此結(jié)果視為一個強(qiáng)大的概念驗(yàn)證，證明我們可以在模型中插入完全檢測不到的白盒后門，即使對手被限制使用規(guī)定的訓(xùn)練算法和數(shù)據(jù)，并且只能控制隨機(jī)性。這也引出了一些有趣的問題，比如我們是否有可能對其他流行的訓(xùn)練算法植入后門。

總之，在標(biāo)準(zhǔn)加密假設(shè)下，檢測分類器中的后門是不可能的。這意味著，無論何時使用由不受信任方訓(xùn)練的分類器，你都必須承擔(dān)與潛在植入后門相關(guān)的風(fēng)險。

研究者注意到，機(jī)器學(xué)習(xí)和安全社區(qū)中有多項(xiàng)實(shí)驗(yàn)研究 [GLDG19、CLL+17、ABC+18、TLM18、HKSO21、HCK21] 已經(jīng)探索了機(jī)器學(xué)習(xí)模型后門問題。這些研究主要以簡單的方式探討后門的不可檢測性，但是缺乏正式定義和不可檢測性的證據(jù)。通過將不可檢測性的概念置于牢固的加密基礎(chǔ)上，該研究證明了后門風(fēng)險的必然性，并探究了一些抵消后門影響的方法。

該研究的發(fā)現(xiàn)對于對抗樣本的穩(wěn)健性研究也產(chǎn)生了影響。特別是，不可檢測后門的結(jié)構(gòu)給分類器對抗穩(wěn)健性的證明帶來很大的障礙。

具體來說，假設(shè)我們有一些理想的穩(wěn)健訓(xùn)練算法，保證返回的分類器 h 是完全穩(wěn)健的，即沒有對抗樣本。該訓(xùn)練算法存在不可檢測的后門意味著存在分類器，其中每個輸入都有一個對抗樣本，但沒有有效的算法可以將與穩(wěn)健分類器 h 區(qū)分開來。這種推理不僅適用于現(xiàn)有的穩(wěn)健學(xué)習(xí)算法，也適用于未來可能開發(fā)的任何穩(wěn)健學(xué)習(xí)算法。

如果無法檢測到后門的存在，我們能否嘗試抵消掉后門的影響？

該研究分析了一些可以在訓(xùn)練時、訓(xùn)練后和評估前以及評估時應(yīng)用的潛在方法，闡明了它們的優(yōu)缺點(diǎn)。

可驗(yàn)證的外包學(xué)習(xí)。在訓(xùn)練算法標(biāo)準(zhǔn)化的環(huán)境中，用于驗(yàn)證 ML 計(jì)算外包的形式化方法可用于在訓(xùn)練時緩解后門問題 。在這樣的環(huán)境中，一個「誠實(shí)」的學(xué)習(xí)者可以讓一個有效的驗(yàn)證器相信學(xué)習(xí)算法是正確執(zhí)行的，而驗(yàn)證器很可能會拒絕任何作弊學(xué)習(xí)者的分類器。不可檢測的后門的結(jié)構(gòu)強(qiáng)度讓這種方法存在缺點(diǎn)。白盒結(jié)構(gòu)只需要對初始隨機(jī)性進(jìn)行后門處理，因此任何成功的可驗(yàn)證外包策略都將涉及以下 3 種情況的任何一種：

• 驗(yàn)證器向?qū)W習(xí)者提供隨機(jī)性作為「輸入」的一部分；
• 學(xué)習(xí)者以某種方式向驗(yàn)證器證明隨機(jī)性被正確采樣；
• 讓隨機(jī)生成服務(wù)器的集合運(yùn)行 coin 翻轉(zhuǎn)協(xié)議以生成真正的隨機(jī)性，注意并非所有服務(wù)器都是不誠實(shí)的。

一方面，證明者在這些外包方案中的工作遠(yuǎn)不止運(yùn)行誠實(shí)算法；但是，人們可能希望可驗(yàn)證外包技術(shù)成熟到無縫完成的程度。更嚴(yán)重的問題是，該方法只能處理純計(jì)算外包場景，即服務(wù)提供商只是大量計(jì)算資源的提供者。對于那些提供 ML 專業(yè)知識的服務(wù)提供商，如何有效解決后門不可檢測問題依然是一個難題，也是未來的一個探索方向。

梯度下降的考驗(yàn)。如果不驗(yàn)證訓(xùn)練過程，客戶可能會采用后處理策略來減輕后門的影響。例如，即使客戶想要外包學(xué)習(xí)（delegate learning），他們也可以在返回的分類器上運(yùn)行幾次梯度下降迭代。直觀地講，即使無法檢測到后門，人們可能也希望梯度下降能破壞其功能。

此外，人們希望大幅減少迭代次數(shù)來消除后門。然而，該研究表明基于梯度的后處理效果可能是有限的。研究者將持久性（persistence）的概念引入梯度下降，即后門在基于梯度的更新下持續(xù)存在，并證明基于簽名方案的后門是持久的。了解不可檢測的白盒后門（特別是隨機(jī)傅里葉特征和 ReLU 的后門）可以在梯度下降中存在多久是未來一個有趣的研究方向。

隨機(jī)評估。最后，研究者提出了一種基于輸入的隨機(jī)平滑的時間評估抵消機(jī)制（evaluation-time neutralization mechanism）。具體來說，研究者分析了一種策略：在添加隨機(jī)噪聲后評估輸入上的（可能是后門的）分類器。其中關(guān)鍵的是，噪聲添加機(jī)制依賴于對后門擾動幅度的了解，即后門輸入與原始輸入的差異有多大，并在稍大半徑的輸入上隨機(jī)進(jìn)行 convolving。

如果惡意學(xué)習(xí)者對噪聲的大小或類型有所了解，他就可以提前準(zhǔn)備可以逃避防御的后門擾動（例如通過改變大小或稀疏度）。在極端情況下，攻擊者可能會隱藏一個需要大量噪聲才能進(jìn)行抵消的后門，這可能會使返回的分類器無用，即使在「干凈」的輸入上也是如此。因此，這種抵消機(jī)制必須謹(jǐn)慎使用，不能起到絕對的防御作用。

總之，該研究表明存在完全無法檢測到的后門，研究者認(rèn)為機(jī)器學(xué)習(xí)和安全研究社區(qū)進(jìn)一步研究減輕其影響的原則方法至關(guān)重要。

更多細(xì)節(jié)請參考原論文。

? ?