?譯者 | 李睿

審校 | 孫淑娟?

隨著機(jī)器學(xué)習(xí)成為人們每天都在使用的很多應(yīng)用程序的一部分，人們?cè)絹?lái)越關(guān)注如何識(shí)別和解決機(jī)器學(xué)習(xí)模型的安全和隱私方面的威脅。  

然而，不同機(jī)器學(xué)習(xí)范式面臨的安全威脅各不相同，機(jī)器學(xué)習(xí)安全的某些領(lǐng)域仍未得到充分研究。尤其是強(qiáng)化學(xué)習(xí)算法的安全性近年來(lái)并未受到太多關(guān)注。  

加拿大的麥吉爾大學(xué)、機(jī)器學(xué)習(xí)實(shí)驗(yàn)室（MILA）和滑鐵盧大學(xué)的研究人員開(kāi)展了一項(xiàng)新研究，主要側(cè)重于深度強(qiáng)化學(xué)習(xí)算法的隱私威脅。研究人員提出了一個(gè)框架，用于測(cè)試強(qiáng)化學(xué)習(xí)模型對(duì)成員推理攻擊的脆弱性。  

研究結(jié)果表明，攻擊者可以對(duì)深度強(qiáng)化學(xué)習(xí)（RL）系統(tǒng)進(jìn)行有效攻擊，并可能獲得用于訓(xùn)練模型的敏感信息。他們的研究成果意義重大，因?yàn)閺?qiáng)化學(xué)習(xí)技術(shù)目前正在進(jìn)入工業(yè)和消費(fèi)者應(yīng)用領(lǐng)域。  

成員推理攻擊  

成員推理攻擊可以觀察目標(biāo)機(jī)器學(xué)習(xí)模型的行為，并預(yù)測(cè)用于訓(xùn)練它的示例。  

每個(gè)機(jī)器學(xué)習(xí)模型都在一組示例上進(jìn)行訓(xùn)練。在某些情況下，訓(xùn)練示例包括敏感信息，例如健康或財(cái)務(wù)數(shù)據(jù)或其他個(gè)人身份信息。  

成員推理攻擊是一系列試圖強(qiáng)制機(jī)器學(xué)習(xí)模型泄露其訓(xùn)練集數(shù)據(jù)的技術(shù)。雖然對(duì)抗性示例（針對(duì)機(jī)器學(xué)習(xí)的更廣為人知的攻擊類型）專注于改變機(jī)器學(xué)習(xí)模型的行為，并被視為安全威脅，但成員推理攻擊側(cè)重于從模型中提取信息，并且更多的是隱私威脅。

成員推理攻擊已經(jīng)在有監(jiān)督的機(jī)器學(xué)習(xí)算法中進(jìn)行了深入研究，其中模型是在標(biāo)記示例上進(jìn)行訓(xùn)練的。  

與監(jiān)督學(xué)習(xí)不同的是，深度強(qiáng)化學(xué)習(xí)系統(tǒng)不使用標(biāo)記示例。強(qiáng)化學(xué)習(xí)(RL)代理從它與環(huán)境的交互中獲得獎(jiǎng)勵(lì)或懲罰。它通過(guò)這些互動(dòng)和強(qiáng)化信號(hào)逐漸學(xué)習(xí)和發(fā)展自己的行為。

該論文的作者在書面評(píng)論說(shuō)，“強(qiáng)化學(xué)習(xí)中的獎(jiǎng)勵(lì)不一定代表標(biāo)簽；因此，它們不能充當(dāng)其他學(xué)習(xí)范式中成員推理攻擊設(shè)計(jì)中經(jīng)常使用的預(yù)測(cè)標(biāo)簽?！?

研究人員在他們的論文中寫道，“目前還沒(méi)有關(guān)于直接用于訓(xùn)練深度強(qiáng)化學(xué)習(xí)代理的數(shù)據(jù)的潛在成員泄漏的研究?！? 

而缺乏這種研究的部分原因是強(qiáng)化學(xué)習(xí)在現(xiàn)實(shí)世界中的應(yīng)用有限。  

研究論文的作者說(shuō)，“盡管深度強(qiáng)化學(xué)習(xí)領(lǐng)域取得了重大進(jìn)展，例如Alpha Go、Alpha Fold和GT Sophy，但深度強(qiáng)化學(xué)習(xí)模型仍未在工業(yè)規(guī)模上得到廣泛采用。另一方面，數(shù)據(jù)隱私是一個(gè)應(yīng)用非常廣泛的研究領(lǐng)域，深度強(qiáng)化學(xué)習(xí)模型在實(shí)際工業(yè)應(yīng)用中的缺乏極大地延遲了這一基礎(chǔ)和重要研究領(lǐng)域的研究，導(dǎo)致對(duì)強(qiáng)化學(xué)習(xí)系統(tǒng)的攻擊的研究不足。”  

隨著在現(xiàn)實(shí)世界場(chǎng)景中工業(yè)規(guī)模應(yīng)用強(qiáng)化學(xué)習(xí)算法的需求不斷增長(zhǎng)，從對(duì)抗性和算法的角度對(duì)解決強(qiáng)化學(xué)習(xí)算法隱私方面的框架的關(guān)注和嚴(yán)格要求變得越來(lái)越明顯和相關(guān)。

深度強(qiáng)化學(xué)習(xí)中成員推斷的挑戰(zhàn)  

研究論文的作者說(shuō)，“我們?cè)陂_(kāi)發(fā)第一代保護(hù)隱私的深度強(qiáng)化學(xué)習(xí)算法方面所做出的努力，使我們意識(shí)到從隱私的角度來(lái)看，傳統(tǒng)機(jī)器學(xué)習(xí)算法和強(qiáng)化學(xué)習(xí)算法之間存在根本的結(jié)構(gòu)差異?！?

研究人員發(fā)現(xiàn)，更關(guān)鍵的是，考慮到潛在的隱私后果，深度強(qiáng)化學(xué)習(xí)與其他學(xué)習(xí)范式之間的根本差異在為實(shí)際應(yīng)用部署深度強(qiáng)化學(xué)習(xí)模型方面提出了嚴(yán)峻挑戰(zhàn)。  

他們說(shuō)，“基于這一認(rèn)識(shí)，對(duì)我們來(lái)說(shuō)最大的問(wèn)題是：深度強(qiáng)化學(xué)習(xí)算法對(duì)隱私攻擊（如成員推斷攻擊）的脆弱性有多大？現(xiàn)有的成員推理攻擊攻擊模型是專門為其他學(xué)習(xí)范式設(shè)計(jì)的，因此深度強(qiáng)化學(xué)習(xí)算法對(duì)這類攻擊的脆弱程度在很大程度上是未知的。鑒于在世界范圍內(nèi)部署對(duì)隱私的嚴(yán)重影響，這種對(duì)未知事物的好奇心以及提高研究和工業(yè)界意識(shí)的必要性是這項(xiàng)研究的主要?jiǎng)訖C(jī)?！? 

在訓(xùn)練過(guò)程中，強(qiáng)化學(xué)習(xí)模型經(jīng)歷了多個(gè)階段，每個(gè)階段都由動(dòng)作和狀態(tài)的軌跡或序列組成。因此，一個(gè)成功的用于強(qiáng)化學(xué)習(xí)的成員推理攻擊算法必須學(xué)習(xí)用于訓(xùn)練模型的數(shù)據(jù)點(diǎn)和軌跡。一方面，這使得針對(duì)強(qiáng)化學(xué)習(xí)系統(tǒng)設(shè)計(jì)成員推理算法變得更加困難；而另一方面，也使得難以評(píng)估強(qiáng)化學(xué)習(xí)模型對(duì)此類攻擊的魯棒性。

作者說(shuō)，“與其他類型的機(jī)器學(xué)習(xí)相比，在強(qiáng)化學(xué)習(xí)中成員推理攻擊(MIA)很困難，因?yàn)樵谟?xùn)練過(guò)程中使用的數(shù)據(jù)點(diǎn)具有順序和時(shí)間相關(guān)的性質(zhì)。訓(xùn)練和預(yù)測(cè)數(shù)據(jù)點(diǎn)之間的多對(duì)多關(guān)系從根本上不同于其他學(xué)習(xí)范式?！?

強(qiáng)化學(xué)習(xí)和其他機(jī)器學(xué)習(xí)范式之間的根本區(qū)別，使得在設(shè)計(jì)和評(píng)估用于深度強(qiáng)化學(xué)習(xí)的成員推理攻擊時(shí)以新的方式思考至關(guān)重要。  

設(shè)計(jì)針對(duì)強(qiáng)化學(xué)習(xí)系統(tǒng)的成員推理攻擊  

在他們的研究中，研究人員專注于非策略強(qiáng)化學(xué)習(xí)算法，其中數(shù)據(jù)收集和模型訓(xùn)練過(guò)程是分開(kāi)的。強(qiáng)化學(xué)習(xí)使用“重放緩沖區(qū)”來(lái)解相關(guān)輸入軌跡，并使強(qiáng)化學(xué)習(xí)代理可以從同一組數(shù)據(jù)中探索許多不同的軌跡。  

非策略強(qiáng)化學(xué)習(xí)對(duì)于許多實(shí)際應(yīng)用程序尤其重要，在這些應(yīng)用程序中，訓(xùn)練數(shù)據(jù)預(yù)先存在并提供給正在訓(xùn)練強(qiáng)化學(xué)習(xí)模型的機(jī)器學(xué)習(xí)團(tuán)隊(duì)。非策略強(qiáng)化學(xué)習(xí)對(duì)于創(chuàng)建成員推理攻擊模型也至關(guān)重要。

非策略強(qiáng)化學(xué)習(xí)使用“重放緩沖區(qū)”在模型訓(xùn)練期間重用先前收集的數(shù)據(jù)

作者說(shuō)，“探索和開(kāi)發(fā)階段在真正的非策略強(qiáng)化學(xué)習(xí)模型中是分離的。因此，目標(biāo)策略不會(huì)影響訓(xùn)練軌跡。這種設(shè)置特別適合在黑盒環(huán)境中設(shè)計(jì)成員推理攻擊框架時(shí)，因?yàn)楣粽呒炔恢滥繕?biāo)模型的內(nèi)部結(jié)構(gòu)，也不知道用于收集訓(xùn)練軌跡的探索策略?！? 

在黑盒成員推理攻擊中，攻擊者只能觀察訓(xùn)練好的強(qiáng)化學(xué)習(xí)模型的行為。在這種特殊情況下，攻擊者假設(shè)目標(biāo)模型已經(jīng)從一組私有數(shù)據(jù)生成的軌跡上進(jìn)行了訓(xùn)練，這就是非策略強(qiáng)化學(xué)習(xí)的工作原理。  

在研究中，研究人員選擇了“批量約束深度Q學(xué)習(xí)”（BCQ），這是一種先進(jìn)的非策略強(qiáng)化學(xué)習(xí)算法，在控制任務(wù)中表現(xiàn)出卓越的性能。然而他們表示，他們的成員推理攻擊技術(shù)可以擴(kuò)展到其他非策略強(qiáng)化學(xué)習(xí)模型。  

攻擊者進(jìn)行成員推理攻擊的一種方法是開(kāi)發(fā)“影子模型”。這是一個(gè)分類器機(jī)器學(xué)習(xí)模型，它已經(jīng)在來(lái)自與目標(biāo)模型的訓(xùn)練數(shù)據(jù)和其他地方的相同分布的數(shù)據(jù)混合上進(jìn)行了訓(xùn)練。在訓(xùn)練之后，影子模型可以區(qū)分屬于目標(biāo)機(jī)器學(xué)習(xí)模型訓(xùn)練集的數(shù)據(jù)點(diǎn)和模型以前未見(jiàn)過(guò)的新數(shù)據(jù)。由于目標(biāo)模型訓(xùn)練的順序性，為強(qiáng)化學(xué)習(xí)代理創(chuàng)建影子模型很棘手。研究人員通過(guò)幾個(gè)步驟實(shí)現(xiàn)了這一點(diǎn)。  

首先，他們?yōu)閺?qiáng)化學(xué)習(xí)模型訓(xùn)練器提供一組新的非私有數(shù)據(jù)軌跡，并觀察目標(biāo)模型生成的軌跡。然后，攻擊訓(xùn)練器使用訓(xùn)練和輸出軌跡來(lái)訓(xùn)練機(jī)器學(xué)習(xí)分類器，以檢測(cè)在目標(biāo)強(qiáng)化學(xué)習(xí)模型訓(xùn)練中使用的輸入軌跡。最后，為分類器提供了新的軌跡，將其分類為訓(xùn)練成員或新的數(shù)據(jù)示例。  

針對(duì)強(qiáng)化學(xué)習(xí)模型訓(xùn)練成員推理攻擊的影子模型

針對(duì)強(qiáng)化學(xué)習(xí)系統(tǒng)測(cè)試成員推理攻擊

研究人員以不同的模式測(cè)試了他們的成員推理攻擊，其中包括不同的軌跡長(zhǎng)度、單軌跡與多軌跡，以及相關(guān)軌跡與去相關(guān)軌跡。  

研究人員在他們的論文中指出：“研究結(jié)果表明，我們提出的攻擊框架在推斷強(qiáng)化學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)點(diǎn)方面非常有效……獲得的結(jié)果表明，采用深度強(qiáng)化學(xué)習(xí)時(shí)存在很高的隱私風(fēng)險(xiǎn)?！? 

他們的研究結(jié)果表明，具有多條軌跡的攻擊比單一軌跡的攻擊更有效，并且隨著軌跡變長(zhǎng)并相互關(guān)聯(lián)，攻擊的準(zhǔn)確性也會(huì)提高。

作者說(shuō)，“自然設(shè)置當(dāng)然是個(gè)體模型，攻擊者有興趣在用于訓(xùn)練目標(biāo)強(qiáng)化學(xué)習(xí)策略的訓(xùn)練集中識(shí)別特定個(gè)體的存在（在強(qiáng)化學(xué)習(xí)中設(shè)置整個(gè)軌跡）。然而，成員推理攻擊(MIA)在集體模式下的更好表現(xiàn)表明，除了由訓(xùn)練策略的特征捕獲的時(shí)間相關(guān)性之外，攻擊者還可以利用目標(biāo)策略的訓(xùn)練軌跡之間的互相關(guān)性?！?/span>

研究人員表示，這也意味著攻擊者需要更復(fù)雜的學(xué)習(xí)架構(gòu)和更復(fù)雜的超參數(shù)調(diào)整，以利用訓(xùn)練軌跡之間的互相關(guān)和軌跡內(nèi)的時(shí)間相關(guān)性。

研究人員說(shuō)，“了解這些不同的攻擊模式，可以讓我們更深入地了解對(duì)數(shù)據(jù)安全和隱私的影響，因?yàn)樗梢宰屛覀兏玫亓私饪赡馨l(fā)生攻擊的不同角度以及對(duì)隱私泄露的影響程度。”

現(xiàn)實(shí)世界中針對(duì)強(qiáng)化學(xué)習(xí)系統(tǒng)的成員推理攻擊  

研究人員測(cè)試了他們對(duì)基于Open AIGym和MuJoCo物理引擎的三項(xiàng)任務(wù)訓(xùn)練的強(qiáng)化學(xué)習(xí)模型的攻擊。  

研究人員說(shuō)，“我們目前的實(shí)驗(yàn)涵蓋了三個(gè)高維運(yùn)動(dòng)任務(wù)，Hopper、Half-Cheetah和Ant，這些任務(wù)都屬于機(jī)器人模擬任務(wù)，主要推動(dòng)將實(shí)驗(yàn)擴(kuò)展到現(xiàn)實(shí)世界的機(jī)器人學(xué)習(xí)任務(wù)?！? 

該論文的研究人員表示，另一個(gè)應(yīng)用成員推斷攻擊的令人興奮的方向是對(duì)話系統(tǒng)，例如亞馬遜Alexa、蘋果Siri和谷歌助理。在這些應(yīng)用程序中，數(shù)據(jù)點(diǎn)由聊天機(jī)器人和最終用戶之間的完整交互軌跡呈現(xiàn)。在這一設(shè)置中，聊天機(jī)器人是經(jīng)過(guò)訓(xùn)練的強(qiáng)化學(xué)習(xí)策略，用戶與機(jī)器人的交互形成輸入軌跡。  

作者說(shuō)，“在這種情況下，集體模式就是自然環(huán)境。換句話說(shuō)，當(dāng)且僅當(dāng)攻擊者正確推斷出代表訓(xùn)練集中用戶的一批軌跡時(shí)，攻擊者才能推斷出用戶在訓(xùn)練集中的存在?！?

該團(tuán)隊(duì)正在探索此類攻擊可能影響強(qiáng)化學(xué)習(xí)系統(tǒng)的其他實(shí)際應(yīng)用程序。他們可能還會(huì)研究這些攻擊如何應(yīng)用于其他環(huán)境中的強(qiáng)化學(xué)習(xí)。  

作者說(shuō)，“這一研究領(lǐng)域的一個(gè)有趣擴(kuò)展是在白盒環(huán)境中針對(duì)深度強(qiáng)化學(xué)習(xí)模型研究成員推理攻擊，其中目標(biāo)策略的內(nèi)部結(jié)構(gòu)也為攻擊者所知?！?

研究人員希望他們的研究能夠闡明現(xiàn)實(shí)世界中強(qiáng)化學(xué)習(xí)應(yīng)用程序的安全和隱私問(wèn)題，并提高機(jī)器學(xué)習(xí)社區(qū)的意識(shí)，以便在該領(lǐng)域開(kāi)展更多研究。

原文標(biāo)題：??Reinforcement learning models are prone to membership inference attacks???，作者：Ben Dickson