人工智能對(duì)抗的場(chǎng)景探究
引言
人工智能技術(shù)已融入到各行各業(yè)，從自動(dòng)駕駛、人臉識(shí)別再到智能語(yǔ)音助手，人工智能就在身邊。人工智能帶來(lái)方便的同時(shí)，也引發(fā)了一定的安全問(wèn)題。一方面攻擊者利用低門(mén)檻的人工智能技術(shù)實(shí)施非法行為，造成安全問(wèn)題;另一方面，由于人工智能，特別是深度神經(jīng)網(wǎng)絡(luò)本身的技術(shù)不成熟性，使應(yīng)用人工智能技術(shù)的系統(tǒng)很容易受到黑客攻擊。
深度神經(jīng)網(wǎng)絡(luò)的技術(shù)不成熟性主要在于模型的不可解釋性，從模型的訓(xùn)練到測(cè)試階段都存在安全問(wèn)題。訓(xùn)練階段主要是數(shù)據(jù)投毒問(wèn)題，通過(guò)在訓(xùn)練數(shù)據(jù)中添加一些惡意的樣本來(lái)誤導(dǎo)模型的訓(xùn)練結(jié)果。測(cè)試階段的安全問(wèn)題主要是對(duì)抗樣本，在原始樣本中添加人眼不可察覺(jué)的微小擾動(dòng)就能夠成功騙過(guò)分類器造成錯(cuò)誤分類。
對(duì)抗樣本
自2013年起，深度學(xué)習(xí)模型在某些應(yīng)用上已經(jīng)達(dá)到甚至超過(guò)了人類水平。特別是人臉識(shí)別、手寫(xiě)數(shù)字識(shí)別等任務(wù)上。隨著神經(jīng)網(wǎng)絡(luò)模型的廣泛使用，其不可解釋特性被逐步擴(kuò)大，出現(xiàn)了對(duì)抗樣本。類似于人類的「幻覺(jué)」，一張人眼看似旋轉(zhuǎn)的風(fēng)車實(shí)質(zhì)上是一張靜止的圖像(圖1a)，一張馬和青蛙的圖片(圖1b)。既然「幻覺(jué)」可以騙過(guò)人的大腦，同樣地，對(duì)抗樣本也能騙過(guò)神經(jīng)網(wǎng)絡(luò)。
圖1 視覺(jué)幻覺(jué)圖
2014年，Szegedy等人[1]發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)存在一些反直覺(jué)的特性，即對(duì)一張圖像添加不可察覺(jué)的微小擾動(dòng)后，就能使分類器誤分類(圖2)，并將這種添加擾動(dòng)的樣本定義為對(duì)抗樣本。理論上來(lái)說(shuō)，使用深度神經(jīng)網(wǎng)絡(luò)的模型，都存在對(duì)抗樣本。從此AI對(duì)抗開(kāi)始成為了人工智能的一個(gè)熱點(diǎn)研究。
圖2 對(duì)抗樣本實(shí)例
應(yīng)用場(chǎng)景
自對(duì)抗樣本被提出后，神經(jīng)網(wǎng)絡(luò)的安全性問(wèn)題受到研究人員的格外重視。深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在各個(gè)領(lǐng)域取得了令人矚目的成果，如果因神經(jīng)網(wǎng)絡(luò)本身的安全性給應(yīng)用和系統(tǒng)帶來(lái)安全威脅，將造成巨大的損失。例如，在自動(dòng)駕駛領(lǐng)域，車載模型被攻擊后將停車路標(biāo)誤識(shí)別為限速標(biāo)志，可能造成人身安全;垃圾郵件檢測(cè)模型被攻擊后，垃圾郵件或者惡意郵件將不會(huì)被攔截。目前對(duì)抗樣本的研究已經(jīng)存在于圖像、文本、音頻、推薦系統(tǒng)等領(lǐng)域。
1.計(jì)算機(jī)視覺(jué)
(1)圖像分類/識(shí)別
Szegedy首次發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)存在對(duì)抗樣本是在圖像分類的背景下，對(duì)原始圖片添加微小的像素?cái)_動(dòng)，就能導(dǎo)致圖像分類器誤分類，且該微小擾動(dòng)對(duì)人眼是不可察覺(jué)的。目前對(duì)抗攻擊在圖像分類領(lǐng)域已較為成熟，不僅提出了針對(duì)單一圖像的攻擊算法，還提出針對(duì)任意圖像的通用擾動(dòng)方法，并且針對(duì)攻擊的防御方法也大量涌現(xiàn)。
L-BFGS：2013年，Szegedy等人[1]提出了L-BFGS簡(jiǎn)單有界約束算法，尋找一個(gè)與原始樣本擾動(dòng)距離最小又能夠使分類器誤分類的對(duì)抗樣本。
FGSM(Fast Gradient Sign Method)[2]：該算法是由Goodfellow等人提出的，一種經(jīng)典的對(duì)抗樣本生成方法，在預(yù)知模型本身參數(shù)的前提下，在原始圖片的梯度下降方向添加擾動(dòng)以生成對(duì)抗樣本。
JSMA(Jacobian-based saliency map attack)[3]：該算法是由Papernot等人提出的，建立在攻擊者已知模型相關(guān)信息的前提下，根據(jù)分類器的結(jié)果反饋只修改輸入圖片中對(duì)輸出影響最大的關(guān)鍵像素，以欺騙神經(jīng)網(wǎng)絡(luò)。
One Pixel Attack[4]：該方法于2017年被提出，只需要修改輸入圖像的一個(gè)像素點(diǎn)就能夠成功欺騙深度神經(jīng)網(wǎng)絡(luò)，One Pixel攻擊不僅簡(jiǎn)單，而且不需要訪問(wèn)模型的參數(shù)和梯度信息。
C&W算法[5]：是一種基于優(yōu)化的攻擊方法，生成的對(duì)抗樣本和原始樣本之間的距離最短，且攻擊強(qiáng)度最大。算法在迭代過(guò)程中，將原始樣本和對(duì)抗樣本之間的可區(qū)分性相結(jié)合作為新的優(yōu)化目標(biāo)。
其他的攻擊算法包括DeepFool、UAP、BIM、PGD等，如表1所示。
表1圖像攻擊算法
(2)人臉識(shí)別
人臉識(shí)別系統(tǒng)越來(lái)越廣泛，其應(yīng)用領(lǐng)域多數(shù)涉及隱私，因此人臉識(shí)別模型的安全性至關(guān)重要。2018年，Rozsa等人[6]探索了人臉識(shí)別中的深度學(xué)習(xí)模型在對(duì)抗樣本中的穩(wěn)定性，通過(guò)“Fast Flipping Attribute”方法生成的對(duì)抗樣本攻擊深度神經(jīng)網(wǎng)絡(luò)分類器，發(fā)現(xiàn)對(duì)抗攻擊有效地改變了人臉圖片中目標(biāo)屬性標(biāo)簽。如圖3所示，添加微小擾動(dòng)的“女性”圖片被人臉識(shí)別模型判別為“男性”。
圖3 人臉識(shí)別對(duì)抗樣本實(shí)例
(3)圖像語(yǔ)義分割
圖像語(yǔ)義分割是建立在圖像目標(biāo)分類的基礎(chǔ)上，對(duì)目標(biāo)區(qū)域或者像素進(jìn)行分類。語(yǔ)義分割的對(duì)抗攻擊考慮是否能夠在一組像素的基礎(chǔ)上優(yōu)化損失函數(shù)，從而生成對(duì)抗樣本。Xie等人[11]基于每個(gè)目標(biāo)都需要經(jīng)歷一個(gè)單獨(dú)的分類過(guò)程而提出了一種密度對(duì)抗生成網(wǎng)絡(luò)DAG，是一種經(jīng)典的語(yǔ)義分割和目標(biāo)檢測(cè)的攻擊方法。該方法同時(shí)考慮所有目標(biāo)并優(yōu)化整體損失函數(shù)，只需要為每個(gè)目標(biāo)指定一個(gè)對(duì)抗性標(biāo)簽，并迭代執(zhí)行梯度反向傳播獲取累積擾動(dòng)。
(4)目標(biāo)檢測(cè)
目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)的核心任務(wù)也受到了對(duì)抗攻擊[7]-[10]。目前,目標(biāo)檢測(cè)模型主要分為兩類：基于提議的和基于回歸的模型，這種機(jī)制使目標(biāo)檢測(cè)的對(duì)抗攻擊相比于圖像分類更復(fù)雜。文獻(xiàn)[7]提出了一種針對(duì)兩種模型可遷移且高效的目標(biāo)檢測(cè)的對(duì)抗樣本生成方法UEA(圖4)，該方法利用條件GAN來(lái)生成對(duì)抗樣本，并在其上多加幾個(gè)損失函數(shù)來(lái)監(jiān)督生成器的生成效果。
圖4 UEA對(duì)抗攻擊訓(xùn)練框架
(5)自動(dòng)駕駛
自動(dòng)駕駛汽車由多個(gè)子系統(tǒng)構(gòu)成，包括負(fù)責(zé)場(chǎng)景識(shí)別、根據(jù)場(chǎng)景預(yù)測(cè)汽車運(yùn)動(dòng)以及控制發(fā)動(dòng)機(jī)完成汽車駕駛的子系統(tǒng)。而目前，這三方面都逐漸使用深度學(xué)習(xí)模型搭建，給出較優(yōu)決策結(jié)果的同時(shí)也引發(fā)了物理場(chǎng)景的對(duì)抗攻擊問(wèn)題。Evtimov等人[21]提出了一種物理場(chǎng)景的對(duì)抗攻擊算法RF2，使各種路標(biāo)識(shí)別器識(shí)別失敗。在原始路標(biāo)圖像上添加涂鴉或黑白塊， “STOP”路標(biāo)就能識(shí)別成限速路標(biāo)，右轉(zhuǎn)路標(biāo)誤識(shí)別為“STOP”路標(biāo)或添加車道路標(biāo)。
圖5 路標(biāo)對(duì)抗樣本
2.自然語(yǔ)言處理
自然語(yǔ)言處理是除計(jì)算機(jī)視覺(jué)外人工智能應(yīng)用最為廣泛的領(lǐng)域之一，因此人工智能本身的脆弱性也將導(dǎo)致自然語(yǔ)言處理任務(wù)出現(xiàn)安全隱患。但又不同于計(jì)算機(jī)視覺(jué)中對(duì)圖像的攻擊方式，自然語(yǔ)言處理領(lǐng)域操作的是文本序列數(shù)據(jù)，主要難點(diǎn)在于：①圖像是連續(xù)數(shù)據(jù)，通過(guò)擾動(dòng)一些像素仍然能夠維持圖片的完整性，而文本數(shù)據(jù)是離散的，任意添加字符或單詞將導(dǎo)致句子缺失語(yǔ)義信息;②圖像像素的微小擾動(dòng)對(duì)人眼是不可察覺(jué)的，而文本的細(xì)微變化很容易引起察覺(jué)。目前，自然語(yǔ)言處理在情感分類、垃圾郵件分類、機(jī)器翻譯等領(lǐng)域都發(fā)現(xiàn)了對(duì)抗樣本的攻擊[12]-[15]，攻擊方法除了改進(jìn)計(jì)算機(jī)視覺(jué)中的攻擊算法，還有一部分針對(duì)文本領(lǐng)域新提出的攻擊算法。
(1)文本分類
在情感分析任務(wù)中，分類模型根據(jù)每條影評(píng)中的詞判別語(yǔ)句是積極或消極。但若在消極語(yǔ)句中擾動(dòng)某些詞將會(huì)使情感分類模型誤分類為積極情感。Papernot等人[13]將計(jì)算機(jī)視覺(jué)領(lǐng)域的JSMA算法遷移到文本領(lǐng)域，利用計(jì)算圖展開(kāi)技術(shù)來(lái)評(píng)估與單詞序列的嵌入輸入有關(guān)的前向?qū)?shù)，構(gòu)建雅可比矩陣，并借鑒FGSM的思想計(jì)算對(duì)抗擾動(dòng)。
圖6 情感分析任務(wù)中的對(duì)抗樣本
在垃圾郵件分類任務(wù)中，如果模型受到對(duì)抗樣本的攻擊，垃圾郵件發(fā)布者就可以繞過(guò)模型的攔截。文獻(xiàn)[16]提出了一種基于GAN式的對(duì)抗樣本生成方法，為了解決GAN不能直接應(yīng)用到離散的文本數(shù)據(jù)上的問(wèn)題，提出采用增強(qiáng)學(xué)習(xí)任務(wù)(REINFORCE)獎(jiǎng)勵(lì)能夠同時(shí)滿足使目標(biāo)判別器誤分類和具有相似語(yǔ)義的對(duì)抗樣本。
圖7 基于增強(qiáng)學(xué)習(xí)的GAN
(2)機(jī)器翻譯/文本摘要
不同于文本分類任務(wù)輸出空間是有限的類別結(jié)果，機(jī)器翻譯任務(wù)的輸出空間是無(wú)限的。Cheng等人[15]提出了一種針對(duì)seq2seq模型的對(duì)抗樣本生成方法，對(duì)于離散輸入空間帶來(lái)的問(wèn)題，提出使用一種結(jié)合group lasso和梯度正則化的投影梯度法，針對(duì)輸出空間是序列數(shù)據(jù)的問(wèn)題，設(shè)計(jì)了新穎的損失函數(shù)來(lái)實(shí)現(xiàn)無(wú)重疊和目標(biāo)關(guān)鍵詞攻擊。
3.網(wǎng)絡(luò)安全
網(wǎng)絡(luò)安全領(lǐng)域已廣泛使用深度學(xué)習(xí)模型自動(dòng)檢測(cè)威脅情報(bào)，如果將對(duì)抗攻擊轉(zhuǎn)移到對(duì)安全更加敏感的應(yīng)用，如惡意軟件探測(cè)方面，這可能在樣本生成上提出重大的挑戰(zhàn)。同時(shí)，失敗可能給網(wǎng)絡(luò)遺留嚴(yán)重漏洞。目前，對(duì)抗攻擊在惡意軟件檢測(cè)、入侵檢測(cè)等方向已展開(kāi)對(duì)抗研究[16]-[18]。
(1)惡意軟件檢測(cè)
相較于之前的計(jì)算機(jī)視覺(jué)問(wèn)題，惡意軟件應(yīng)用場(chǎng)景有如下限制：①輸入不是連續(xù)可微的，而是離散的，且通常是二分?jǐn)?shù)據(jù);②不受約束的視覺(jué)不變性需要用同等的函數(shù)替代。Grosse等人[16]驗(yàn)證了對(duì)抗攻擊在惡意軟件識(shí)別領(lǐng)域的可行性，將惡意軟件用二進(jìn)制特征向量表示，并借鑒Papernot等人[13]采用的JSMA算法實(shí)施攻擊，實(shí)驗(yàn)證明了對(duì)抗攻擊在惡意軟件探測(cè)領(lǐng)域確實(shí)存在。
(2)惡意域名檢測(cè)
惡意域名中的DGA家族因頻繁變換和善偽裝等特點(diǎn)，使機(jī)器學(xué)習(xí)模型在識(shí)別階段魯棒性不高。Hyrum等人[17]提出了一種基于GAN的惡意域名樣本生成方法DeepDGA，利用生成的惡意域名進(jìn)行對(duì)抗性訓(xùn)練來(lái)增強(qiáng)機(jī)器模型來(lái)提高DGA域名家族的識(shí)別準(zhǔn)確度，結(jié)果表明，由GAN生成的惡意域名能夠成功地躲避隨機(jī)森林分類器的識(shí)別，并且加入對(duì)抗樣本訓(xùn)練后的隨機(jī)森林對(duì)DGA家族的識(shí)別準(zhǔn)確度明顯高于對(duì)抗訓(xùn)練的結(jié)果。
圖8 DeepDGA生成的惡意域名
(3)DDoS攻擊
在DDoS攻擊領(lǐng)域，Peng等人[18]提出了改進(jìn)的邊界攻擊方法生成DDoS攻擊的對(duì)抗樣本，通過(guò)迭代地修改輸入樣本來(lái)逼近目標(biāo)模型的決策邊界。
4.語(yǔ)音識(shí)別
目前，語(yǔ)音識(shí)別技術(shù)的落地場(chǎng)景較多，如智能音箱、智能語(yǔ)音助手等。雖然語(yǔ)音識(shí)別技術(shù)發(fā)展良好，但因深度學(xué)習(xí)模型本身的脆弱性，語(yǔ)音識(shí)別系統(tǒng)也不可避免地受到對(duì)抗樣本的攻擊。2018年，伯克利人工智能研究員Carlini 和Wagner發(fā)明了一種針對(duì)語(yǔ)音識(shí)別的新型攻擊方法，該方法也是首次針對(duì)語(yǔ)音識(shí)別系統(tǒng)的攻擊，通過(guò)生成原始音頻的基線失真噪音來(lái)構(gòu)造對(duì)抗音頻樣本，能夠欺騙語(yǔ)音識(shí)別系統(tǒng)使它產(chǎn)生任何攻擊者想要的輸出[19]。
5.推薦系統(tǒng)
在推薦系統(tǒng)領(lǐng)域，如果推薦模型被攻擊，下一個(gè)推薦的item將是人為設(shè)定的廣告?；趨f(xié)同過(guò)濾(CF)的潛在因素模型，由于其良好的性能和推薦因素，在現(xiàn)代推薦系統(tǒng)中得到了廣泛的應(yīng)用。但事實(shí)表明，這些方法易受到對(duì)抗攻擊的影響，從而導(dǎo)致不可預(yù)測(cè)的危害推薦結(jié)果。目前，推薦系統(tǒng)常用的攻擊方法是基于計(jì)算機(jī)視覺(jué)的攻擊算法FGSM、C&W、GAN等[20]。目前該領(lǐng)域的對(duì)抗攻擊仍存在挑戰(zhàn)：①由于推薦系統(tǒng)的預(yù)測(cè)是依賴一組實(shí)例而非單個(gè)實(shí)例，導(dǎo)致對(duì)抗攻擊可能出現(xiàn)瀑布效應(yīng)，對(duì)某個(gè)單一用戶的攻擊可能影響到相鄰用戶;②相比于圖像的連續(xù)數(shù)據(jù)，推薦系統(tǒng)的原始數(shù)據(jù)是離散的用戶/項(xiàng)目ID和等級(jí)，直接擾動(dòng)離散的實(shí)體將導(dǎo)致輸入數(shù)據(jù)的語(yǔ)義信息發(fā)生改變。并且如何保持推薦系統(tǒng)對(duì)抗樣本的視覺(jué)不可見(jiàn)性依然有待解決。
小 結(jié)
目前該領(lǐng)域的研究方向和攻擊算法眾多，一種攻擊算法被提出后就會(huì)出現(xiàn)一種應(yīng)對(duì)的防御方法，接著針對(duì)該防御方法再提出新的攻擊方法，但在類似的攻防循環(huán)中還缺乏評(píng)判攻擊是否有效的評(píng)估方法，此外有一些領(lǐng)域存在對(duì)抗攻擊的情況但目前仍未被研究和發(fā)現(xiàn)。
參考文獻(xiàn)…
[1] Szegedy C, Zaremba W, Sutskever I, et al. Intriguing properties of neural networks[J]. arXiv preprint arXiv:1312.6199, 2013.
[2] I. Goodfellow, J. Shlens, C. Szegedy. Explaining and Harnessing Adversarial Examples[C]. ICLR, 2015.
[3] N. Papernot, P. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, A. Swami. The Limitations of Deep Learning in Adversarial Settings[C]// Proceedings of IEEE European Symposium on Security and Privacy. IEEE, 2016.
[4] J. Su, D. V. Vargas, S. Kouichi. One pixel attack for fooling deep neural networks[J]. IEEE Transactions on Evolutionary Computation, 2017.
[5] N. Carlini, D. Wagner. Towards Evaluating the Robustness of Neural Networks [C]// Proceedings of IEEE Symposium on Security and Privacy (SP). IEEE, 2017: 39-57.
[6] Rozsa A, Günther M, Rudd E M, et al. Facial attributes: Accuracy and adversarial robustness[J]. Pattern Recognition Letters, 2019, 124: 100-108.
[7] Wei X, Liang S, Chen N, et al. Transferable adversarial attacks for image and video object detection[J]. arXiv preprint arXiv:1811.12641, 2018.
[8] Cihang Xie, Jianyu Wang, Zhishuai Zhang, Yuyin Zhou, Lingxi Xie, and Alan Yuille. Adversarial examples for semantic segmentation and object detection.
[9] Shang-Tse Chen, Cory Cornelius, Jason Martin, and Duen Horng Chau. Robust physical adversarial attack on faster r-cnn object detector. arXiv preprint arXiv:1804.05810, 2018.
[10] Yuezun Li, Daniel Tian, Xiao Bian, Siwei Lyu, et al. Robust adversarial perturbation on deep proposal-based models. arXiv preprint arXiv:1809.05962, 2018.
[11] Xie C, Wang J, Zhang Z, et al. Adversarial examples for semantic segmentation and object detection[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1369-1378.
[12] J. Li, S. Ji, T. Du, B. Li, and T. Wang, “Textbugger: Generating adversarial text against real-world applications,” in the Network and Distributed System Security Symposium, 2019.
[13] Nicolas Papernot, Patrick McDaniel, Ananthram Swami, and Richard Harang. 2016. Crafting Adversarial Input Sequences for Recurrent Neural Networks. In Military Communications Conference(MILCOM). IEEE, 2016: 49–54
[14] Wong C. Dancin seq2seq: Fooling text classifiers with adversarial text example generation[J]. arXiv preprint arXiv:1712.05419, 2017.
[15] Cheng M, Yi J, Chen P Y, et al. Seq2Sick: Evaluating the Robustness of Sequence-to-Sequence Models with Adversarial Examples[C]//AAAI. 2020: 3601-3608.
[16] Grosse K, Papernot N, Manoharan P, et al. Adversarial perturbations against deep neural networks for malware classification[J]. arXiv preprint arXiv:1606.04435, 2016.
[17] Anderson H S, Woodbridge J, Filar B. DeepDGA: Adversarially-tuned domain generation and detection[C]//Proceedings of the 2016 ACM Workshop on Artificial Intelligence and Security. 2016: 13-21.
[18] Peng X, Huang W, Shi Z. Adversarial Attack Against DoS Intrusion Detection: An Improved Boundary-Based Method[C]//2019 IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI). IEEE, 2019: 1288-1295.
[19] Carlini N, Wagner D. Audio adversarial examples: Targeted attacks on speech-to-text[C]//2018 IEEE Security and Privacy Workshops (SPW). IEEE, 2018: 1-7.
[20] Deldjoo Y, Di Noia T, Merra F A. Adversarial Machine Learning in Recommender Systems: State of the art and Challenges[J]. arXiv preprint arXiv:2005.10322, 2020.
[21] Eykholt K, Evtimov I, Fernandes E, et al. Robust physical-world attacks on deep learning visual classification[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 1625-1634.
【本文為51CTO專欄作者“中國(guó)保密協(xié)會(huì)科學(xué)技術(shù)分會(huì)”原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)聯(lián)系原作者】
