通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行暗殺——聽(tīng)起來(lái)很瘋狂吧？也許有一天，這真的可能上演，不過(guò)方式可能與你想象中不同。顯然，加以訓(xùn)練的神經(jīng)網(wǎng)絡(luò)能夠駕駛無(wú)人機(jī)或操作其他大規(guī)模殺傷性武器。但是，即便是無(wú)害的（現(xiàn)在可用的）網(wǎng)絡(luò)——例如，用于駕駛汽車(chē)的網(wǎng)絡(luò)——也可能變成車(chē)主的敵人。這是因?yàn)?，神?jīng)網(wǎng)絡(luò)非常容易被「對(duì)抗樣本（adversarial example）」攻擊。

在神經(jīng)網(wǎng)絡(luò)中，導(dǎo)致網(wǎng)絡(luò)輸出不正確的輸入被稱(chēng)為對(duì)抗樣本。我們最好通過(guò)一個(gè)例子來(lái)說(shuō)明。讓我們從左邊這張圖開(kāi)始。在某些神經(jīng)網(wǎng)絡(luò)中，這張圖像被認(rèn)為是熊貓的置信度是 57.7%，且其被分類(lèi)為熊貓類(lèi)別的置信度是所有類(lèi)別中最高的，因此網(wǎng)絡(luò)得出一個(gè)結(jié)論：圖像中有一只熊貓。但是，通過(guò)添加非常少量的精心構(gòu)造的噪聲，可以得到一個(gè)這樣的圖像（右圖）：對(duì)于人類(lèi)而言，它和左圖幾乎一模一樣，但是網(wǎng)絡(luò)卻認(rèn)為，其被分類(lèi)為「長(zhǎng)臂猿」的置信度高達(dá) 99.3%。這實(shí)在太瘋狂了！

上圖源自： Explaining and Harnessing Adversarial Examples，Goodfellow et al

那么，對(duì)抗樣本如何進(jìn)行暗殺呢？想象一下，如果用一個(gè)對(duì)抗樣本替換一個(gè)停車(chē)標(biāo)志——也就是說(shuō)，人類(lèi)可以立即識(shí)別這是停車(chē)標(biāo)志，但神經(jīng)網(wǎng)絡(luò)不能?，F(xiàn)在，如果把這個(gè)標(biāo)志放在一個(gè)繁忙的交叉路口。當(dāng)自動(dòng)駕駛汽車(chē)接近交叉路口時(shí)，車(chē)載神經(jīng)網(wǎng)絡(luò)將無(wú)法識(shí)別停車(chē)標(biāo)志，直接繼續(xù)行駛，從而可能導(dǎo)致乘客死亡（理論上）。

以上只是那些復(fù)雜、稍顯聳人聽(tīng)聞的例子之一，其實(shí)還會(huì)有更多利用對(duì)抗樣本造成傷害的例子。例如，iPhone X 的「Face ID」解鎖功能依賴(lài)神經(jīng)網(wǎng)絡(luò)識(shí)別人臉，因此容易受到對(duì)抗性攻擊。人們可以通過(guò)構(gòu)建對(duì)抗圖像，避開(kāi) Face ID 安全功能。其他生物識(shí)別安全系統(tǒng)也將面臨風(fēng)險(xiǎn)：通過(guò)使用對(duì)抗樣本，非法或不合宜的內(nèi)容可能會(huì)繞開(kāi)基于神經(jīng)網(wǎng)絡(luò)的內(nèi)容過(guò)濾器。這些對(duì)抗樣本的存在意味著，含有深度學(xué)習(xí)模型的系統(tǒng)實(shí)際上有極高的安全風(fēng)險(xiǎn)。

為了理解對(duì)抗樣本，你可以把它們想象成神經(jīng)網(wǎng)絡(luò)的「幻覺(jué)」。既然幻覺(jué)可以騙過(guò)人的大腦，同樣地，對(duì)抗樣本也能騙過(guò)神經(jīng)網(wǎng)絡(luò)。

上面這個(gè)熊貓對(duì)抗樣本是一個(gè)有針對(duì)性的 (targeted) 例子。少量精心構(gòu)造的噪聲被添加圖像中，從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行了錯(cuò)誤的分類(lèi)。然而，這個(gè)圖像在人類(lèi)看來(lái)和之前一樣。還有一些無(wú)針對(duì)性 (non-targeted) 的例子，它們只是簡(jiǎn)單嘗試找到某個(gè)能蒙騙神經(jīng)網(wǎng)絡(luò)的輸入。對(duì)于人類(lèi)來(lái)說(shuō)，這種輸入看起來(lái)可能像是白噪聲。但是，因?yàn)槲覀儧](méi)有被限制為尋找對(duì)人而言類(lèi)似某物的輸入，所以這個(gè)問(wèn)題要容易得多。

我們可以找到將近所有神經(jīng)網(wǎng)絡(luò)的對(duì)抗樣本。即使是那些最先進(jìn)的模型，有所謂「超人類(lèi)」的能力，也輕微地受此問(wèn)題困擾。事實(shí)上，創(chuàng)建對(duì)抗樣本非常簡(jiǎn)單。在本文中，我們將告訴你如何做到。用于開(kāi)始生成你自己的對(duì)抗樣本的所有所需代碼等資料都可以在這個(gè) github 中找到：https://github.com/dangeng/Simple_Adversarial_Examples

上圖展示了對(duì)抗樣本的效果

MNIST 中的對(duì)抗樣本

這一部分的代碼可以在下面的鏈接中找到（不過(guò)閱讀本文并不需要下載代碼）：https://github.com/dangeng/Simple_Adversarial_Examples

我們將試著欺騙一個(gè)普通的前饋神經(jīng)網(wǎng)絡(luò)，它已經(jīng)在 MNIST 數(shù)據(jù)集上經(jīng)過(guò)訓(xùn)練。MNIST 是 28×28 像素手寫(xiě)數(shù)字圖像的數(shù)據(jù)集，就像下面這樣：

6 張 MNIST 圖像并排擺放