研究發(fā)現(xiàn)，只要一張打印出來的貼紙，就能“欺騙”AI系統(tǒng)，讓檢測系統(tǒng)也無法看到眼前活生生的人。該研究也可能用于現(xiàn)實的視頻監(jiān)控系統(tǒng)，引起熱議。

一張貼紙讓你在AI面前”隱身“。

來自比利時魯汶大學(xué) (KU Leuven) 幾位研究人員最近的研究發(fā)現(xiàn)，借助一張簡單打印出來的圖案，就可以避開 AI 視頻監(jiān)控系統(tǒng)。

研究人員表示，他們設(shè)計的圖像可以將整個人隱藏起來，不會讓計算機視覺系統(tǒng)發(fā)現(xiàn)。這項研究在YOLO (v2) 的開源對象識別系統(tǒng)上進行了演示。

如上圖所示，AI 系統(tǒng)成功檢測到左邊的人，而右邊的人被忽略了。右邊的人身上掛著一塊彩色紙板，在論文中被稱為 “對抗性補丁”(adversarial patch)，正是這塊補丁 “欺騙” 了 AI 系統(tǒng)，讓系統(tǒng)無法發(fā)現(xiàn)畫面中還有一個人。

這種欺騙利用了一種稱為對抗性機器學(xué)習(xí)的方法。大多數(shù)計算機視覺系統(tǒng)依賴訓(xùn)練 (卷積) 神經(jīng)網(wǎng)絡(luò)來識別不同的東西，方法是給它提供大量樣本，調(diào)整它的參數(shù)，直到它能正確地分類對象。通過將樣本輸入一個訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)并監(jiān)控輸出，可以推斷出哪些類型的圖像讓系統(tǒng)感到困惑。

他們發(fā)表了題為 Fooling automated surveillance cameras: adversarial patches to attack person detection 的論文，并公布了用于生成圖像補丁的源代碼。

地址：https://gitlab.com/EAVISE/adversarial-yolo

生成的補丁 (patch)能夠成功地將人在檢測器視線中隱藏起來。例如，被惡意地用來繞過監(jiān)視系統(tǒng)，只要將一小塊硬紙板放在身體前面，面向監(jiān)視攝像頭，就能不被監(jiān)視系統(tǒng)發(fā)現(xiàn)。

研究結(jié)果顯示，這個系統(tǒng)能夠顯著降低人體檢測器的精度。該方法在真實場景中也能很好地發(fā)揮作用。

如下面的 demo 所示，使用 YOLOv2 檢測拍攝的錄像，畫面中人、椅子、桌子等都被準(zhǔn)確地檢測出來，但只要拿上這塊 “補丁”，系統(tǒng)就無法檢測到人。

生成“神奇補丁”，秒變隱形人

他們是如何生成這塊神奇的 “對抗性補丁” 的呢?

優(yōu)化目標(biāo)包括以下三個部分：

Lnps：非可打印性得分，這個因子表示貼紙中的顏色在多大程度上可由普通打印機打印出來。有下式：

其中 ppatch 是貼紙中的一個像素，而 cprint 是一組可打印顏色 C 中的顏色。這種損失有利于確保圖像中的顏色與可打印顏色集中的顏色密切相關(guān)。

Ltv：圖像總變化。該損失函數(shù)損失確保優(yōu)化器支持平滑顏色過渡的圖像并防止圖像噪聲?？梢杂?P 計算 Ltv：

如果相鄰像素相似則得分較低，如果相鄰像素不同則得分較高。

Lobj：圖像中的對象分?jǐn)?shù)。補丁的目標(biāo)是隱藏圖像中的人。所以訓(xùn)練的目標(biāo)是對探測器輸出的目標(biāo)或類別分?jǐn)?shù)實現(xiàn)最小化。將這三個部分相加得到總損失函數(shù)：

采用由經(jīng)驗確定的因子 α 和 β 對三個部分進行按比例縮放，然后求和，并使用 Adam 算法進行優(yōu)化。優(yōu)化器的目標(biāo)是總損失 L 的最小化。在優(yōu)化過程中凍結(jié)網(wǎng)絡(luò)中的所有權(quán)重，并僅更改 patch 中的值。在過程開始時，以隨機值對 patch 進行初始化。

圖 3 所示為目標(biāo)損失的計算，遵循相同的程序來計算類概率

YOLOv2 對象檢測器輸出一個單元網(wǎng)格，每個單元格包含一系列錨點(默認值為五個)。每個錨點包含邊界框的位置、對象概率和類別得分。為了讓探測器忽略圖像中的人，研究人員嘗試了三種不同的方法：最小化類人的分類概率(圖 4d)，最小化對象得分(圖 4c)，或兩者的組合(圖 4b 和 4a)。

研究人員分別嘗試了每一種方法。最小化類分?jǐn)?shù)傾向于將類中的人員移至不同的類。在使用 MS COCO 數(shù)據(jù)集訓(xùn)練的 YOLO 探測器的實驗中，研究人員發(fā)現(xiàn)生成的貼紙會作為 COCO 數(shù)據(jù)集中的另一個類被檢測到。圖 4a 和 4b 分別為采用類和對象概率的實例。

研究人員提出的最小化對象性得分的另一種方法則不存在這個問題。雖然在優(yōu)化過程中僅僅將其其置于 “人” 這一類別之上，但是生成的貼紙對于某個類的特定性低于其他方法，如圖 4c 所示。

研究團隊對各種類型的 patch 進行了實驗，比如隨機生成的圖像噪聲或者模糊化的圖像，他們發(fā)現(xiàn)經(jīng)過多次圖像處理的隨機物體的照片的效果不錯。

例如，他們提出的圖像補丁 (圖 4c) 是通過隨機選取一幅圖像來創(chuàng)建的，圖像經(jīng)過了旋轉(zhuǎn)，隨機放大和縮小，隨機添加隨機噪聲，隨機修改正確率和對比度。

實驗結(jié)果：顯著降低警報，安全攝像頭還安全嗎?

通過實驗結(jié)果評估 patch 的有效性。過程與訓(xùn)練過程相同(包括隨機變換)，將結(jié)果應(yīng)用于 Inria 測試集上來進行評估。

換句話說，研究人員提出一個問題：監(jiān)控系統(tǒng)產(chǎn)生的警報，有多少可以通過使用貼紙來規(guī)避

上表所示為使用不同貼紙的警報觸發(fā)分析結(jié)果?？梢郧宄乜吹?，貼紙(OBJ-CLS，OBJ 和 CLS)顯著降低了警報數(shù)量。

上圖所示為在 Inria 測試集中使用不同貼紙的效果對比示例。首先將 YOLOv2 檢測器用于沒有貼 patch 的圖像中(第 1 行)，然后是使用隨機貼紙(第 2 行)以及生成的貼紙的效果(第 3 行)。在大多數(shù)情況下，貼紙能夠成功地將人員隱藏在探測器中。如果效果不好，則可能是貼紙沒有和人對齊。因為在優(yōu)化期間，貼紙的中心對齊是僅僅由圖像邊框確定的。

上圖測試了印刷版貼紙在現(xiàn)實世界中的效果。一般情況下，效果還是不錯的。由于上文所述的圖像訓(xùn)練對齊的原因，將貼紙保持在正確位置似乎是非常重要的。

結(jié)果生成的 “補丁”，可以應(yīng)用在衣服、包或其他物體上，佩戴這種 “補丁” 的人將成為隱形人 —— 使用 AI 檢測算法無法檢測到。

這種方法也可以用來隱藏某些對象。例如，如果監(jiān)視系統(tǒng)被設(shè)計為檢測物體而不是人，那么 “補丁” 也可以將汽車之類的物體隱藏起來。

可以想象，這種伎倆可以讓騙子躲避安全攝像頭。“我們的工作證明，使用對抗性補丁繞過攝像機監(jiān)控系統(tǒng)是可能的，” 作者之一 Wiebe Van Ranst。

Van Ranst 說，將這種方法應(yīng)用于現(xiàn)成的視頻監(jiān)控系統(tǒng)應(yīng)該不會太難。“目前我們還需要知道使用的是哪種檢測器。我們未來想做的是生成一個補丁，可以同時在多個檢測器上工作，” 他說。“如果這種方法有效，那么這個補丁也很有可能對監(jiān)控系統(tǒng)中使用的檢測器有效。”

當(dāng)然，這個 “補丁” 目前并非萬無一失，如果它在畫面中不是清晰可見的，或者角度發(fā)生了變化，AI 系統(tǒng)都能迅速 “發(fā)現(xiàn)” 畫面中的人類。

不過，這項研究是學(xué)術(shù)界嘗試使用 2D 打印技術(shù)將人類從檢測系統(tǒng)中隱藏起來。之前的工作主要是使用帶有特殊框架的眼鏡來欺騙人臉識別軟件，或使用對抗樣本欺騙圖像分類系統(tǒng)，例如用一張貼紙就能令 AI 將香蕉誤認為是烤面包機，用幾張貼紙就能將自動駕駛系統(tǒng) “騙” 進反車道。

論文地址：https://arxiv.org/pdf/1904.08653.pdf

開源地址：https://gitlab.com/EAVISE/adversarial-yolo