聲稱準確率 99% 的人臉識別系統(tǒng)真的牢不可破嗎？事實上，在人臉照片上做一些不影響視覺判斷的改變就可以輕松攻破人臉識別系統(tǒng)，例如讓鄰家女孩和男明星被判斷成同一個人，這便是對抗攻擊。對抗攻擊的目標是尋找自然的且能夠讓神經(jīng)網(wǎng)絡(luò)混淆的對抗樣本，從本質(zhì)上講，找到對抗樣本也就是找到了神經(jīng)網(wǎng)絡(luò)的脆弱之處。

近日，來自東方理工的研究團隊提出了一種廣義流形對抗攻擊的范式（Generalized Manifold Adversarial Attack， GMAA），將傳統(tǒng)的 “點” 攻擊模式推廣為 “面” 攻擊模式，極大提高了對抗攻擊模型的泛化能力，為對抗攻擊的工作展開了一個新的思路。

該研究從目標域和對抗域兩個方面對先前的工作做了改進。在目標域上，該研究通過攻擊目標身份的狀態(tài)集合找到高泛化的更強大的對抗樣本。對于對抗域，先前的工作都是在尋找離散的對抗樣本，即找到了系統(tǒng)的幾個 “漏洞”（點），而該研究則在尋找連續(xù)的對抗流形，即要找到神經(jīng)網(wǎng)絡(luò)脆弱的整片 “區(qū)域”（面）。此外，該研究引入表情編輯的領(lǐng)域知識，提出了基于表情狀態(tài)空間實例化的新范式。通過對生成的對抗流形連續(xù)采樣可以獲得表情連續(xù)變化的高泛化性對抗樣本，相比于化妝、光照、添加擾動等手段，表情狀態(tài)空間更加普適自然，不受性別、光照的影響。研究論文已被 CVPR 2023 接收。

論文鏈接：https://arxiv.org/abs/2301.06083

代碼鏈接 https://github.com/tokaka22/GMAA

方法介紹

在目標域部分，先前的工作都是針對目標身份 A 的某一張?zhí)囟ǖ恼掌ピO(shè)計對抗樣本。但是如圖 2 所示，當用這種攻擊方式生成的對抗樣本去攻擊 A 的另一張照片時，攻擊效果會大幅下降。面對此類攻擊，定期更換人臉識別庫中的照片自然是一種有效的防御措施。但是，該研究提出的 GMAA 不僅針對目標身份的單個樣本進行訓練，而且尋找能攻擊目標身份狀態(tài)集合的對抗樣本，這樣的高泛化性的對抗樣本面對更新后的人臉識別庫具備更好的攻擊性能。這些更強大的對抗樣本也對應(yīng)著神經(jīng)網(wǎng)絡(luò)更為薄弱之處，值得深入探索。

在對抗域部分，先前的工作都是尋找離散的一個或幾個對抗樣本，這相當于在高維空間中找到了神經(jīng)網(wǎng)絡(luò)脆弱的一個或幾個 “點”，而該研究認為，神經(jīng)網(wǎng)絡(luò)可能在一整個 “面” 上都是脆弱的，應(yīng)該將這個 “面” 上的對抗樣本 “一網(wǎng)打盡”。因此，該研究致力于尋找高維空間中的對抗流形。

綜上，GMAA 是一種用對抗流形去攻擊目標身份的狀態(tài)集合的新攻擊范式。

文章的核心思想如圖 1 所示。

具體來說，該研究引入表情編輯的領(lǐng)域知識 Facial Action Coding System (FACS)，用表情狀態(tài)空間來實例化所提出的新攻擊范式。FACS 是一種面部表情編碼系統(tǒng)，它將面部分為不同的肌肉單元，其中 AU 向量中的每個元素都對應(yīng)了一個肌肉單元，向量元素值的大小表示了對應(yīng)單元的肌肉活躍程度，從而編碼表情狀態(tài)。例如下圖中，AU 向量中的第一個元素 AU1 表示了提起內(nèi)側(cè)眉毛的程度。

來自《面部表情解剖學》

對于目標域，該研究攻擊含有多種表情狀態(tài)的目標集合，從而實現(xiàn)對未知的目標照片也有較好的攻擊性能；對于對抗域，該研究建立與 AU 空間一一對應(yīng)的對抗流形，可以用改變 AU 值的方式，在對抗流形上采樣對抗樣本，連續(xù)地改變 AU 值，就可以生成表情連續(xù)變化的對抗樣本。?

值得注意的是，該研究采用表情狀態(tài)空間來實例化 GMAA 攻擊范式。這是因為表情是人面部活動中最常見的一種狀態(tài)，而且表情狀態(tài)空間相對穩(wěn)定，不會受到人種、性別的影響（光照可改變膚色、化妝則會影響性別）。事實上，只要能找到其他合適的狀態(tài)空間，該攻擊范式就完全可以被推廣應(yīng)用于自然界的其他對抗攻擊任務(wù)中。

模型結(jié)果

下面的動圖展示了該研究的可視化結(jié)果。動圖的每一幀都是在對抗流形上采樣得到的對抗樣本，連續(xù)地采樣就可以獲得表情連續(xù)改變的一系列對抗樣本（左側(cè)），紅色的數(shù)值表示當前幀的對抗樣本與目標樣本（右側(cè)）在 Face++ 人臉識別系統(tǒng)下的相似度。

在表 1 中，研究列出了 4 個人臉識別模型在兩個數(shù)據(jù)集上的黑盒攻擊成功率，其中，MAA是GMAA的縮減版，MAA僅在對抗域上將點攻擊的模式推廣到了流形攻擊，目標域上依然是對單個目標照片進行攻擊。攻擊目標的狀態(tài)集合是一種通用的實驗設(shè)置，文章在表2中為包括MAA在內(nèi)的三種方法加上了這種設(shè)置（表中加粗的部分是加上這種設(shè)置的結(jié)果，在方法的名稱前加上了“G”以示區(qū)分），驗證了目標域的擴充可以提升對抗樣本的泛化性。

圖 4 展示了攻擊兩個商業(yè)人臉識別系統(tǒng) API 的結(jié)果。

該研究還探討了不同的表情對攻擊性能的影響，以及狀態(tài)集合中含有樣本的數(shù)量對攻擊泛化性能的影響。

圖 6 展示了不同方法的可視化結(jié)果對比，MAA 在對抗流形上采樣了 20 個對抗樣本，可以看到可視化效果更加的自然。

當然，并不是所有的數(shù)據(jù)集都有一個身份的不同狀態(tài)的圖片，對于這種情況怎么做目標域的擴充呢？該研究也給出了一個可行的解決方案，即用 AU 向量和表情編輯模型生成目標狀態(tài)集合，文章也呈現(xiàn)了攻擊合成的目標狀態(tài)集合的結(jié)果，可以發(fā)現(xiàn)泛化性能也有一定提升。

原理方法

模型的主干包含了基于 WGAN-GP 的生成模塊、表情監(jiān)督模塊、可轉(zhuǎn)移性增強模塊、廣義攻擊模塊。其中，廣義攻擊模塊實現(xiàn)了攻擊目標狀態(tài)集合的功能，可轉(zhuǎn)移性增強模塊來自于先前的工作，為了公平對比，所有的 baseline 都加上了這一模塊。表情監(jiān)督模塊由 4 個訓練好的表情編輯器構(gòu)成，通過全局結(jié)構(gòu)監(jiān)督和局部細節(jié)監(jiān)督來實現(xiàn)對抗樣本的表情變換。

對于表情監(jiān)督模塊，論文的支持材料中給出了相應(yīng)的消融實驗，驗證了局部細節(jié)監(jiān)督可以減少生成圖片的偽影和模糊，有效地提高對抗樣本的視覺質(zhì)量，同時可以提高對抗樣本的表情合成準確性。

此外，論文定義了連續(xù)對抗流形和語義連續(xù)對抗流形的概念，并詳細證明了生成的對抗流形與 AU 向量空間同胚。

總結(jié)

綜上所述，該研究提出了一種新的名為 GMAA 的攻擊范式，同時擴展了目標域和對抗域，提高了攻擊的性能。對于目標域，GMAA 通過攻擊狀態(tài)集合而不是單張圖像來提升對目標身份的泛化能力。此外，GMAA 將對抗域從離散點擴展到語義連續(xù)的對抗流形（“由點到面”）。該研究通過引入表情編輯的領(lǐng)域知識實例化了 GMAA 攻擊范式。大量的對比實驗證明，GMAA 具有比其他競爭模型更好的攻擊性能和更自然的視覺質(zhì)量。