[[441526]]

 近年來，深度學(xué)習(xí)在一系列任務(wù)中（例如：圖像識(shí)別、目標(biāo)識(shí)別、語義分割、視頻識(shí)別等）取得了巨大成功。因此，基于深度學(xué)習(xí)的智能模型正逐漸廣泛地應(yīng)用于安防監(jiān)控、無人駕駛等行業(yè)中。但最近的研究表明，深度學(xué)習(xí)本身非常脆弱，容易受到來自對(duì)抗樣本的攻擊。對(duì)抗樣本指的是由在干凈樣本上增加對(duì)抗擾動(dòng)而生成可以使模型發(fā)生錯(cuò)誤分類的樣本。對(duì)抗樣本的存在為深度學(xué)習(xí)的應(yīng)用發(fā)展帶來嚴(yán)重威脅，尤其是最近發(fā)現(xiàn)的對(duì)抗樣本在不同模型間的可遷移性，使得針對(duì)智能模型的黑盒攻擊成為可能。具體地，攻擊者利用可完全訪問的模型（又稱白盒模型）生成對(duì)抗樣本，來攻擊可能部署于線上的只能獲取模型輸出結(jié)果的模型（又稱黑盒模型）。此外，目前的相關(guān)研究主要集中在圖像模型中，而對(duì)于視頻模型的研究較少。因此，亟需開展針對(duì)視頻模型中對(duì)抗樣本遷移性的研究，以促進(jìn)視頻模型的安全發(fā)展。

時(shí)序平移攻擊方法

與圖片數(shù)據(jù)相比，視頻數(shù)據(jù)具有額外的時(shí)序信息，該類信息能夠描述視頻中的動(dòng)態(tài)變化。目前已有多種不同的模型結(jié)構(gòu)（例如：Non-local，SlowFast，TPN）被提出，以捕獲豐富的時(shí)序信息。然而多樣化的模型結(jié)構(gòu)可能會(huì)導(dǎo)致不同模型對(duì)于同一視頻輸入的高響應(yīng)區(qū)域不同，也會(huì)導(dǎo)致在攻擊過程中所生成的對(duì)抗樣本針對(duì)白盒模型產(chǎn)生過擬合而難以遷移攻擊其他模型。為了進(jìn)一步剖析上述觀點(diǎn)，來自復(fù)旦大學(xué)姜育剛團(tuán)隊(duì)的研究人員首先針對(duì)多個(gè)常用視頻識(shí)別模型（video recognition model）的時(shí)序判別模式間的相似性展開研究，發(fā)現(xiàn)不同結(jié)構(gòu)的視頻識(shí)別模型往往具有不同的時(shí)序判別模式?；诖?，研究人員提出了基于時(shí)序平移的高遷移性視頻對(duì)抗樣本生成方法。

• 論文鏈接：https://arxiv.org/pdf/2110.09075.pdf
• 代碼鏈接：https://github.com/zhipeng-wei/TT

視頻模型的時(shí)序判別模式分析

在圖像模型中，常常利用 CAM（Class activation mapping）來可視化模型對(duì)于某張圖片的判別區(qū)域。然而在視頻模型的判別模式由于額外的時(shí)序維度而難以可視化，且難以在不同模型間進(jìn)行比較。為此，研究人員定義視頻幀的重要性排序作為視頻模型的時(shí)序判別模式。如果兩個(gè)模型共享相似的時(shí)序判別模式，那么視頻幀重要性的分布會(huì)更加相似。

視頻幀的重要性計(jì)算

研究人員使用了三種途徑衡量視頻幀對(duì)于模型決策的重要性：Grad-CAM，Zero-padding 和 Mean-padding。Grad-CAM 在由 CAM 計(jì)算得到的 attention map 中針對(duì)每一幀進(jìn)行均值計(jì)算，該均值則為視頻各幀的重要性度量。而 Zero-padding 使用 0 來替換第i視頻幀中的所有像素值，并計(jì)算替換前后的損失值的變化程度。變化程度越高說明第 i 視頻幀越重要。類似地，Mean-padding 使用臨近幀的均值替換第i視頻幀。通過以上三種方式，可計(jì)算得到在不同模型下視頻幀的重要性程度，并以此作為模型的時(shí)序判別模式。

時(shí)序判別模式相似度計(jì)算

由上述方法計(jì)算視頻數(shù)據(jù)x在模型A上的視頻幀重要性得分為

，其中T表示輸入視頻幀的數(shù)目。那么針對(duì)模型A和模型B，可得到

，結(jié)合 Spearman’s Rank Correlation，可計(jì)算模型間時(shí)序判別模式的相似性

，即

其中，

執(zhí)行基于重要性值的排序操作并返回視頻各幀的排序值。

的值在-1和1之間，當(dāng)其等于0時(shí)表示模型A和模型B間的判別模式不存在關(guān)系，而-1或者1則表示明確的單調(diào)關(guān)系。

的值越大則模型間的判別模式越相似。基于此，可實(shí)現(xiàn)不同視頻模型時(shí)序判別模式間關(guān)系的度量。

不同視頻模型間判別模式的相似程度

上圖為 6 個(gè)視頻模型間的判別模式關(guān)系熱圖。在不同模型設(shè)計(jì)架構(gòu)下，Non-Local、SlowFast 和 TPN 間的時(shí)序判別模式相似程度較低；而在相同設(shè)計(jì)架構(gòu)下，分別使用 3D Resnet-50 和 3D Resnet-101 作為 backbone 的視頻模型具有更加相似的時(shí)序判別模式。以上趨勢(shì)在三種視頻幀重要性計(jì)算方法中都得到了驗(yàn)證。由此，可在實(shí)驗(yàn)上證明該論文的假設(shè)，即不同視頻模型結(jié)構(gòu)會(huì)導(dǎo)致不同的時(shí)序判別模式。

時(shí)序平移攻擊方法

基于以上觀察，研究人員提出了基于時(shí)序平移的遷移攻擊方法。通過沿著時(shí)序維度移動(dòng)視頻幀，來降低所生成對(duì)抗樣本與白盒模型特定判別模型之間的擬合程度，提高對(duì)抗樣本在黑盒模型上的攻擊成功率。

使用

表示輸入視頻，

表示其對(duì)應(yīng)真實(shí)標(biāo)簽，其中T，H，W，C分別表示幀數(shù)，高度，寬度和通道數(shù)，K表示類別數(shù)目。使用

表示視頻模型對(duì)于視頻輸入的預(yù)測(cè)結(jié)果。定義

為對(duì)抗噪聲，那么攻擊目標(biāo)可以定義為

，其中

，且限制

。定義

為損失函數(shù)。則非目標(biāo)攻擊的目標(biāo)函數(shù)可定義為：

為了降低攻擊過程中對(duì)于白盒模型的過擬合現(xiàn)象，研究人員對(duì)時(shí)序移動(dòng)后視頻輸入的梯度信息進(jìn)行聚合：

其中L表示最大平移長(zhǎng)度，且

。函數(shù)

表示將所有的視頻輸入沿著時(shí)序維度平移i幀。當(dāng)平移后的位置大于T時(shí)，設(shè)當(dāng)前幀為第i幀，即t+i>T，則第t幀的位置變?yōu)榈趖+i-T幀，否則為第t+i幀。而在時(shí)序平移后的視頻輸入上計(jì)算完梯度后，仍會(huì)沿著時(shí)序維度平移回原始視頻幀序列，并通過w_i來整合來自不同平移長(zhǎng)度的梯度信息。w_i可利用均一、線性、高斯三種方式生成（參考 Translation-invariant 攻擊方法）。

攻擊算法整體流程如下，其中

用來限制生成的對(duì)抗噪聲滿足

。

結(jié)果討論與分析

為了探究時(shí)序平移攻擊方法的性能，研究人員在 UCF-101 和 Kinetics-400 兩個(gè)數(shù)據(jù)集，Non-local，SlowFast，TPN 三種不同結(jié)構(gòu)的視頻模型中進(jìn)行對(duì)比實(shí)驗(yàn)，其中視頻模型分別使用 3D Resnet-50 和 3D Resnet-101 作為 backbone。當(dāng)使用某一種結(jié)構(gòu)的視頻模型作為白盒模型時(shí)，計(jì)算所生成對(duì)抗樣本在其他結(jié)構(gòu)的視頻模型上的攻擊成功率（Attack success rate，ASR），以此作為評(píng)價(jià)指標(biāo)。

研究人員分別在單步攻擊和迭代攻擊方法下進(jìn)行了實(shí)驗(yàn)對(duì)比?？梢钥闯鰰r(shí)序平移攻擊方法在單步攻擊和迭代攻擊下都能取得更高的 ASR，表明所生成的對(duì)抗樣本具有高遷移性。此外，在視頻模型上，單步攻擊的效果好于迭代攻擊。這說明，在圖像模型中發(fā)展出的遷移攻擊方法不適用于更復(fù)雜的視頻模型。最后，當(dāng)使用 TPN 模型作為白盒模型時(shí)，時(shí)序平移攻擊方法的性能提升較為有限，研究人員通過分析后認(rèn)為 TPN 模型對(duì)于時(shí)序移動(dòng)更加不敏感。

視頻識(shí)別模型上的 ASR 對(duì)比圖

下表展示了與 Translation-invariant（TI）攻擊方法、Attention-guided（ATA）攻擊方法和 Momentum iterative（MI）攻擊方法相結(jié)合后的性能比較?？梢钥闯?，時(shí)序平移方法可以輔助這些方法發(fā)揮更好的性能，起到補(bǔ)充的作用。

結(jié)合現(xiàn)有方法的平均 ASR 結(jié)果對(duì)比

此外，研究人員還針對(duì)不同的平移長(zhǎng)度L、權(quán)重w_i生成策略及平移策略進(jìn)行了消融實(shí)驗(yàn)。

平移長(zhǎng)度L決定了有多少個(gè)平移后的視頻輸入被用來進(jìn)行特征聚合。當(dāng)L=0時(shí)，時(shí)序平移方法將會(huì)退化為最基本的迭代攻擊方法。因此，針對(duì)平移長(zhǎng)度的研究是十分有必要的。下圖展示了不同平移長(zhǎng)度下時(shí)序平移攻擊方法在不同黑盒模型下的 ASR 變化情況。可以看到，Non-local Resnet-50 模型的曲線更加穩(wěn)定，而其他黑盒模型的曲線呈現(xiàn)先上升再趨于穩(wěn)定的特點(diǎn)。這是因?yàn)?Non-local Resnet-50 與 Non-local Resnet-101 共享相似的模型結(jié)構(gòu)。為了平衡 ASR 和計(jì)算復(fù)雜度，研究人員最終選取L=7來進(jìn)行實(shí)驗(yàn)。

不同平移長(zhǎng)度下的時(shí)序平移攻擊方法性能對(duì)比

下表展示的是對(duì)于權(quán)重生成策略和平移策略的消融實(shí)驗(yàn)結(jié)果。從表中可以看出，當(dāng)賦予具有更大時(shí)序平移長(zhǎng)度的視頻輸入以更小的權(quán)重時(shí)，時(shí)序平移攻擊方法能取得較好的結(jié)果。此外，當(dāng)平移策略變?yōu)殡S機(jī)幀交換或遠(yuǎn)距離交換時(shí)，時(shí)序平移攻擊方法會(huì)取得較差的結(jié)果。

不同權(quán)重生成策略和平移策略下時(shí)序平移攻擊方法的性能對(duì)比