研究人員表明，通過(guò)在每個(gè)視頻幀中插入被稱為對(duì)抗性樣本（adversarial examples ）的輸入，探測(cè)器就可以被擊敗。對(duì)抗性的例子是稍微被操縱的輸入，會(huì)導(dǎo)致人工智能系統(tǒng)，如機(jī)器學(xué)習(xí)模型犯錯(cuò)誤。此外，研究小組還發(fā)現(xiàn)，在視頻被壓縮后，這種攻擊仍然有效。

來(lái)自UC San Diego 的計(jì)算機(jī)工程專業(yè)博士生 Shehzeen Hussain 說(shuō):

我們的研究表明，對(duì)deepfake探測(cè)器的攻擊可能是對(duì)真實(shí)世界的威脅，更令人震驚的是，我們證明，即使不知道探測(cè)器使用的機(jī)器學(xué)習(xí)模型的內(nèi)部工作原理，也有可能制造出非常robust的對(duì)抗樣本。

在deepfake中，主體的臉部被修改，以創(chuàng)造令人信服的真實(shí)事件當(dāng)中的鏡頭，而這些事件從未真正發(fā)生過(guò)。

因此，典型的deepfakes探測(cè)器會(huì)將焦點(diǎn)集中在視頻中的人臉上: 首先跟蹤它，然后將裁剪后的人臉數(shù)據(jù)傳遞給神經(jīng)網(wǎng)絡(luò)，由神經(jīng)網(wǎng)絡(luò)來(lái)判斷這些人臉是真是假。

例如，眨眼在deepfakes中不能很好地復(fù)制，所以探測(cè)器將注意力集中在眼睛的運(yùn)動(dòng)上，以此作為確定假的一種方法。最先進(jìn)的“deepfakes探測(cè)器”依靠機(jī)器學(xué)習(xí)模型來(lái)識(shí)別假視頻。

研究人員指出，虛假視頻在社交媒體平臺(tái)上的廣泛傳播引起了全世界的重大關(guān)切，尤其是影響了媒體的可信度。

“如果攻擊者對(duì)探測(cè)系統(tǒng)有一定的了解，他們就可以設(shè)計(jì)輸入信號(hào)，瞄準(zhǔn)探測(cè)器的盲點(diǎn)，并繞過(guò)它,”論文的另一位合著者、來(lái)自加州大學(xué)圣地亞哥分校計(jì)算機(jī)科學(xué)專業(yè)的學(xué)生帕爾斯 · 尼卡拉(Paarth Neekhara)說(shuō)。

研究人員為視頻畫面中的每一張臉創(chuàng)建了一個(gè)對(duì)抗性的樣本。但是，雖然標(biāo)準(zhǔn)的操作，例如視頻壓縮和調(diào)整大小，通常會(huì)從圖像中去除對(duì)抗性的樣本，這些例子是建立來(lái)承受這些過(guò)程的。

攻擊算法通過(guò)估計(jì)一組輸入轉(zhuǎn)換來(lái)實(shí)現(xiàn)這一點(diǎn)，模型將圖像排序?yàn)檎婊蚣?。從那里，它使用這種估計(jì)轉(zhuǎn)換圖像的方式，使得即使在壓縮和解壓縮后，對(duì)抗性的圖像仍然有效。

XceptionNet，一個(gè)deepfake探測(cè)器，將研究人員制作的對(duì)抗性視頻標(biāo)記為真。

將修改后版本的面部插入到所有的視頻幀，然后對(duì)視頻中的所有幀重復(fù)這個(gè)過(guò)程，以創(chuàng)建一個(gè)deepfake的視頻。這種攻擊還可以應(yīng)用于對(duì)整個(gè)視頻幀進(jìn)行操作的探測(cè)器，而不僅僅是對(duì)面部。

成功率高

研究人員在兩個(gè)場(chǎng)景中測(cè)試了他們的攻擊: 一個(gè)場(chǎng)景中攻擊者可以完全訪問(wèn)檢測(cè)器模型，包括人臉提取pipeline和分類模型的結(jié)構(gòu)和參數(shù); 另一個(gè)場(chǎng)景中攻擊者只能查詢機(jī)器學(xué)習(xí)模型來(lái)計(jì)算被分類為真或假的幀的概率。

在第一種情況下，對(duì)未壓縮視頻的攻擊成功率超過(guò)99% 。對(duì)于壓縮視頻，這個(gè)比例是84.96% 。在第二種情況下，對(duì)未壓縮視頻攻擊的成功率為86.43% ，壓縮視頻的成功率為78.33% 。

這是第一個(gè)展示了成功攻擊最先進(jìn)的deepfake探測(cè)器的工作。

“為了在實(shí)踐中使用這些deepfake探測(cè)器，我們認(rèn)為，有必要對(duì)這些探測(cè)器進(jìn)行評(píng)估，以對(duì)抗一個(gè)了解這些防御的適應(yīng)性對(duì)手，這個(gè)對(duì)手正在有意地試圖挫敗這些防御”，研究人員表示，“如果敵方對(duì)探測(cè)器有完全甚至部分的了解，目前最先進(jìn)的deepfake探測(cè)方法可以很容易地被繞過(guò)。”

為了改進(jìn)探測(cè)器，研究人員還推薦了一種類似于對(duì)抗性訓(xùn)練的方法: 在訓(xùn)練期間，一個(gè)適應(yīng)性的對(duì)手繼續(xù)生成新的deepfake結(jié)果，這些假的結(jié)果可以繞過(guò)當(dāng)前最先進(jìn)的探測(cè)器; 為了檢測(cè)新的deepfake結(jié)果，探測(cè)器繼續(xù)改進(jìn)。