本文經(jīng)計(jì)算機(jī)視覺研究院公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

01 簡介

隨著現(xiàn)實(shí)的人臉操作技術(shù)取得了顯著的進(jìn)步，社會(huì)對(duì)這些技術(shù)可能被惡意濫用的擔(dān)憂引發(fā)了人臉偽造檢測的新研究課題。然而，這是極具挑戰(zhàn)性的，因?yàn)樽罱募夹g(shù)進(jìn)步能夠打造出超出人眼感知能力的人臉，尤其是在壓縮圖像和視頻中。我們發(fā)現(xiàn)，在意識(shí)到頻率的情況下挖掘偽造模式可能是一種治療方法，因?yàn)轭l率提供了一種互補(bǔ)的觀點(diǎn)，可以很好地描述細(xì)微的偽造偽像或壓縮錯(cuò)誤。為了將頻率引入人臉偽造檢測，提出了一種新的人臉偽造網(wǎng)絡(luò)中的頻率（F3-Net），利用兩種不同但互補(bǔ)的頻率感知線索，1）頻率感知分解圖像分量和2）局部頻率統(tǒng)計(jì)，通過雙流協(xié)同學(xué)習(xí)框架深入挖掘偽造模式。應(yīng)用DCT作為應(yīng)用的頻域變換。通過全面的研究，在具有挑戰(zhàn)性的FaceForensics++數(shù)據(jù)集中，所提出的F3-Net在所有壓縮質(zhì)量上都顯著優(yōu)于競爭對(duì)手的最先進(jìn)方法，尤其是在低質(zhì)量媒體上取得了巨大領(lǐng)先。

02 背景

目前最先進(jìn)的人臉操作算法，如DeepFake、FaceSwap、Face2Face和NeuralTextures，已經(jīng)能夠隱藏偽造偽像，因此發(fā)現(xiàn)這些精制偽像的缺陷變得極其困難，如下圖(a)所示。

更糟糕的是，如果偽造人臉的視覺質(zhì)量大幅下降，例如用JPEG或H.264以較大的壓縮比進(jìn)行壓縮，偽造偽像將受到壓縮誤差的污染，有時(shí)無法在RGB域中捕獲。幸運(yùn)的是，正如許多先前的研究所表明的那樣，與真實(shí)人臉相比，這些偽影可以以不尋常的頻率分布的形式在頻域中捕捉到。然而，如何將頻率感知線索納入深度學(xué)習(xí)的CNN模型中？這個(gè)問題也隨之而來。傳統(tǒng)的頻域，如FFT和DCT，與自然圖像所具有的移位不變性和局部一致性不匹配，因此普通的CNN結(jié)構(gòu)可能是不可行的。因此，如果我們想利用可學(xué)習(xí)CNN的判別表示能力進(jìn)行頻率感知人臉偽造檢測，那么CNN兼容的頻率表示就變得至關(guān)重要。為此，我們想介紹兩種頻率感知偽造線索，它們與深度卷積網(wǎng)絡(luò)的知識(shí)挖掘相兼容。

從一個(gè)方面來看，可以通過分離圖像的頻率信號(hào)來分解圖像，而每個(gè)分解的圖像分量指示特定的頻帶。因此，第一個(gè)頻率工件偽造線索是通過直覺發(fā)現(xiàn)的，即我們能夠識(shí)別出在具有較高頻率的分解分量中稍微突出的細(xì)微偽造工件（即，以不尋常圖案的形式），如上圖（b）中間一列所示。這條線索與CNN結(jié)構(gòu)兼容，并且對(duì)壓縮偽影具有驚人的魯棒性。

從另一個(gè)方面來看，分解后的圖像分量描述了空間域中的頻率感知模式，但沒有直接在神經(jīng)網(wǎng)絡(luò)中明確地呈現(xiàn)頻率信息。建議將第二個(gè)頻率感知偽造線索作為局部頻率統(tǒng)計(jì)。在每個(gè)密集但有規(guī)律采樣的局部空間補(bǔ)丁中，通過對(duì)每個(gè)頻帶的平均頻率響應(yīng)進(jìn)行計(jì)數(shù)來收集統(tǒng)計(jì)數(shù)據(jù)。這些頻率統(tǒng)計(jì)信息重新組合回多通道空間圖，其中通道的數(shù)量與頻帶的數(shù)量相同。如上圖（b）的最后一列所示，偽造人臉與相應(yīng)的真實(shí)人臉相比具有不同的局部頻率統(tǒng)計(jì)，盡管它們?cè)赗GB圖像中看起來幾乎相同。此外，局部頻率統(tǒng)計(jì)也遵循輸入RGB圖像的空間布局，因此也享受到由CNN提供的有效表示學(xué)習(xí)。同時(shí)，由于分解后的圖像分量和局部頻率統(tǒng)計(jì)信息是互補(bǔ)的，但兩者具有本質(zhì)上相似的頻率感知語義，因此它們可以在特征學(xué)習(xí)過程中逐步融合。

03 新框架詳細(xì)分析

因此，提出了一種新穎的人臉頻率偽造網(wǎng)絡(luò)（F3-Net），該網(wǎng)絡(luò)利用了上述頻率感知偽造線索。該框架由兩個(gè)頻率感知分支組成，一個(gè)旨在通過頻率感知圖像分解（FAD）學(xué)習(xí)細(xì)微的偽造模式，另一個(gè)則希望從局部頻率統(tǒng)計(jì)（LFS）中提取高級(jí)語義來描述真實(shí)人臉和偽造人臉之間的頻率感知統(tǒng)計(jì)差異。這兩個(gè)分支通過交叉注意力模塊（即MixBlock）進(jìn)一步逐漸融合，該模塊鼓勵(lì)上述FAD和LFS分支之間的豐富互動(dòng)。整個(gè)人臉偽造檢測模型是通過交叉熵?fù)p失以端到端的方式學(xué)習(xí)的。

大量實(shí)驗(yàn)表明，通過徹底的燒蝕研究，所提出的F3-Net顯著提高了低質(zhì)量偽造介質(zhì)的性能。還表明，在具有挑戰(zhàn)性的FaceForensics++中，新提出的框架在所有壓縮質(zhì)量上都大大超過了競爭對(duì)手的技術(shù)水平。如上圖（c）所示，通過將ROC曲線與Xception進(jìn)行比較，可以明顯證明所提出的頻率感知F3-Net的有效性和優(yōu)越性。

所提出的體系結(jié)構(gòu)由三種新方法組成：通過頻率感知圖像分解學(xué)習(xí)細(xì)微操縱模式的FAD；用于提取局部頻率統(tǒng)計(jì)的LFS和用于協(xié)作特征交互的MixBlock。

FAD: Frequency-Aware Decomposition

對(duì)于頻率感知圖像分解，以前的研究通常在空間域中應(yīng)用手工制作的濾波器組，因此無法覆蓋整個(gè)頻域。同時(shí)，固定的濾波配置使得難以自適應(yīng)地捕獲偽造模式。為此，我們提出了一種新的頻率感知分解（FAD），根據(jù)一組可學(xué)習(xí)的頻率濾波器在頻域中自適應(yīng)地分割輸入圖像。分解后的頻率分量可以逆變換到空間域，從而產(chǎn)生一系列頻率感知圖像分量。這些組件沿著通道軸堆疊，然后輸入到卷積神經(jīng)網(wǎng)絡(luò)中（在我們的實(shí)現(xiàn)中，我們使用Xception作為主干），以全面挖掘偽造模式。

LFS: Local Frequency Statistics

（a） 提出了局部頻率統(tǒng)計(jì)（LFS）來提取局部頻域的統(tǒng)計(jì)信息。SWDCT表示應(yīng)用滑動(dòng)窗口離散余弦變換，H表示自適應(yīng)地收集每個(gè)網(wǎng)格上的統(tǒng)計(jì)信息。（b） 從DCT功率譜圖中提取統(tǒng)計(jì)數(shù)據(jù)。

The proposed MixBlock

04 實(shí)驗(yàn)及可視化

下表的對(duì)比很好的表現(xiàn)了F3-Net在低質(zhì)量圖片中的表現(xiàn)，可見在頻域內(nèi)做檢測確實(shí)有更好的抗壓縮性能。

FaceForensics++低質(zhì)量（LQ）任務(wù)上基線（a）和F3-Net（b）的t-SNE嵌入可視化。紅色表示真實(shí)視頻，其余顏色表示通過不同操作方法生成的數(shù)據(jù)。