深度學(xué)習(xí) (DL) 已成為計(jì)算機(jī)科學(xué)中最具影響力的領(lǐng)域之一，直接影響著當(dāng)今人類生活和社會。與歷史上所有其他技術(shù)創(chuàng)新一樣，深度學(xué)習(xí)也被用于一些違法的行為。Deepfakes 就是這樣一種深度學(xué)習(xí)應(yīng)用，在過去的幾年里已經(jīng)進(jìn)行了數(shù)百項(xiàng)研究，發(fā)明和優(yōu)化各種使用 AI 的 Deepfake 檢測，本文主要就是討論如何對 Deepfake 進(jìn)行檢測。

為了應(yīng)對Deepfake，已經(jīng)開發(fā)出了深度學(xué)習(xí)方法以及機(jī)器學(xué)習(xí)（非深度學(xué)習(xí)）方法來檢測 。深度學(xué)習(xí)模型需要考慮大量參數(shù)，因此需要大量數(shù)據(jù)來訓(xùn)練此類模型。這正是 DL 方法與非 DL 方法相比具有更高性能和準(zhǔn)確結(jié)果的原因。

什么是 Deepfake 檢測

大多數(shù) Deepfake 生成器都會在 Deepfake 的過程中留下留下一些痕跡。Deepfake 視頻中的這些變化可以歸類為空間不一致：視頻的各個幀內(nèi)發(fā)生的不兼容和時間不一致：視頻幀序列中出現(xiàn)的不兼容特征 。

空間不一致包括面部區(qū)域與視頻幀的背景不兼容、分辨率變化以及部分渲染的器官和皮膚紋理（可能無法正確渲染面部的所有人類特征）。大多數(shù)常見的 Deepfake 生成器無法渲染眨眼和牙齒等特征。并且有事會使用白色條帶代替靜止幀上肉眼甚至可以看到的牙齒 （下圖）。

時間不一致包括異常眨眼、頭部姿勢、面部動作以及視頻幀序列中的亮度變化。

deepfake 生成器留下的空間和時間這些痕跡都可以通過由深度神經(jīng)網(wǎng)絡(luò) (DNN) 制成的 deepfake 檢測器來識別。我們熟悉的生成對抗網(wǎng)絡(luò)(GANs)在deepfake 的生成器中的廣泛應(yīng)用挑戰(zhàn)了造假檢測和生成之間的平衡。

Deepfake檢測

Deepfake 檢測器是二元分類系統(tǒng)，可判斷輸入數(shù)字媒體是真還是假。Deepfake 檢測不是由單個類似黑盒的模塊執(zhí)行的，而是由幾個其他模塊和步驟組成，它們共同作用以提供檢測結(jié)果。Deepfake檢測中的常見步驟如下[2]。

• Deepfake 數(shù)字媒體的輸入。
• 預(yù)處理包括人臉檢測和增強(qiáng)。
• 處理后的幀的特征提取。
• 分類/檢測。
• 輸出圖像的真實(shí)性。

典型的基于 DL 的 Deepfake 檢測器包含 3 個主要組件來執(zhí)行上述任務(wù)。

• 預(yù)處理模塊。
• 特征提取模塊。
• 評估器模塊（深度學(xué)習(xí)分類器模型）。

接下來將詳細(xì)解釋主要步驟：數(shù)據(jù)預(yù)處理、特征提取和檢測/分類過程。

數(shù)據(jù)預(yù)處理

在數(shù)據(jù)收集階段之后，數(shù)據(jù)應(yīng)該在用于 Deepfake 檢測的訓(xùn)練和測試步驟之前進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理是使用可用的庫自動完成的，例如 OpenCV python 、MTCNN 和YOLO 等。

數(shù)據(jù)增強(qiáng)在提高練 Deepfake 檢測器的性能中也起著至關(guān)重要的作用。可以應(yīng)用諸如重新縮放（拉伸）、剪切映射、縮放增強(qiáng)、旋轉(zhuǎn)、亮度變化和水平/垂直翻轉(zhuǎn)等增強(qiáng)技術(shù)以增加數(shù)據(jù)集的泛化性 [3]。

數(shù)據(jù)預(yù)處理的第一步是從視頻剪輯中提取單個幀。提取幀后需要從提取的視頻幀中檢測人臉。由于面部區(qū)域經(jīng)常出現(xiàn)異常，因此僅選擇面部區(qū)域有助于特征提取模型僅關(guān)注感興趣區(qū)域（ROI），從而節(jié)省了用于全幀掃描的計(jì)算成本。一旦檢測到面部區(qū)域，就會從幀的其余背景中裁剪它們，并按照一系列步驟使它們可用于模型訓(xùn)練和測試。裁剪面部區(qū)域的另一個原因是使模型的所有輸入圖像都具有相同的大小。

特征提取

上一步預(yù)處理的幀將會發(fā)送到特征提取器。大多數(shù)特征提取器都是基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的。最近的一些研究證明了膠囊網(wǎng)絡(luò)在特征提取過程中應(yīng)用的有效性和效率的提高，這是一個新趨勢。

特征提取器提取預(yù)處理視頻幀上可用的空間特征。特征提取能夠提取視覺特征、局部特征/面部標(biāo)志，如眼睛、鼻子、嘴巴的位置、嘴形的動態(tài)、眨眼等生物特征。然后將提取的特征向量發(fā)送到 分類器網(wǎng)絡(luò)輸出決策。

分類

用于分類的深度學(xué)習(xí)模型通常被稱為Deepfake檢測器的骨干。顧名思義，分類網(wǎng)絡(luò)負(fù)責(zé)Deepfake檢測管道中最重要的任務(wù):即分類并確定輸入視頻是否是Deepfake的概率。大多數(shù)分類器都是二元分類器，其中Deepfakes輸出為(0)，原始幀輸出為(1)。

分類器又是另一個卷積層(CNN)或類似的深度學(xué)習(xí)架構(gòu)，如LSTM或ViT。分類模型的實(shí)際功能根據(jù)使用的DNN而異。例如在特征提取器模塊中提取的眨眼特征可以被分類模塊中的LSTM模塊使用，以確定幀眨眼模式的時間不一致性，并據(jù)此判斷輸入是否是Deepfake[3]。在大多數(shù)情況下， Deepfake 檢測器中最后一層為全連接層。由于卷積層的輸出表示數(shù)據(jù)的高級特征，這些輸出被展平并連接到單個輸出層以產(chǎn)生最終決策。

總結(jié)

在過去的幾年里，Deepfake 的創(chuàng)建和檢測都出現(xiàn)了顯著發(fā)展。與非深度學(xué)習(xí)方法相比，由于結(jié)果的準(zhǔn)確性，使用深度學(xué)習(xí)技術(shù)進(jìn)行 Deepfake 檢測的相關(guān)研究也有很大的進(jìn)步。CNN、RNN、ViT 和膠囊網(wǎng)絡(luò)等深度神經(jīng)網(wǎng)絡(luò)架構(gòu)廣泛用于 Deepfake 檢測器的實(shí)現(xiàn)。常見的 Deepfake 檢測管道由數(shù)據(jù)預(yù)處理模塊、基于 CNN 的特征提取器和分類模塊組成。

此外，Deepfake 檢測對 Deepfake 生成器在 Deepfake 上留下的痕跡有很大的依賴性。由于目前基于 GAN 的 Deepfake 生成器能夠以最小的不一致性合成更真實(shí)的 Deepfake，因此必須開發(fā)新的方法來優(yōu)化 Deepfake 檢測?；谏疃燃蓪W(xué)習(xí)技術(shù)的 Deepfake 檢測方法可以被認(rèn)為是對抗 Deepfake 的現(xiàn)代和綜合方法 [4]。盡管如此，有效且高效的 Deepfake 檢測器的空缺仍然存在。