本文作者包括香港大學的王天一、Kam Pui Chow，湖南大學的廖鑫 (共同通訊)，圭爾夫大學的林曉東和齊魯工業(yè)大學 (山東省科學院) 的王英龍 (第一通訊)。

基于深度神經(jīng)網(wǎng)絡對人臉圖像進行編輯和篡改，深度偽造的發(fā)展為人們的生活帶來了便利，但對其錯誤的應用也同時危害著人們的隱私和信息安全。

近年來，針對深度偽造對人們隱私安全造成的危害，雖然領域內(nèi)的研究者們提出了基于不同角度和不同算法的檢測手段，但是在實際的深度偽造相關案例中，鮮有檢測模型被成功應用于司法判決，并真正做到保障人們的隱私安全。

近日，一篇基于可靠性視角的深度偽造檢測綜述收錄在 ACM Computing Surveys (IF=23.8)。文章作者分析，在當前深度偽造領域內(nèi)的研究中，尚缺乏一條完整的橋梁，可以將成熟的深度偽造檢測模型與其在實際案例中的潛在應用聯(lián)系起來。

• 論文標題：Deepfake Detection: A Comprehensive Survey from the Reliability Perspective
• arXiv 地址: https://arxiv.org/abs/2211.10881

本綜述由香港大學、齊魯工業(yè)大學、湖南大學、圭爾夫大學聯(lián)合發(fā)布，從可靠性的角度全面回顧了當前領域內(nèi)的常用深度偽造基準數(shù)據(jù)庫 (表 1) 和代表性檢測模型，并基于現(xiàn)有檢測模型的類型和優(yōu)缺點，提出了三個值得領域內(nèi)研究者們持續(xù)探索的話題和挑戰(zhàn) (圖 1)：遷移性、可解釋性和魯棒性。

表 1: 依據(jù)質(zhì)量、多樣性、難度等特點而劃分的三代深度偽造基準數(shù)據(jù)庫信息。

三大話題和挑戰(zhàn)

遷移性話題關注已完成訓練的深度偽造檢測模型是否能夠在未曾見過的數(shù)據(jù)和篡改算法上依然維持令人滿意的檢測準確率。

詳細來說，當一個深度偽造檢測器在被廣泛使用的 FaceForensics++ 數(shù)據(jù)集上完成訓練后，除了在 FaceForensics++ 的測試集上展現(xiàn)出色的檢測準確率，仍需要能夠在 cross-dataset 和 cross-manipulation 設定下，維持較為穩(wěn)定的效果。此目標旨在避免針對持續(xù)迭代出現(xiàn)的新的偽造數(shù)據(jù)和偽造算法時無休止地增加模型訓練成本。

可解釋性話題側(cè)重于檢測模型在判斷真?zhèn)蔚耐瑫r能否額外提供令人信服的證據(jù)和通俗易懂的解釋。

詳細來說，當一個深度偽造檢測器判斷一張圖片的真?zhèn)螘r，通常只能提供對其真或假的判斷結(jié)論，以及在各個實驗數(shù)據(jù)集上測試時的檢測準確率。然而，對于需要依賴于檢測模型來保護個人隱私信息的非專業(yè)人士，能夠提供除準確率指標之外通俗易懂的額外證據(jù) (例如，被標記的偽造區(qū)域定位或被可視化的偽造痕跡和噪聲) 是極其重要的。

魯棒性話題則基于已有的客觀模型檢測效果，著眼于實際生活場景，關注深度偽造素材在傳播中遭受主觀和客觀畫質(zhì)損失后，是否依然可以被檢測器正確判斷。

詳細來說，深度偽造素材的危害隨著其在網(wǎng)絡中的持續(xù)性傳播而不斷增加，而在上傳、下載、轉(zhuǎn)載等傳播過程中，受不同平臺對素材屬性的限制和協(xié)議要求，該素材將不可避免地遭受質(zhì)量上的折損和降低。另一方面，當攻擊者 (即深度偽造素材的制造者) 已知領域內(nèi)已有針對各類深度偽造算法的檢測手段時，其會刻意向偽造的素材內(nèi)有針對性地添加能夠一定程度上擾亂深度偽造檢測器的噪聲。以上兩類情況，都需要依賴于深度偽造檢測模型的魯棒性，從而可以持續(xù)地在實際生活案例中發(fā)揮作用。

圖 1 : 關于三種話題和挑戰(zhàn)的闡述

評估與實驗

除了深入探討三個話題和挑戰(zhàn)的意義以及綜述性地總結(jié)領域內(nèi)的相關工作之外，本文還著重提出了一個針對模型可靠性的評估方法 (圖 2)。

該方法受到司法鑒定中對 DNA 比對過程的啟發(fā)，通過模擬和構(gòu)建真實世界中的深度偽造數(shù)據(jù)的總 population，引入統(tǒng)計學中隨機采樣的方法，科學且嚴謹?shù)卦u估深度偽造檢測模型的可靠性，從而提供關于模型性能的統(tǒng)計學指標，以作為法庭審判的潛在證據(jù)和輔助證據(jù)?；谠撝笜耍傻贸鲈诓煌眯哦葪l件下的模型檢測準確率結(jié)論。該可靠性評估方法的初步探索，旨在提供一條路線可以使眾多深度偽造檢測模型能夠在實際生活案例中真正發(fā)揮價值。

同時，該綜述通過進行大量實驗，在不同的樣本集大小、置信度、采樣次數(shù)等環(huán)境設定下，對為解決三種話題和挑戰(zhàn)的七個深度偽造檢測模型進行模型復現(xiàn)和可靠性分析。

圖 2: 深度偽造檢測模型可靠性分析算法。

此外，該綜述將實驗中的深度偽造檢測模型應用在受害者分別為明星、政客、普通人的實際深度偽造案例中的假視頻進行鑒偽和分析，并針對檢測結(jié)果提供基于特定置信度條件下的模型檢測準確率結(jié)論 (圖 3)。

實驗結(jié)果表明，當前領域內(nèi)的現(xiàn)存深度偽造檢測模型分別在遷移性、可解釋性、魯棒性話題方面各有建樹，但當令其兼顧兩個或三個話題和挑戰(zhàn)時，在模型效果上則展現(xiàn)出了顯著的權衡和取舍。

然而，通常來說，人們希望，一個可靠的深度偽造檢測模型應同時具備良好的遷移性、通俗易懂的可解釋性、穩(wěn)定的魯棒性，以便能夠在實際生活中的深度偽造案例中保護和保障受害者的隱私安全。

因此，本綜述論文所總結(jié)的理念、發(fā)現(xiàn)、結(jié)論也為深度偽造檢測領域的研究者們提供了新的研究挑戰(zhàn)與研究方向。

圖 3: 深度偽造檢測模型在四個實際案例中的視頻上的檢測結(jié)果以及其對應的 95% 置信度可靠性結(jié)論。

第一作者信息

王天一，本科畢業(yè)于美國華盛頓大學西雅圖分校，修習計算機科學和應用數(shù)學雙專業(yè)；博士畢業(yè)于香港大學，研究方向為多媒體取證；現(xiàn)為南洋理工大學在職博士后研究員。

引用信息

Tianyi Wang, Xin Liao, Kam Pui Chow, Xiaodong Lin, and Yinglong Wang. 2024. Deepfake Detection: A Comprehensive Survey from the Reliability Perspective. ACM Comput. Surv. 57, 3, Article 58 (March 2025), 35 pages. https://doi.org/10.1145/3699710。