現(xiàn)有的深偽檢測方法大多依賴于配對數(shù)據(jù)，即一張壓縮圖像和其對應(yīng)的原始圖像來訓(xùn)練模型，這在許多實際的開放環(huán)境中并不適用。尤其是在社交媒體等開放網(wǎng)絡(luò)環(huán)境（OSN）中，圖像通常經(jīng)過多種壓縮處理，導(dǎo)致圖像質(zhì)量受到影響，深偽識別也因此變得異常困難。

現(xiàn)有方法雖然在特定條件下取得了一些進(jìn)展，但在面對開放世界中大量無配對數(shù)據(jù)的挑戰(zhàn)時，往往難以提供理想的檢測效果。

近日，AAAI 2025 接收結(jié)果公布，收錄了一篇北京交通大學(xué)趙耀、陶仁帥團(tuán)隊聯(lián)合蘇黎世聯(lián)邦理工學(xué)院的研究工作，論文題目為《ODDN：Addressing Unpaired Data Challenges in Open-World Deepfake Detection on Online Social Networks》。

該工作提出了一個創(chuàng)新的深偽檢測任務(wù)——非配對數(shù)據(jù)下的開放世界深偽檢測。該任務(wù)針對真實社交媒體檢測場景下配對數(shù)據(jù)在實際獲取中數(shù)量較少的窘境。

論文地址：https://arxiv.org/pdf/2410.18687

此外，該工作還提出了針對新任務(wù)下的新方法，即使用多任務(wù)學(xué)習(xí)、梯度取反、梯度矯正等方式，提出 Backbone 提取特征中與壓縮相關(guān)的信息，令模型關(guān)注生成模型產(chǎn)生的偽造特征，為處理真實社交媒體下的壓縮 Deepfake 圖像提供了新的思考。

圖 1：任務(wù)總覽圖

方法概覽

新提出的方法 ODDN 包含兩個核心組件：開放世界數(shù)據(jù)聚合（ODA）和壓縮丟失梯度校正（CGC），有效降低了配對數(shù)據(jù)稀缺和壓縮影響帶來的性能損失。

圖 2：ODDN 模型結(jié)構(gòu)圖

研究者設(shè)計了兩個下游任務(wù)：一個是基礎(chǔ)的二分類任務(wù)，該分支優(yōu)化 backbone 提取偽造相關(guān)的特征；另一個是判別圖片是否被壓縮的二分類任務(wù)，該分支通過梯度取反操作，使得該分支梯度在 backbone 的優(yōu)化方向與設(shè)定分類目標(biāo)相反，backbone 提取與壓縮不相關(guān)的特征。

同時，將 Unpaired Data 以壓縮有無、真假將數(shù)據(jù)分為四類，然后計算四個簇的聚類中心。

之后再計算分別計算壓縮與未壓縮的真假簇聚類中心距離，對應(yīng)公式如下。

對于 Paired Data 因為其稀少性，繼續(xù)采用之前工作使用的高效方法，即使用 HSIC 度量 Paired Data 數(shù)據(jù)分布的相似性。

雖然兩個下游任務(wù)設(shè)定的優(yōu)化是合理的，但是實際訓(xùn)練過程中，兩個任務(wù)中產(chǎn)生的 Loss 在回傳時，可能會出現(xiàn)優(yōu)化方向的沖突。如何確定最合適的方向呢？研究者采用 PCGrad，將沖突的梯度投影到另一個梯度的法向量上，確保非沖突梯度之間的互補(bǔ)，對齊和促進(jìn)不同梯度之間的交互，確保優(yōu)化過程 backbone 的梯度始終處于對主線偽造檢測任務(wù)產(chǎn)生積極影響的方向。

網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)和總體模型結(jié)構(gòu)圖可表示如下：

實驗設(shè)置

實驗使用 ForenSynths 的訓(xùn)練集來訓(xùn)練檢測器，包括 20 個不同的類別，每個類別都包含 18000 張使用 ProGAN 生成的合成圖像，以及來自 LSUN 數(shù)據(jù)集的相同數(shù)量的真實圖像。

為了進(jìn)行評估，研究者還使用了 17 個常用數(shù)據(jù)集。其中，前 8 個數(shù)據(jù)集來自 ForenSynths，包括由 8 個不同的生成模型生成的圖像；其余 9 個數(shù)據(jù)集來自 GANGen-Detection，由另外 9 個不同生成模型生成的圖像組成。

圖 3：壓縮情況已知的實驗

圖 4：壓縮情況未知的實驗

圖 5：消融實驗

總結(jié)

該工作提出了開放世界深度偽造檢測網(wǎng)絡(luò)，旨在解決開放世界，尤其是在未配對數(shù)據(jù)普遍存在的在線社交網(wǎng)絡(luò)下的偽造檢測。該方法能夠有效處理與不同數(shù)據(jù)質(zhì)量和壓縮方法相關(guān)的復(fù)雜性。

研究人員在各種測試設(shè)置下，以及在 17 個流行的數(shù)據(jù)集上進(jìn)行的綜合實驗表明：所提方法能夠取得不錯的性能，并在實際應(yīng)用中實現(xiàn)了穩(wěn)健性和適應(yīng)性。這項工作不僅推動了深度偽造檢測領(lǐng)域，而且為未來旨在打擊在線社交平臺上偽造信息的研究提供基準(zhǔn)。

主要作者介紹

陶仁帥，北京交通大學(xué)副教授，工學(xué)博士，碩士生導(dǎo)師。入選 “北京交通大學(xué)青年英才培育計劃”、“中國圖象圖形學(xué)學(xué)會高等教育教學(xué)成果激勵計劃”，曾任華為諾亞方舟實驗室高級研究員。

李滿毅，北京交通大學(xué)在讀本科生，人工智能專業(yè)，師從陶仁帥副教授。已推免至中國科學(xué)院自動化研究所攻讀博士學(xué)位，師從李兵研究員和劉雨帆助理研究員。

趙耀，北京交通大學(xué)教授，博士生導(dǎo)師。教育部長江學(xué)者特聘教授、國家杰出青年科學(xué)基金獲得者、萬人計劃科技創(chuàng)新領(lǐng)軍人才、IEEE Fellow。