量：圖像分辨率從720P到4K不等，提供了更高質(zhì)量的圖像數(shù)據(jù)，增加了檢測模型的挑戰(zhàn)性。

AIDE模型：多專家融合的檢測框架

在AI生成圖像檢測領(lǐng)域，現(xiàn)有的檢測方法往往只能從單一角度進行分析，難以全面捕捉AI生成圖像與真實圖像之間的細微差異。

為了解決這一問題，研究者們提出了簡單且有效的AIDE（AI-generated Image DEtector with Hybrid Features）模型，該模型通過融合多種專家模塊，從低級像素統(tǒng)計和高級語義兩個層面全面捕捉圖像特征，實現(xiàn)了對AI生成圖像的精準檢測。

AIDE模型主要由兩個核心模塊組成：Patchwise Feature Extraction（PFE）模塊和Semantic Feature Embedding（SFE）模塊。這兩個模塊通過多專家融合的方式，共同為最終的分類決策提供豐富的特征信息。

Patchwise Feature Extraction（PFE）模塊

PFE模塊旨在捕捉圖像中的低級像素統(tǒng)計特征，特別是AI生成圖像中常見的噪聲模式和紋理異常。具體而言，該模塊通過以下步驟實現(xiàn)：

Patch Selection via DCT Scoring：首先，將輸入圖像劃分為多個固定大小的圖像塊（如32×32像素）。然后，對每個圖像塊應(yīng)用離散余弦變換（DCT），將其轉(zhuǎn)換到頻域。通過設(shè)計不同的帶通濾波器，計算每個圖像塊的頻率復(fù)雜度得分，從而識別出最高頻率和最低頻率的圖像塊。

Patchwise Feature Encoder：將篩選出的高頻和低頻圖像塊調(diào)整為統(tǒng)一大?。ㄈ?56×256像素），并輸入到SRM（Spatial Rich Model）濾波器中提取噪聲模式特征。這些特征隨后通過兩個ResNet-50網(wǎng)絡(luò)進行進一步處理，得到最終的特征圖。

Semantic Feature Embedding（SFE）模塊

SFE模塊旨在捕捉圖像中的高級語義特征，特別是物體共現(xiàn)和上下文關(guān)系等。具體而言，該模塊通過以下步驟實現(xiàn)：

Semantic Feature Embedding：利用預(yù)訓(xùn)練的OpenCLIP模型對輸入圖像進行全局語義編碼，得到圖像的視覺嵌入特征。通過添加線性投影層和平均空間池化操作，進一步提取圖像的全局上下文信息。

Discriminator模塊

將PFE和SFE模塊提取的特征在通道維度上進行融合，通過多層感知機（MLP）進行最終的分類預(yù)測。具體而言，首先對高頻和低頻特征圖進行平均池化，得到低級特征表示；然后將其與高級語義特征進行通道級拼接，形成最終的特征向量；最后通過MLP網(wǎng)絡(luò)輸出分類結(jié)果。

實驗結(jié)果

數(shù)據(jù)集：實驗在AIGCDetectBenchmark、GenImage和Chameleon三個數(shù)據(jù)集上進行。AIGCDetectBenchmark和GenImage是現(xiàn)有的基準測試數(shù)據(jù)集，而Chameleon是研究者們新構(gòu)建的更具挑戰(zhàn)性的數(shù)據(jù)集。

模型對比：研究者選擇了9種現(xiàn)成的AI生成圖像檢測器進行對比，包括CNNSpot、FreDect、Fusing、LNP、LGrad、UnivFD、DIRE、PatchCraft和NPR。

評價指標(biāo)：實驗采用分類準確率（Accuracy）和平均精度（Average Precision, AP）作為評價指標(biāo)。

團隊評測了AIDE在AIGCDetectBenchmark和GenImage上的結(jié)果，如下表所示：

AIDE模型在這兩個數(shù)據(jù)集上的優(yōu)異表現(xiàn)表明，融合低級像素統(tǒng)計和高級語義特征的方法能夠有效捕捉AI生成圖像與真實圖像之間的差異，從而提高檢測準確率。

隨后在Chameleon benchmark上測評了9個現(xiàn)有的detectors，如下表所示。

同時團隊可視化了，之前的SOTA方法PatchCraft在AIGCDetectBenchmark & GenImage 以及Chameleon上的表現(xiàn)

結(jié)果表明，之前在AIGCDetectBenchmark &GenImage上表現(xiàn)優(yōu)異的模型，在Chameleon benchmark上均表現(xiàn)很差，這表明Chameleon數(shù)據(jù)集中的圖像確實具有高度的逼真性，對現(xiàn)有檢測模型提出了更大的挑戰(zhàn)。

本論文通過對現(xiàn)有 AI 生成圖像檢測方法的重新審視，提出了一個新的問題設(shè)定，構(gòu)建了更具挑戰(zhàn)性的 Chameleon 數(shù)據(jù)集，并設(shè)計了一個融合多專家特征的檢測器 AIDE。實驗結(jié)果表明，AIDE 在現(xiàn)有的兩個流行基準（AIGCDetectBenchmark 和 GenImage）上取得了顯著的性能提升，分別比現(xiàn)有的最先進方法提高了 3.5% 和 4.6% 的準確率。然而，在 Chameleon 基準上，盡管 AIDE 取得了最好的性能，但與現(xiàn)有基準相比，仍存在較大的差距。

這表明，檢測 AI 生成圖像的任務(wù)仍然具有很大的挑戰(zhàn)性，需要未來進一步的研究和改進。希望這一工作能夠為這一領(lǐng)域的研究提供新的思路和方向，推動 AI 生成圖像檢測技術(shù)的發(fā)展。

盡管AIDE模型在AI生成圖像檢測領(lǐng)域取得了顯著進展，但研究者們?nèi)杂媱澰谖磥淼墓ぷ髦羞M一步優(yōu)化模型架構(gòu)，探索更高效的特征提取和融合方法。

此外，研究者們還計劃擴大Chameleon數(shù)據(jù)集的規(guī)模，涵蓋更多類別、更多場景、更多生成模型的圖像，以推動AI生成圖像檢測技術(shù)的進一步發(fā)展。

論文： https://arxiv.org/pdf/2406.19435
主頁： https://shilinyan99.github.io/AIDE/
代碼： https://github.com/shilinyan99/AIDE