在數(shù)字化浪潮洶涌澎湃的今天，AI生成內(nèi)容已深度滲透至我們生活的方方面面，從藝術(shù)創(chuàng)作到設(shè)計(jì)領(lǐng)域，再到信息傳播與版權(quán)保護(hù)，其影響力無處不在。然而，隨著生成模型技術(shù)的飛速發(fā)展，如何精準(zhǔn)甄別AI生成圖像成為業(yè)界與學(xué)界共同聚焦的難題。

近日，小紅書生態(tài)算法團(tuán)隊(duì)、中科大、上海交通大學(xué)聯(lián)合在ICLR 2025上提出行業(yè)稀缺的全人工標(biāo)注Chameleon基準(zhǔn)和行業(yè)領(lǐng)先的AIDE檢測(cè)方法，為AI生成圖像檢測(cè)領(lǐng)域帶來了新的挑戰(zhàn)和曙光。

論文：

https://arxiv.org/pdf/2406.19435

主頁：

https://shilinyan99.github.io/AIDE/

代碼：

https://github.com/shilinyan99/AIDE

01 背景

隨著生成模型的飛速發(fā)展，AI生成的圖像在質(zhì)量上已經(jīng)達(dá)到了前所未有的高度，甚至能夠以假亂真，這在藝術(shù)創(chuàng)作、設(shè)計(jì)等領(lǐng)域帶來了新的機(jī)遇，但同時(shí)也引發(fā)了對(duì)圖像真實(shí)性的擔(dān)憂。如何有效地區(qū)分 AI 生成的圖像與真實(shí)世界的圖像，成為了圖像取證、打擊虛假信息以及保護(hù)版權(quán)等領(lǐng)域的關(guān)鍵問題。然而現(xiàn)有的 AI 生成圖像檢測(cè)方法雖然眾多，但大多在特定的生成模型上訓(xùn)練和測(cè)試，缺乏對(duì)真實(shí)世界中復(fù)雜多樣的 AI 生成圖像的檢測(cè)能力，這促使我們重新審視這一任務(wù)的解決情況。

因此，研究團(tuán)隊(duì)提出了Chameleon數(shù)據(jù)集和AIDE檢測(cè)器。

02 問題設(shè)定：重新定義 AI生成圖像檢測(cè)任務(wù)

Train-Test Setting-I：在現(xiàn)有研究中，AI 生成圖像檢測(cè)任務(wù)通常被設(shè)定為在一個(gè)特定的生成模型（如 GAN 或擴(kuò)散模型）上訓(xùn)練模型，然后在其他生成模型上進(jìn)行測(cè)試。

然而，通常來說，這種設(shè)定存在兩個(gè)主要問題：

1. 評(píng)估Benchmark過于簡(jiǎn)單：現(xiàn)有Benchmark中的圖像通常會(huì)有一些artifacts。
2. 訓(xùn)練數(shù)據(jù)的局限性：將模型限制在特定類型的生成模型上 (GAN or 擴(kuò)散模型) 訓(xùn)練，限制了模型從更先進(jìn)的生成模型中學(xué)習(xí)多樣化特征的能力。

為了解決這些問題，我們提出了一個(gè)新的問題設(shè)定：

Train-Test Setting-II：鑒別器可以將多種生成模型的圖像混合一起訓(xùn)練，然后在更具挑戰(zhàn)性的、真實(shí)世界場(chǎng)景中的圖像上進(jìn)行測(cè)試。這種設(shè)定更符合實(shí)際應(yīng)用中的需求，能夠更好地評(píng)估模型的泛化能力和魯棒性。

03 ”幻像熔爐“ — Chameleon 數(shù)據(jù)集：挑戰(zhàn)人類感知的基準(zhǔn)

為了更真實(shí)地評(píng)估 AI 生成圖像檢測(cè)方法的性能，我們精心構(gòu)建了Chameleon 數(shù)據(jù)集，如下圖展示了我們的Chameleon數(shù)據(jù)集。

3.1 數(shù)據(jù)集特點(diǎn)

Chameleon數(shù)據(jù)集具有以下顯著特點(diǎn)：

1. 高度逼真性：所有AI生成圖像均通過了人類感知“圖靈測(cè)試”，即人類標(biāo)注者無法將其與真實(shí)圖像區(qū)分開來。這些圖像在視覺上與真實(shí)圖像高度相似，能夠有效挑戰(zhàn)現(xiàn)有檢測(cè)模型的極限。
2. 多樣化類別：數(shù)據(jù)集涵蓋了人類、動(dòng)物、物體和場(chǎng)景等多類圖像，全面模擬現(xiàn)實(shí)世界中的各類場(chǎng)景。這種多樣性確保了模型在不同類別上的泛化能力。
3. 高分辨率：圖像分辨率普遍超過720P，最高可達(dá)4K。高分辨率圖像不僅提供了更豐富的細(xì)節(jié)信息，也增加了檢測(cè)模型對(duì)細(xì)微差異的捕捉能力。

3.2 數(shù)據(jù)集構(gòu)建

為構(gòu)建一個(gè)能夠真實(shí)反映 AI 生成圖像檢測(cè)挑戰(zhàn)的高質(zhì)量數(shù)據(jù)集，我們?cè)跀?shù)據(jù)收集、清洗和標(biāo)注環(huán)節(jié)均采取了創(chuàng)新且嚴(yán)謹(jǐn)?shù)姆椒?，確保數(shù)據(jù)集的高質(zhì)量和高逼真度。

3.2.1 數(shù)據(jù)收集：多渠道、高逼真度圖像獲取

與之前的基準(zhǔn)數(shù)據(jù)集不同，我們從多個(gè)流行的 AI 繪畫社區(qū)（如 ArtStation、Civitai 和 Liblib）收集了超過 150K 的 AI 生成圖像，這些圖像均由廣泛的用戶創(chuàng)作，使用了多種先進(jìn)的生成模型（如 Midjourney、DALL·E 3 和 Stable Diffusion 等）。這些圖像不僅在視覺上逼真，而且涵蓋了豐富多樣的主題和風(fēng)格，包括人物、動(dòng)物、物體和場(chǎng)景等。此外，我們還從 Unsplash 等平臺(tái)收集了超過 20K 的真實(shí)圖像，這些圖像均由專業(yè)攝影師拍攝，具有高分辨率和高質(zhì)量。所有圖像均獲得了合法授權(quán)，確保了數(shù)據(jù)的合法性和可用性。

相比之下，之前的基準(zhǔn)數(shù)據(jù)集通常使用生成效果較差的模型生成圖像，缺乏多樣性和真實(shí)感，如下圖所示。

3.2.2 數(shù)據(jù)清洗：多維度、精細(xì)化過濾

為確保數(shù)據(jù)集的高質(zhì)量，我們對(duì)收集的圖像進(jìn)行了多維度、精細(xì)化的清洗過程：

1. 分辨率過濾：我們過濾掉了分辨率低于 448×448 的圖像，確保所有圖像具有足夠的細(xì)節(jié)和清晰度，以反映 AI 生成圖像的真實(shí)特性。
2. 內(nèi)容過濾：利用先進(jìn)的安全檢查模型（如 Stable Diffusion 的安全檢查模型），我們過濾掉了包含暴力、色情和其他不適宜內(nèi)容的圖像，確保數(shù)據(jù)集的合規(guī)性和適用性。
3. 去重處理：通過比較圖像的哈希值，我們?nèi)コ酥貜?fù)的圖像，確保數(shù)據(jù)集的多樣性和獨(dú)立性。
4. 文本-圖像一致性過濾：利用 CLIP 模型，我們計(jì)算了圖像與對(duì)應(yīng)文本描述的相似度，過濾掉了與文本描述不匹配的圖像，確保圖像與文本的一致性和相關(guān)性。

之前的基準(zhǔn)數(shù)據(jù)集往往缺乏嚴(yán)格的過濾步驟，導(dǎo)致數(shù)據(jù)集中包含大量低質(zhì)量的圖像，影響了數(shù)據(jù)集的整體質(zhì)量。

3.2.3 數(shù)據(jù)標(biāo)注：專業(yè)標(biāo)注平臺(tái)與多輪評(píng)估

為確保數(shù)據(jù)集的準(zhǔn)確性和可靠性，我們建立了專門的標(biāo)注平臺(tái)，并招募了 20 名具有豐富經(jīng)驗(yàn)的人類標(biāo)注者對(duì)圖像進(jìn)行分類和真實(shí)性評(píng)估：

1. 分類標(biāo)注：標(biāo)注者將圖像分為人類、動(dòng)物、物體和場(chǎng)景四類，確保數(shù)據(jù)集覆蓋了多種現(xiàn)實(shí)世界中的場(chǎng)景和對(duì)象。
2. 真實(shí)性評(píng)估：標(biāo)注者根據(jù)“是否可以用相機(jī)拍攝”這一標(biāo)準(zhǔn)對(duì)圖像的真實(shí)性進(jìn)行評(píng)估。每個(gè)圖像獨(dú)立評(píng)估兩次，只有當(dāng)兩名標(biāo)注者均誤判為真實(shí)時(shí)，圖像才被標(biāo)記為“高逼真”。
3. 多輪評(píng)估：為確保標(biāo)注的準(zhǔn)確性，我們對(duì)標(biāo)注結(jié)果進(jìn)行了多輪審核和校對(duì)，確保每個(gè)圖像的分類和真實(shí)性評(píng)估結(jié)果準(zhǔn)確無誤。

與之前的基準(zhǔn)數(shù)據(jù)集不同，我們的數(shù)據(jù)集經(jīng)過了嚴(yán)格的人工標(biāo)注，確保了數(shù)據(jù)集的高質(zhì)量和高逼真度。之前的基準(zhǔn)數(shù)據(jù)集往往缺乏嚴(yán)格的人工標(biāo)注，導(dǎo)致數(shù)據(jù)集中的圖像質(zhì)量和標(biāo)注準(zhǔn)確性參差不齊。

通過上述多維度、精細(xì)化的數(shù)據(jù)收集、清洗和標(biāo)注過程，我們構(gòu)建了一個(gè)高質(zhì)量、高逼真度的 AI 生成圖像檢測(cè)基準(zhǔn)數(shù)據(jù)集，為后續(xù)的研究和模型評(píng)估提供了堅(jiān)實(shí)的基礎(chǔ)。我們的數(shù)據(jù)集不僅在規(guī)模上更大，而且在圖像質(zhì)量和標(biāo)注精度上也有了顯著提升，能夠更好地反映 AI 生成圖像檢測(cè)的實(shí)際挑戰(zhàn)。

3.3 數(shù)據(jù)集對(duì)比

Chameleon數(shù)據(jù)集可以作為現(xiàn)有評(píng)測(cè)數(shù)據(jù)集的擴(kuò)展，Chameleon數(shù)據(jù)集在規(guī)模、多樣性和圖像質(zhì)量等方面均展現(xiàn)出顯著優(yōu)勢(shì)：

• 規(guī)模：Chameleon數(shù)據(jù)集包含約26,000張測(cè)試圖像，是目前最大的AI生成圖像檢測(cè)數(shù)據(jù)集之一。
• 多樣性：數(shù)據(jù)集涵蓋了多種生成模型和圖像類別，遠(yuǎn)超其他數(shù)據(jù)集的單一類別。
• 圖像質(zhì)量：圖像分辨率從720P到4K不等，提供了更高質(zhì)量的圖像數(shù)據(jù)，增加了檢測(cè)模型的挑戰(zhàn)性。

04 ”超級(jí)偵探“ — AIDE模型：多專家融合的檢測(cè)框架

在AI生成圖像檢測(cè)領(lǐng)域，現(xiàn)有的檢測(cè)方法往往只能從單一角度進(jìn)行分析，難以全面捕捉AI生成圖像與真實(shí)圖像之間的細(xì)微差異。為了解決這一問題，研究者們提出了簡(jiǎn)單且有效的AIDE（AI-generated Image DEtector with Hybrid Features）模型，該模型通過融合多種專家模塊，從低級(jí)像素統(tǒng)計(jì)和高級(jí)語義兩個(gè)層面全面捕捉圖像特征，實(shí)現(xiàn)了對(duì)AI生成圖像的精準(zhǔn)檢測(cè)。

4.1 模型整體架構(gòu)

AIDE模型主要由兩個(gè)核心模塊組成：Patchwise Feature Extraction（PFE）模塊和Semantic Feature Embedding（SFE）模塊。這兩個(gè)模塊通過多專家融合的方式，共同為最終的分類決策提供豐富的特征信息。

4.2 Patchwise Feature Extraction（PFE）模塊

PFE模塊旨在捕捉圖像中的低級(jí)像素統(tǒng)計(jì)特征，特別是AI生成圖像中常見的噪聲模式和紋理異常。具體而言，該模塊通過以下步驟實(shí)現(xiàn)：

1. Patch Selection via DCT Scoring：首先，將輸入圖像劃分為多個(gè)固定大小的圖像塊（如32×32像素）。然后，對(duì)每個(gè)圖像塊應(yīng)用離散余弦變換（DCT），將其轉(zhuǎn)換到頻域。通過設(shè)計(jì)不同的帶通濾波器，計(jì)算每個(gè)圖像塊的頻率復(fù)雜度得分，從而識(shí)別出最高頻率和最低頻率的圖像塊。
2. Patchwise Feature Encoder：將篩選出的高頻和低頻圖像塊調(diào)整為統(tǒng)一大?。ㄈ?56×256像素），并輸入到SRM（Spatial Rich Model）濾波器中提取噪聲模式特征。這些特征隨后通過兩個(gè)ResNet-50網(wǎng)絡(luò)進(jìn)行進(jìn)一步處理，得到最終的特征圖。

4.3 Semantic Feature Embedding（SFE）模塊

SFE模塊旨在捕捉圖像中的高級(jí)語義特征，特別是物體共現(xiàn)和上下文關(guān)系等。具體而言，該模塊通過以下步驟實(shí)現(xiàn)：

1. Semantic Feature Embedding：利用預(yù)訓(xùn)練的OpenCLIP模型對(duì)輸入圖像進(jìn)行全局語義編碼，得到圖像的視覺嵌入特征。通過添加線性投影層和平均空間池化操作，進(jìn)一步提取圖像的全局上下文信息。

4.4 Discriminator模塊

將PFE和SFE模塊提取的特征在通道維度上進(jìn)行融合，通過多層感知機(jī)（MLP）進(jìn)行最終的分類預(yù)測(cè)。具體而言，首先對(duì)高頻和低頻特征圖進(jìn)行平均池化，得到低級(jí)特征表示；然后將其與高級(jí)語義特征進(jìn)行通道級(jí)拼接，形成最終的特征向量；最后通過MLP網(wǎng)絡(luò)輸出分類結(jié)果。

05 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)設(shè)置

1. 數(shù)據(jù)集：實(shí)驗(yàn)在AIGCDetectBenchmark、GenImage和Chameleon三個(gè)數(shù)據(jù)集上進(jìn)行。AIGCDetectBenchmark和GenImage是現(xiàn)有的基準(zhǔn)測(cè)試數(shù)據(jù)集，而Chameleon是研究者們新構(gòu)建的更具挑戰(zhàn)性的數(shù)據(jù)集。

2. 模型對(duì)比：研究者選擇了9種現(xiàn)成的AI生成圖像檢測(cè)器進(jìn)行對(duì)比，包括CNNSpot、FreDect、Fusing、LNP、LGrad、UnivFD、DIRE、PatchCraft和NPR。

3. 評(píng)價(jià)指標(biāo)：實(shí)驗(yàn)采用分類準(zhǔn)確率（Accuracy）和平均精度（Average Precision, AP）作為評(píng)價(jià)指標(biāo)。

5.2  實(shí)驗(yàn)結(jié)果

5.2.1 AIGCDetectBenchmark & GenImage

我們?cè)u(píng)測(cè)了AIDE在AIGCDetectBenchmark和GenImage上的結(jié)果，如下表所示：

AIDE模型在這兩個(gè)數(shù)據(jù)集上的優(yōu)異表現(xiàn)表明，融合低級(jí)像素統(tǒng)計(jì)和高級(jí)語義特征的方法能夠有效捕捉AI生成圖像與真實(shí)圖像之間的差異，從而提高檢測(cè)準(zhǔn)確率。

5.2.2 Chameleon數(shù)據(jù)集

我們?cè)贑hameleon  benchmark上測(cè)評(píng)了9個(gè)現(xiàn)有的detectors，如下表所示。

同時(shí)我們可視化了，之前的SOTA方法PatchCraft在AIGCDetectBenchmark & GenImage 以及Chameleon上的表現(xiàn)，如下圖所示：

結(jié)果表明，之前在AIGCDetectBenchmark &GenImage上表現(xiàn)優(yōu)異的模型，在我們Chameleon benchmark上均表現(xiàn)很差，這表明Chameleon數(shù)據(jù)集中的圖像確實(shí)具有高度的逼真性，對(duì)現(xiàn)有檢測(cè)模型提出了更大的挑戰(zhàn)。

06 結(jié)論與展望

本論文通過對(duì)現(xiàn)有 AI 生成圖像檢測(cè)方法的重新審視，提出了一個(gè)新的問題設(shè)定，構(gòu)建了更具挑戰(zhàn)性的 Chameleon 數(shù)據(jù)集，并設(shè)計(jì)了一個(gè)融合多專家特征的檢測(cè)器 AIDE。實(shí)驗(yàn)結(jié)果表明，AIDE 在現(xiàn)有的兩個(gè)流行基準(zhǔn)（AIGCDetectBenchmark 和GenImage）上取得了顯著的性能提升，分別比現(xiàn)有的最先進(jìn)方法提高了 3.5% 和 4.6% 的準(zhǔn)確率。然而，在我們提出的 Chameleon 基準(zhǔn)上，盡管 AIDE 取得了最好的性能，但與現(xiàn)有基準(zhǔn)相比，仍存在較大的差距。這表明，檢測(cè) AI 生成圖像的任務(wù)仍然具有很大的挑戰(zhàn)性，需要未來進(jìn)一步的研究和改進(jìn)。我們希望我們的工作能夠?yàn)檫@一領(lǐng)域的研究提供新的思路和方向，推動(dòng) AI 生成圖像檢測(cè)技術(shù)的發(fā)展。

盡管AIDE模型在AI生成圖像檢測(cè)領(lǐng)域取得了顯著進(jìn)展，但研究者們?nèi)杂?jì)劃在未來的工作中進(jìn)一步優(yōu)化模型架構(gòu)，此外，研究者們還計(jì)劃擴(kuò)大Chameleon數(shù)據(jù)集的規(guī)模，涵蓋更多類別、更多場(chǎng)景、更多生成模型的圖像，以推動(dòng)AI生成圖像檢測(cè)技術(shù)的進(jìn)一步發(fā)展，敬請(qǐng)期待！

同時(shí)團(tuán)隊(duì)還有一篇輕量高效的AI圖像檢測(cè)的工作「Improving Synthetic Image Detection Towards Generalization: An Image Transformation Perspective」*, 發(fā)表于KDD2025, 僅用1.44M參數(shù)超越SOTA4.5個(gè)點(diǎn)。

*上述論文鏈接：https://arxiv.org/abs/2408.06741

07 作者介紹

大少

小紅書多模態(tài)算法工程師，碩士畢業(yè)于復(fù)旦大學(xué)計(jì)算機(jī)系，曾在 ICLR、NeurIPS、CVPR、ECCV、AAAI等機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺領(lǐng)域頂級(jí)會(huì)議上發(fā)表 10 余篇論文，曾獲2024全球DeepFake攻防挑戰(zhàn)賽 Global Multimedia Deepfake Detection Challenge 2024 Video Detection 任務(wù)全球亞軍、YouTube-VOS 視頻分割競(jìng)賽全球亞軍等。主要研究方向：多模態(tài)大模型、多模態(tài)理解 & 生成、多模態(tài)表征、AIGC生成&鑒別等。

嘉音

小紅書多模態(tài)算法工程師，碩士畢業(yè)于清華大學(xué)計(jì)算機(jī)系，負(fù)責(zé)小紅書社區(qū)生態(tài)場(chǎng)景下大模型算法研究與應(yīng)用。曾在ICLR、 CVPR、ACM MM、 KDD 等機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、數(shù)據(jù)挖掘領(lǐng)域頂會(huì)發(fā)表數(shù)篇論文，曾獲2024全球DeepFake攻防挑戰(zhàn)賽 Global Multimedia Deepfake Detection Challenge 2024 Video Detection 任務(wù)全球亞軍。主要研究方向：多模態(tài)大模型、AIGC生成&鑒別、視頻理解、視頻編輯等。

萊戈

小紅書生態(tài)算法團(tuán)隊(duì)負(fù)責(zé)人。曾在 CVPR、ICCV、ICLR、ECCV、IJCV 等會(huì)刊發(fā)表 10 余篇論文，曾獲 YouTube-VOS 視頻分割競(jìng)賽 Top-3 排名，曾獲天池視覺分割大獎(jiǎng)賽復(fù)賽第 1 名。主要研究方向：目標(biāo)跟蹤、視頻分割、多模態(tài)分類/檢索、多模態(tài)大模型等。