人工智能通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人簡介：當(dāng)攻擊者想要偽造圖像時，在大多數(shù)情況下，他/她將執(zhí)行JPEG再壓縮。根據(jù)不同的理論假設(shè)開發(fā)了不同的技術(shù)，但尚未開發(fā)出非常有效的解決方案。最近，基于機器學(xué)習(xí)的方法已經(jīng)開始出現(xiàn)在圖像取證領(lǐng)域，以解決各種任務(wù)，如采集源識別和偽造檢測。在最后一種情況下，未來的目標(biāo)是獲得一個訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)，在給定待檢查圖像的情況下，可以可靠地定位偽造區(qū)域?？紤]到這一點，我們的論文通過分析如何使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）揭示和定位單個或雙個JPEG壓縮，從而向這個方向邁出了一步。已經(jīng)考慮了對CNN的不同類型的輸入，并且已經(jīng)進行了各種實驗以試圖證明將要進一步研究的潛在問題。

現(xiàn)在，圖像和視頻作為主要信息來源的普遍性已經(jīng)導(dǎo)致圖像預(yù)測界越來越多地質(zhì)疑其可靠性和完整性。涉及圖片的上下文是不同的。一本雜志，一個社交網(wǎng)絡(luò)，一個保險實踐，一個審判的證據(jù)。這些圖像可以通過使用強大的編輯軟件輕松改變，通常不會對任何修改留下任何視覺痕跡，因此可靠地回答它們的完整性將成為最基本的。圖像取證技術(shù)通過開發(fā)技術(shù)手段來處理這些問題，這些技術(shù)手段只能根據(jù)圖像確定該資產(chǎn)是否已被修改，并且有時需要了解本地化篡改發(fā)生的情況。關(guān)于偽造品個性化，三種是迄今為止研究的主要類別的檢測器：基于特征描述符[1,6,7]，基于不一致陰影[10]和最后基于雙倍JPEG壓縮。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能貢獻：近年來，機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)（如卷積神經(jīng)網(wǎng)絡(luò)（CNN））顯示出能夠提取復(fù)雜的統(tǒng)計特征并有效地學(xué)習(xí)其表示，從而能夠很好地在各種計算機視覺任務(wù)包括圖像識別和分類等。這些網(wǎng)絡(luò)在很多領(lǐng)域的廣泛使用促使和引導(dǎo)多媒體取證社區(qū)理解這些技術(shù)解決方案是否可以用于利用源識別[20,3]或用于圖像和視頻操縱檢測。特別是，王等人。 [23]使用離散余弦變換（DCT）系數(shù)的直方圖作為CNN的輸入來檢測單個或雙重JPEG壓縮，以檢測篡改圖像。 背后的主要思想是開發(fā)一種預(yù)處理模塊，用于在訓(xùn)練CNN之前抑制圖像內(nèi)容;而在[16]CNN體系結(jié)構(gòu)在沒有預(yù)處理的情況下被提供補丁，被篡改區(qū)域的鉆石被篡改。雖然對圖像取證領(lǐng)域的神經(jīng)網(wǎng)絡(luò)的興趣正在增長，但對其可能完成的一個真正的理解仍處于早期階段。

本文向這個方向邁出了一步。我們的目標(biāo)是訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，在給定待檢查圖像的情況下，通過分析單個或雙重JPEG壓縮區(qū)域的存在，能夠可靠地定位可能的偽造區(qū)域。具體而言，已經(jīng)提出了不同種類的基于CNN的方法，并給出了網(wǎng)絡(luò)的不同輸入。首先，利用基于空間域的CNN從RGB彩色圖像開始執(zhí)行圖像偽造檢測;既不進行預(yù)處理，也不采用邊界信息。 CNN經(jīng)過訓(xùn)練能夠區(qū)分未壓縮的單張和雙張JPEG壓縮圖像，以顯示主要（隱藏）JPEG壓縮，然后定位偽造區(qū)域。其次，引入另一個基于頻域CNN作為輸入到網(wǎng)絡(luò)的DCT系數(shù)的直方圖，類似[23]。所提出的第三種方法是基于多域的CNN能夠加入前面關(guān)于RGB補丁和DCT直方圖的兩個輸入信息。這項工作的主要貢獻是探索空間域CNN及其與圖像偽造檢測任務(wù)的頻域組合的使用。已經(jīng)進行了不同的實驗測試，試圖證明有待進一步調(diào)查和改進的潛在問題。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能基于CNN的提議方法在這項工作中，我們的目標(biāo)是調(diào)查識別未壓縮的單個或雙重壓縮圖像的可能性，意圖檢測拼接攻擊中涉及的圖像區(qū)域。除此之外，我們的第二個目標(biāo)是在應(yīng)用二次壓縮之前揭示應(yīng)用于圖像或貼片的主要品質(zhì)因數(shù)。為了完成這項任務(wù)，基于給予網(wǎng)絡(luò)和網(wǎng)絡(luò)本身的輸入數(shù)據(jù)設(shè)計了三種不同的基于CNN的方法。卷積神經(jīng)網(wǎng)絡(luò)由幾個級聯(lián)的卷積層和池層組成，后面是一個或多個完全連接的層。在所提出的方法中，每個被考慮的CNN在網(wǎng)絡(luò)的組成部分如何組合在一起以及來自所使用的層數(shù)方面與其他方面不同，正如下面詳細描述的那樣。為了直接從數(shù)據(jù)中學(xué)習(xí)判別特征，訓(xùn)練階段需要一套一致的標(biāo)記圖像。出于這個原因，對于所有考慮的方法，不同大小的圖像被分成不同大小的片段（不重疊），然后將它們中的每一個都送入網(wǎng)絡(luò)。與輸入不同的是，這些方法不同，網(wǎng)絡(luò)的輸出是相同的。特別是，三種不同的CNN能夠識別9類：未壓迫的，單壓縮的和雙壓縮的貼片（7個質(zhì)量因子從60到95，逐步考慮5）。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能空間域CNN：在第一種基于CNN的方法中，命名為基于空間域的CNN，網(wǎng)絡(luò)的輸入是三個顏色通道（RGB）上的N×N尺寸補丁，預(yù)處理根本不被考慮，并且僅僅是數(shù)據(jù)的規(guī)范化在0和1之間）被執(zhí)行。首先設(shè)計卷積網(wǎng)絡(luò)[12]，并在圖1（上）中進行了總結(jié)。這個特定的網(wǎng)絡(luò)由兩個卷積塊和兩個完全連接的層組成。每個卷積塊由兩個卷積層組成，其中ReLU激活后面跟著一個匯聚層。所有卷積層使用3x3的內(nèi)核大小，而共享層內(nèi)核大小為2×2。為了防止過度擬合，我們使用Dropout，在完全連接的層次上隨機丟棄訓(xùn)練時的單位。特別是，這種類型的CNN針對每個考慮的二次質(zhì)量因子QF2 = 60：5：95進行訓(xùn)練。因此，我們獲得了與QF2的每個值相對應(yīng)的八個不同的分類器。每個分類器都需要為輸入補丁輸出兩級分類。首先是未壓縮的單壓縮和雙壓縮補丁之間的類間分類。其次是QF1的內(nèi)部類別（在60：5：95的范圍內(nèi)，不包括QF1 = QF2）在雙重壓縮補丁的情況下。因此，我們選擇為每個QF1輸出9個普通類，未壓縮類，單個壓縮類和一個類。結(jié)果，CNN的最后一個完全連接的層被發(fā)送到九路軟最大連接，這產(chǎn)生了每個樣本應(yīng)被分類到每個類中的概率。作為損失函數(shù)，我們使用分類交叉熵函數(shù)[22]。我們注意到，錯誤分類雙重壓縮補丁的內(nèi)部類型是錯誤的，而錯誤地將補丁的類別分類。因此，我們調(diào)整損失以將類內(nèi)錯誤加權(quán)為類間錯誤的1/9。在我們的初步實驗中，這改善了課堂內(nèi)分類的準(zhǔn)確性。所提出的CNN模型是基于來自由未壓縮的單壓縮貼片或雙壓縮貼片構(gòu)成的訓(xùn)練集（即QF2 = 90和QF1從60變化到95）組成的標(biāo)簽貼片樣本進行訓(xùn)練的。在測試階段，八個訓(xùn)練的CNN中的一個（根據(jù)保存在JPEG格式的EXIF頭中的質(zhì)量因子進行選擇）用于通過將補丁大小的滑動窗口應(yīng)用于掃描來提取測試圖像的基于補丁的特征整個圖像，為每個補丁分配一個類，從而在圖像級執(zhí)行定位。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能頻域CNN：在第二種提出的方法中，基于頻域的CNN，根據(jù)[23]擴展評估系數(shù)數(shù)目的想法，對給定的補丁執(zhí)行預(yù)處理，以計算DCT系數(shù)的直方圖。詳細地說，給定一個N×N片，提取DCT系數(shù)，并且對于每個8×8塊，選擇以之字形掃描順序（DC被跳過）的前9個空間頻率。對于每個空間頻率i，j，建立表示量化的DCT值的絕對值的出現(xiàn)的直方圖hi，j。具體而言，hi，j（m）是m =（50..0，+50）的i，j DCT系數(shù)的直方圖中的值m的數(shù)量。因此，該網(wǎng)絡(luò)共有909個元素（101個直方圖箱×9個DCT頻率）的矢量作為輸入。再次，如前所述，訓(xùn)練8個CNN的陣列，它們中的每一個對應(yīng)于第二壓縮品質(zhì)因子QF2的不同值。然后使用特征向量來訓(xùn)練每個CNN，以便區(qū)分之前定義的9個類別（未壓縮，單一壓縮和雙重壓縮，QF2固定和主要質(zhì)量因子在QF1 = 60：5：95中變化）。所提出的CNN模型的架構(gòu)如圖1所示（下圖）。它包含兩個卷積層，然后是兩個池連接和三個完整連接。輸入數(shù)據(jù)的大小是909x1，輸出是九個類的分布。每個完全連接的層有256個神經(jīng)元，最后一個層的輸出發(fā)送到九路softmax，這產(chǎn)生了每個樣本應(yīng)該被分類到每個類中的概率。在我們的網(wǎng)絡(luò)中，每層都使用整流線性單元（ReLU）f（x）= max（0，x）作為激勵函數(shù)。在兩個完全連接的層中，使用Dropout技術(shù)。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能多域CNN：第三個考慮的方法是一個多域CNN，其中三個通道色塊和在該色塊上計算的DCT系數(shù)的直方圖用作網(wǎng)絡(luò)的輸入以便結(jié)合前兩種方法。在圖2中，提出的網(wǎng)絡(luò)被描繪出來，它由一個基于空間域的CNN和一個基于頻域的CNN組成，直到它們的第一個完全連接的層?；诙嘤虻腃NN學(xué)習(xí)來自R，G，B域和來自DCT的直方圖的特征之間的模式間關(guān)系，將兩個網(wǎng)絡(luò)的完全連接層（每個256維）的輸出連接在一起。通過這種方式，最后一個完全連接的層有512個神經(jīng)元，并且輸出被發(fā)送到九路softmax連接，這產(chǎn)生了每個樣本也使用一個丟失層分類到每個類中的概率。因此，與之前一樣，根據(jù)QF2的每個值設(shè)計八個不同的9類分類器。訓(xùn)練和測試階段與以前一樣進行。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能多域結(jié)論：在本文中，我們提出了采用卷積神經(jīng)網(wǎng)絡(luò)來檢測拼接偽造的一個步驟。我們開始探索美國有線電視新聞網(wǎng)的能力，對未經(jīng)壓縮的單張和雙張壓縮圖像進行分類和本地化。在最新的案例中，我們的方法也能夠恢復(fù)原始壓縮質(zhì)量因素。我們提出了基于空間域的CNN及其與基于頻率的CNN的組合，并將其應(yīng)用于基于多域的方法。實驗結(jié)果表明，空間域可以直接使用，并且當(dāng)與頻域相結(jié)合時，可以在DCT方法通常較弱（例如QF2 <QF1）的情況下導(dǎo)致優(yōu)越的性能。一些尚未解決的問題仍有待探討。首先，CNN體系結(jié)構(gòu)的選擇可能導(dǎo)致與在對象分類任務(wù)[11,18]中看到的非常不同的性能[11,18]，其中使用更深的體系結(jié)構(gòu)。其次，應(yīng)該通過收集一個更大的數(shù)據(jù)集來探索需要多少數(shù)據(jù)來訓(xùn)練一個好的CNN模型。我們的結(jié)果表明，空間信息可以幫助DCT方法需要至少64x64的補丁來構(gòu)建有用的統(tǒng)計信息。第三，應(yīng)該提供CNN檢測不同類型壓縮（如JPEG 2000或有損PNG）的能力。我們有希望的結(jié)果表明，該工具可以檢測以前壓縮的細微特征，并學(xué)習(xí)預(yù)測再壓縮時使用的第一個質(zhì)量因子。