一引言

近幾年，人工智能技術(shù)呈現(xiàn)蓬勃發(fā)展之勢(shì)，成為引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的戰(zhàn)略性技術(shù)，習(xí)總書記更是強(qiáng)調(diào)“加快發(fā)展新一代人工智能是事關(guān)我國(guó)能否抓住新一輪科技革命和產(chǎn)業(yè)變革機(jī)遇的戰(zhàn)略問題”。人工智能技術(shù)正在推動(dòng)經(jīng)濟(jì)社會(huì)各領(lǐng)域向智能化加速發(fā)展。但“每個(gè)硬幣都有正反面”，人工智能在為社會(huì)生活帶來智能便利的同時(shí)，也出現(xiàn)了泄露個(gè)人隱私、AI技術(shù)濫用、危害公共安全等問題，給社會(huì)治理帶來全新挑戰(zhàn)。

深度偽造技術(shù)（Deepfake）就是近幾年出現(xiàn)的一種利用人工智能等新興技術(shù)操縱音視頻、圖像或文本內(nèi)容，意圖產(chǎn)生誤導(dǎo)效果的技術(shù)，其生成的偽造圖像和視頻可以模仿目標(biāo)的面部表情、動(dòng)作和語(yǔ)音的音調(diào)、色調(diào)等信息，生成足以“以假亂真”的圖像和視頻，肉眼難以辨識(shí)，顛覆了人們對(duì)“眼見為實(shí)”觀念的認(rèn)知，引發(fā)公眾對(duì)人工智能安全的普遍擔(dān)憂，對(duì)個(gè)人、社會(huì)和國(guó)家的安全存在巨大的技術(shù)風(fēng)險(xiǎn)。

二、深度偽造技術(shù)

2017年，美國(guó)Reddit新聞網(wǎng)站上一位名為deepfakes的用戶上傳了經(jīng)過技術(shù)篡改的色情視頻，將視頻中的演員人臉替換成一位電影明星的臉，由此“深度偽造（Deepfake）”技術(shù)引發(fā)人們關(guān)注。深度偽造目前仍然沒有公認(rèn)統(tǒng)一的定義, 美國(guó)在其發(fā)布的2018 年《惡意偽造禁令法案》中將“Deepfake”定義為“以某種方式使合理的觀察者錯(cuò)誤地將其視為個(gè)人真實(shí)言語(yǔ)或行為的真實(shí)記錄的方式創(chuàng)建或更改的視聽記錄”, 其中“視聽記錄”即指圖像、視頻和語(yǔ)音等數(shù)字內(nèi)容。本文認(rèn)為深度偽造技術(shù)是一種利用深度學(xué)習(xí)等新興技術(shù)創(chuàng)建或更改圖像、視頻、語(yǔ)音和文本等數(shù)字內(nèi)容，意圖產(chǎn)生誤導(dǎo)效果的技術(shù)。

圖1 深度偽造視頻

01視頻圖像深度偽造生成技術(shù)

目前的視頻圖像深度偽造技術(shù)主要源于深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺方向的應(yīng)用和發(fā)展。偽造生成主要使用深度神經(jīng)網(wǎng)絡(luò)有自編碼器網(wǎng)絡(luò)AE（auto-encoder）和生成式對(duì)抗網(wǎng)絡(luò)GAN（Generative Adversarial Networks）兩大類。

初期視頻圖像的偽造主要依靠自編碼器網(wǎng)絡(luò)，自編碼器網(wǎng)絡(luò)由一個(gè)編碼器網(wǎng)絡(luò)和一個(gè)解碼器網(wǎng)絡(luò)組成，編碼器通過提取人臉特征將人臉圖像進(jìn)行編碼壓縮，解碼器從壓縮的編碼表示中重構(gòu)原始人臉。網(wǎng)絡(luò)在訓(xùn)練階段，編碼器網(wǎng)絡(luò)學(xué)習(xí)捕捉人臉的關(guān)鍵特征，利用對(duì)應(yīng)的解碼器網(wǎng)絡(luò)重構(gòu)形成學(xué)習(xí)的人臉圖像。偽造生成人臉時(shí)，只需將任意人臉輸入統(tǒng)一的編碼器，再將編碼后的人臉通過目標(biāo)人臉的解碼器解碼，所生成的人臉圖像就會(huì)具有目標(biāo)人臉的特征同時(shí)保留輸入源人臉的表情、特征屬性。

圖2 自編碼偽造生成過程

自編碼器網(wǎng)絡(luò)為了提高偽造的逼真程度，需要刻意逼近真實(shí)樣本數(shù)據(jù)概率分布，造成網(wǎng)絡(luò)泛化性能不足，生成的逼真程度受限。為了解決這些問題，有研究人員提出使用GAN網(wǎng)絡(luò)提升偽造生成逼真程度的思路。GAN是一種采用博弈論思路的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)由生成模型和判別模型兩部分組成，訓(xùn)練學(xué)習(xí)的過程就是生成器和判別器相互博弈的過程，生成器通過給定輸入信息，隨機(jī)生成樣本數(shù)據(jù)，判別器則要判別生成的樣本數(shù)據(jù)是否屬于真實(shí)訓(xùn)練樣本，兩者通過對(duì)抗式訓(xùn)練提升其生成器的能力,最終達(dá)到生成器能夠生成足以“以假亂真”的數(shù)據(jù)樣本。

當(dāng)前主流的視頻圖像深度偽造技術(shù)主要基于GAN網(wǎng)絡(luò)思路，衍生出多種基于GAN的變種網(wǎng)絡(luò)，比如去除了池化層的DCGAN網(wǎng)絡(luò)、引入EM（Earth-Mover）距離的Wasserstein GNA網(wǎng)絡(luò)、使用兩個(gè)不同領(lǐng)域圖像學(xué)習(xí)的CycleGAN網(wǎng)絡(luò)和引入進(jìn)化策略優(yōu)化網(wǎng)絡(luò)的E-GAN網(wǎng)絡(luò)、利用條件生產(chǎn)對(duì)抗網(wǎng)絡(luò)的paGAN、結(jié)合層疊式網(wǎng)絡(luò)的SCANs和大規(guī)模生成對(duì)抗網(wǎng)絡(luò)等，用于對(duì)人臉面部表情、特征進(jìn)行更精細(xì)的操作和渲染，以生成更逼真的人臉圖像。

目前深度偽造視頻圖像主要表現(xiàn)在人臉部屬性的修改或生成，主要分為人臉重現(xiàn)、人臉替換、人臉屬性操作和人臉生成四個(gè)方面。人臉重現(xiàn)是指使用源身份人物的表情、面部動(dòng)作、頭部及軀體動(dòng)作驅(qū)動(dòng)目標(biāo)身份的相應(yīng)動(dòng)作，目標(biāo)身份人臉不變，偽造或遷移特定表情、動(dòng)作到目標(biāo)人臉，以實(shí)現(xiàn)目標(biāo)身份表情或動(dòng)作的偽造。人臉替換就是換臉偽造，是指交換源身份人臉和目標(biāo)身份人臉，以實(shí)現(xiàn)人身份修改的目的。人臉屬性操作是指添加、編輯或刪除目標(biāo)身份人臉屬性，比如發(fā)型、膚色、年齡、種族等，以實(shí)現(xiàn)目標(biāo)身份修改的目的。人臉生成是指使用模型完全創(chuàng)建一整個(gè)不存在的人臉圖像。

圖3 深度偽造生成的四種主要形態(tài)

02音頻深度偽造生成技術(shù)

音頻的偽造生成主要是指利用AI合成虛假語(yǔ)音，一般表現(xiàn)為從文本合成語(yǔ)音(text-to-speech synthesis)和語(yǔ)音轉(zhuǎn)換(voice conversion)兩種形式。

文本到語(yǔ)音合成技術(shù)主要是完成從指定文本生成對(duì)應(yīng)的語(yǔ)音數(shù)據(jù)，主要的方法分為基于語(yǔ)音片段的語(yǔ)音合成方法和基于參數(shù)估計(jì)的語(yǔ)音合成方法。在基于語(yǔ)音片段的語(yǔ)音合成方法中，生成音頻主要通過對(duì)語(yǔ)音索引詞典中預(yù)先錄制的語(yǔ)音片段進(jìn)行排序?；趨?shù)估計(jì)的語(yǔ)音合成方法則通過將文本映射到語(yǔ)音的顯著參數(shù)，從而基于聲碼器來合成語(yǔ)音。

語(yǔ)音轉(zhuǎn)換是指轉(zhuǎn)換源目標(biāo)的語(yǔ)音音色到目標(biāo)對(duì)象語(yǔ)音音色的過程。隨著人工智能技術(shù)的發(fā)展，不同的學(xué)者借鑒圖像視頻生成的技術(shù)思路，引入自編碼器網(wǎng)絡(luò)、GAN網(wǎng)絡(luò)、自回歸模型等，輔助合成更加逼真的真人語(yǔ)音數(shù)據(jù)。Santiago等人引入GAN 網(wǎng)絡(luò)過濾語(yǔ)音的噪音，提升生成語(yǔ)音的質(zhì)量。Vasquez等人基于頻譜圖和細(xì)粒度的自回歸模型設(shè)計(jì)了一種端到端的語(yǔ)音生成模型，能夠同時(shí)捕獲局部和全局結(jié)構(gòu)，生成的語(yǔ)音內(nèi)容不僅可以重現(xiàn)人類的語(yǔ)調(diào), 而且可以像真人一樣說話。百度通過使用低維度可訓(xùn)練的說話者編碼來增強(qiáng)文本到語(yǔ)音的轉(zhuǎn)換，擴(kuò)展Deep voice，提出Deepvoice2，使得單個(gè)模型能生成不同的聲音。Ping等人提出基于注意力機(jī)制的全卷積TTS模型，擴(kuò)展生成Deep voice3，能夠?qū)崿F(xiàn)在不降低合成性能的情況下完全并行計(jì)算。

三、深度偽造檢測(cè)技術(shù)

01深度偽造視頻圖像檢測(cè)技術(shù)

隨著深度生成對(duì)抗網(wǎng)絡(luò)等技術(shù)在圖像視頻偽造領(lǐng)域的應(yīng)用，視頻圖像篡改和合成的能力門檻變得越來越低，特別是人臉生成、人臉屬性修改、人臉替換、表情操縱等多種深度偽造工具的應(yīng)用，使得對(duì)偽造視頻圖像的檢測(cè)和識(shí)別變得越來越困難，僅僅依靠傳統(tǒng)視頻圖像真實(shí)性檢測(cè)和鑒定方法難以支撐多樣化的偽造手段。

目前深度偽造視頻圖像的檢測(cè)方法研究者主要提出了基于視頻圖像本身成像特征分析的方法和基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)分析方法兩類。

基于視頻圖像本身成像特征的檢測(cè)方法主要包括通過分析視頻圖像中的光照不連續(xù)性、陰影不連續(xù)性或幾何位置不一致等圖像的物理特征來辨別圖像的真實(shí)性。還有提出通過分析視頻圖像成像設(shè)備傳感器噪聲差異性特征、色差差異性特征來判別圖像真實(shí)性的方法，還有提出通過分析查找視頻圖像的壓縮痕跡（DCT系數(shù)、塊狀效應(yīng)等）特征或圖像重采樣特征以發(fā)現(xiàn)視頻圖像偽造的痕跡，還有研究者提出利用人的生理信號(hào)特征如眨眼頻率、脈搏、心率等的不協(xié)調(diào)性和不一致性檢測(cè)判別視頻圖像的真?zhèn)??；谶@類特征的檢測(cè)方法大多只能檢測(cè)特定偽造類型“痕跡”，肉眼容易識(shí)別的篡改，檢測(cè)結(jié)果的可解釋性比較好。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，研究人員也提出基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)檢測(cè)方法。有研究者提出利用對(duì)比損失函數(shù)，在大量的虛假與真實(shí)圖像數(shù)據(jù)上進(jìn)行訓(xùn)練，從而學(xué)習(xí)到有效區(qū)分真假圖像特征表示，達(dá)到分析識(shí)別真假圖像的目的。也有通過分析和提取真?zhèn)螆D像自身差異化特征，進(jìn)而訓(xùn)練分類器實(shí)現(xiàn)深度偽造圖像的檢測(cè)，還有應(yīng)用各種卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)等深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的視頻圖像真?zhèn)螜z測(cè)方法。

由于深度偽造技術(shù)主要基于生成對(duì)抗網(wǎng)絡(luò)，所以，研究者也廣泛關(guān)注生成對(duì)抗網(wǎng)絡(luò)產(chǎn)生的圖像在色彩分布上是否有別于自然圖像，提出基于各種顏色特征進(jìn)行檢測(cè)識(shí)別的方法，也有提出尋求不同GAN網(wǎng)絡(luò)在生成視頻圖像時(shí)留下的網(wǎng)絡(luò)指紋特征作為分類識(shí)別的依據(jù)，用于識(shí)別和溯源不同的偽造方法。此類基于GAN指紋特征的方法會(huì)依賴GAN的結(jié)構(gòu)，隨著GAN技術(shù)迅速發(fā)展，基于GAN指紋的方法所提取的GAN指紋特征并不具有持久性和通用性，方法的泛化能力不足。

圖4 深度偽造圖像檢測(cè)一般過程

針對(duì)深度偽造視頻，目前的檢測(cè)方法仍聚焦于“換臉”技術(shù)檢測(cè)。由于視頻在被壓縮后，幀數(shù)據(jù)會(huì)產(chǎn)生嚴(yán)重的退化現(xiàn)象且視頻幀組之間的時(shí)序特征存在一定的變化，故多數(shù)基于靜態(tài)特征的深度偽造圖像檢測(cè)方法無法直接用于深度偽造視頻的檢測(cè)。由于深度偽造模型經(jīng)常使用靜態(tài)的面部圖像集進(jìn)行訓(xùn)練，生成模型對(duì)人臉先驗(yàn)知識(shí)建模不足，難以實(shí)現(xiàn)對(duì)眨眼、呼吸和心跳等生理信息的準(zhǔn)確偽造。因此，很多研究者提出各種基于生理信息的合理性來構(gòu)建深度偽造視頻檢測(cè)的方法，比如利用不自然的眨眼動(dòng)作、不一致的面部和頭部的朝向、面部區(qū)域的視覺偽影等特征實(shí)現(xiàn)視頻真?zhèn)螜z測(cè)。還有研究者關(guān)注到偽造生成的視頻在時(shí)空域上很難做到人臉、皮膚在不同光照和相機(jī)視角下的完美融合，提出基于視頻幀間不一致性、光響應(yīng)非均勻性(PRNU)模式差異 、幀間光流的不連續(xù)性、面部和周邊區(qū)域的分辨率不一致等偽造特征痕跡的檢測(cè)方法。

圖5 深度偽造視頻檢測(cè)一般過程

02深度偽造音頻檢測(cè)技術(shù)

隨著人工智能技術(shù)的應(yīng)用，音頻合成和轉(zhuǎn)換能力不斷提升，生成的音頻越發(fā)逼真，單憑人的聽覺判斷已經(jīng)難以主觀分辨，因此，研究針對(duì)惡意使用的音頻深度偽造檢測(cè)識(shí)別方法變得就愈發(fā)重要。目前，深度偽造音頻的檢測(cè)識(shí)別主要通過基于音頻信號(hào)分析的方法和基于語(yǔ)速、聲紋和頻譜分布等生物信息特征的深度學(xué)習(xí)方法兩類。

音頻真?zhèn)蔚臋z測(cè)識(shí)別研究起初主要基于音頻信號(hào)處理的思路，研究者有提出對(duì)頻譜特征建模，使用常量Q倒譜系數(shù)(constant-Q cepstral coefficients) 、歸一化余弦相位和修正的群延遲等方法進(jìn)行檢測(cè)識(shí)別，這類方法對(duì)采用特定音頻處理技術(shù)的音頻識(shí)別效果較好，但方法的泛化性能不佳。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)檢測(cè)方法逐漸被研究者所關(guān)注。Gomez-Alanis等人通過融合輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò), 提出一種由光卷積門控遞歸神經(jīng)網(wǎng)絡(luò)提取偽造音頻深度特征的檢測(cè)方法。Li 等人提出融合梅爾頻率倒譜系數(shù)(Mel frequency cepstrum coefficient)、常量Q倒譜系數(shù)(Constant Q cepstral coefficient)和FBank 等多種聲學(xué)特征的多任務(wù)學(xué)習(xí)檢測(cè)思路。Monteiro等人提出將聲音表征為視覺的頻譜圖，利用時(shí)間卷積網(wǎng)絡(luò)對(duì)頻譜圖的清晰度進(jìn)行識(shí)別分析以判斷音頻是否偽造。

偽造語(yǔ)音的檢測(cè)從傳統(tǒng)信號(hào)處理方法發(fā)展到深度學(xué)習(xí)方法，在應(yīng)對(duì)語(yǔ)音欺騙領(lǐng)域取得了一定的成果，但是現(xiàn)有方法還是依賴特定攻擊類型，對(duì)未知類型攻擊檢測(cè)的泛化性提升還有很大的空間。

總之，隨著人工智能的技術(shù)發(fā)展與應(yīng)用深入，深度偽造檢測(cè)技術(shù)在保護(hù)個(gè)人隱私、維護(hù)公共安全、促進(jìn)司法公正等方面越來越顯示其重要性，應(yīng)當(dāng)引起社會(huì)各界的充分重視。