一個(gè)模型擊潰12種AI造假，各種GAN與Deepfake都陣亡，已開(kāi)源
本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
AI造出的假圖片恐怕很難再騙過(guò)AI了。
連英偉達(dá)本月剛上線的StyleGAN2也被攻破了。即使是人眼都分辨看不出來(lái)假臉圖片，還是可以被AI正確鑒別。
最新研究發(fā)現(xiàn)，只要用讓AI學(xué)會(huì)鑒別某一只GAN生成的假圖片，它就掌握了鑒別各種假圖的能力。
不論是GAN生成的，Deepfake的，超分辨率的，還是怎樣得來(lái)的，只要是AI合成圖片，都可以拿一個(gè)通用的模型檢測(cè)出來(lái)。
盡管各種CNN的原理架構(gòu)完全不同，但是并不影響檢測(cè)器發(fā)現(xiàn)造假的通病。
只要做好適當(dāng)?shù)念A(yù)處理和后處理，以及適當(dāng)?shù)臄?shù)據(jù)擴(kuò)增，便可以鑒定圖片是真是假，不論訓(xùn)練集里有沒(méi)有那只AI的作品。
這就是Adobe和UC伯克利的科學(xué)家們發(fā)表的新成果。
有網(wǎng)友表示，如果他們把這項(xiàng)研究用來(lái)參加Kaggle的假臉識(shí)別大賽，那么將有可能獲得最高50萬(wàn)美元獎(jiǎng)金。
然而他們并沒(méi)有，而是先在ArXiv公布了預(yù)印本，并且還被CVPR 2020收錄。
最近，他們甚至將論文代碼在GitHub上開(kāi)源，還提供了訓(xùn)練后的權(quán)重供讀者下載。
造出7萬(wàn)多張假圖
要考驗(yàn)AI鑒別假貨的能力，論文的第一作者、來(lái)自伯克利的學(xué)生Wang Sheng-Yu用11種模型生成了不同的圖片，涵蓋了各種CNN架構(gòu)、數(shù)據(jù)集和損失。
所有這些模型都具有上采樣卷積結(jié)構(gòu)，通過(guò)一系列卷積運(yùn)算和放大操作來(lái)生成圖像，這是CNN生成圖像最常見(jiàn)的設(shè)計(jì)。
有ProGAN、StyleGAN、BigGAN、BigGAN、GauGAN等等，這些GAN各有特色。
ProGAN和StyleGAN為每個(gè)類別訓(xùn)練不同的網(wǎng)絡(luò)；StyleGAN將較大的像素噪聲注入模型，引入高頻細(xì)節(jié)；BigGAN具有整體式的類條件結(jié)構(gòu)；進(jìn)行圖像轉(zhuǎn)換的GauGAN、CycleGAN、StarGAN。
除了GAN以外，還有其他處理圖片的神經(jīng)網(wǎng)絡(luò)：
- 直接優(yōu)化感知損失 ，無(wú)需對(duì)抗訓(xùn)練的級(jí)聯(lián)細(xì)化網(wǎng)絡(luò)（CRN）；
- 條件圖像轉(zhuǎn)換模型隱式最大似然估計(jì)（IMLE）；
- 改善低光照曝光不足的SITD模型；
- 超分辨率模型，即二階注意力網(wǎng)絡(luò)（SAN）；
- 用于換臉的的開(kāi)源DeepFake工具faceswap。
主流圖片處理CNN模型應(yīng)有盡有。他們總共造出了7萬(wàn)多張“假圖”。
雖然生成這些圖片所用的算法大相徑庭、風(fēng)格迥異，但是總有會(huì)有一些固有缺陷，這里面既有CNN本身的問(wèn)題，也有GAN的局限性。
這是因?yàn)槌Ｒ?jiàn)的CNN生成的內(nèi)容降低了圖片的表征能力，而這些工作大部分集中在網(wǎng)絡(luò)執(zhí)行上采樣和下采樣的方式上。下采樣是將圖像壓縮，上采樣是將圖像插值到更大的分辨率上。
之前，Azulay和Weiss等人的研究表明，表明卷積網(wǎng)絡(luò)忽略了經(jīng)典的采樣定理，而跨步卷積（strided convolutions）操作減少了平移不變性，導(dǎo)致很小的偏移也會(huì)造成輸出的極大波動(dòng)。
另外，朱俊彥團(tuán)隊(duì)發(fā)表在ICCV 2019上的論文表明，GAN的生成能力有限，并分析了預(yù)訓(xùn)練GAN無(wú)法生成的圖像結(jié)構(gòu)。
今年7月，哥倫比亞大學(xué)的Zhang Xu等人進(jìn)一步發(fā)現(xiàn)了GAN的“通病”，常見(jiàn)GAN中包含的上采樣組件會(huì)引起偽像。
他們從理論上證明了，這些偽像在頻域中表現(xiàn)為頻譜的復(fù)制，這在頻譜圖上表現(xiàn)十分明顯。
比如同樣是一張馬的圖片，真實(shí)照片的信號(hào)主要集中在中心區(qū)域，而GAN生成的圖像，頻譜圖上出現(xiàn)了四個(gè)小點(diǎn)。
因此他們提出了一種基于頻譜而不是像素的分類器模型，在分辨假圖像上達(dá)到了最先進(jìn)的性能。
而Wang同學(xué)發(fā)現(xiàn)，不僅是GAN，其他的CNN在生成圖像時(shí)，也會(huì)在頻譜圖中觀察到周期性的圖案。
訓(xùn)練AI辨別真?zhèn)?/h2>
剛才生成的數(shù)據(jù)集，包含了11個(gè)模型生成的假圖。
不過(guò)，真假分類器并不是用這個(gè)大合集來(lái)訓(xùn)練的。
真正的訓(xùn)練集里，只有英偉達(dá)ProGAN這一個(gè)模型的作品，這是關(guān)鍵。
△ ProGAN過(guò)往作品展
團(tuán)隊(duì)說(shuō)，只選一個(gè)模型的作品用來(lái)訓(xùn)練，是因?yàn)檫@樣的做法更能適應(yīng)現(xiàn)實(shí)任務(wù)：
現(xiàn)實(shí)世界里，數(shù)據(jù)多樣性永遠(yuǎn)是未知的，你不知道自己訓(xùn)練出的AI需要泛化到怎樣的數(shù)據(jù)上。所以，干脆就用一種模型生成的圖像來(lái)訓(xùn)練，專注于幫AI提升泛化能力。
而其他模型生成的作品，都是測(cè)試泛化能力用的。
(如果用很多模型的假圖來(lái)訓(xùn)練，泛化任務(wù)就變得簡(jiǎn)單了，很難觀察出泛化能力有多強(qiáng)。)
具體說(shuō)來(lái)，真假分類器是個(gè)基于ResNet-50的網(wǎng)絡(luò)，先在ImageNet上做了預(yù)訓(xùn)練，然后用ProGAN的作品做二分類訓(xùn)練。
△ ProGAN原理
不過(guò)，訓(xùn)練集不是一只ProGAN的作品。團(tuán)隊(duì)用了20只ProGAN，每只負(fù)責(zé)生成LSUN數(shù)據(jù)集里的一個(gè)類別。一只ProGAN得到3.6萬(wàn)張訓(xùn)練用圖，200張驗(yàn)證用圖，一半是生成的假圖，一半是真圖。
把20只ProGAN的成果加在一起，訓(xùn)練集有72萬(wàn)張，驗(yàn)證集有4000張。
為了把單一數(shù)據(jù)集的訓(xùn)練成果，推廣到其他的數(shù)據(jù)集上，團(tuán)隊(duì)用了自己的方法：
最重要的就是數(shù)據(jù)擴(kuò)增。先把所有圖像左右翻轉(zhuǎn)，然后用高斯模糊，JPEG壓縮，以及模糊+JPEG這些手段來(lái)處理圖像。
擴(kuò)增手段并不特別，重點(diǎn)是讓數(shù)據(jù)擴(kuò)增以后處理的形式出現(xiàn)。團(tuán)隊(duì)說(shuō)，這種做法帶來(lái)了驚人的泛化效果 (詳見(jiàn)后文) 。
訓(xùn)練好了就來(lái)看看成果吧。
明辨真?zhèn)?/h2>
研究人員主要是用平均精度 (Average Precision) 這個(gè)指標(biāo)，來(lái)衡量分類器的表現(xiàn)。
在多個(gè)不同的CNN模型生成的圖片集里，ProGAN訓(xùn)練出的分類器都得到了不錯(cuò)的泛化：
幾乎所有測(cè)試集，AP分值都在90以上。只在StyleGAN的分值略低，是88.2。
不論是GAN，還是不用對(duì)抗訓(xùn)練、只優(yōu)化感知損失的模型、還是超分辨率模型，還是Deepfake的作品，全部能夠泛化。
團(tuán)隊(duì)還分別測(cè)試了不同因素對(duì)泛化能力產(chǎn)生的影響：
一是，數(shù)據(jù)擴(kuò)增對(duì)泛化能力有所提升。比如，StyleGAN從96.3提升到99.6，BigGAN從72.2提升到88.2，GauGAN從67.0提升到98.1等等。更直觀的表格如下，左邊是沒(méi)有擴(kuò)增：
另外，數(shù)據(jù)擴(kuò)增也讓分類器更加魯棒了。
二是，數(shù)據(jù)多樣性也對(duì)泛化能力有提升。還記得當(dāng)時(shí)ProGAN生成了LSUN數(shù)據(jù)集里20個(gè)類別的圖片吧。大體上看，用越多類別的圖像來(lái)訓(xùn)練，得到的成績(jī)就越好：
然后，再來(lái)試想一下，這時(shí)候如果突然有個(gè)新模型被開(kāi)發(fā)出來(lái)，AI也能適應(yīng)么？
這里，團(tuán)隊(duì)用了剛出爐沒(méi)多久的英偉達(dá)StyleGAN2，發(fā)現(xiàn)分類器依然可以良好地泛化：
最后，還有一個(gè)問(wèn)題。
AI識(shí)別假圖，和人類用肉眼判斷的機(jī)制一樣么？
團(tuán)隊(duì)用了一個(gè)“Fakeness (假度) ”分值，來(lái)表示AI眼里一張圖有多假。AI覺(jué)得越假，分值越高。
實(shí)驗(yàn)結(jié)果是，在大部分?jǐn)?shù)據(jù)集里，AI眼里的假度，和人類眼里的假度，并沒(méi)有明顯的相關(guān)性。
只在BigGAN和StarGAN兩個(gè)數(shù)據(jù)集上，假度分值越高時(shí)，能看到越明顯的瑕疵。
更多數(shù)據(jù)集上沒(méi)有這樣的表現(xiàn)，說(shuō)明分類器很有可能更傾向于學(xué)習(xí)低層的缺陷，而肉眼看到的瑕疵可能更偏向于高層。
安裝使用
說(shuō)完了論文，下面我們就可以去GitHub上體驗(yàn)一下這個(gè)模型的厲害了。
論文源代碼基于PyTorch框架，需要安裝NVIDIA GPU才能運(yùn)行，因?yàn)轫?xiàng)目依賴于CUDA。
首先將項(xiàng)目克隆到本地，安裝依賴項(xiàng)。
- pip install -r requirements.txt
考慮到訓(xùn)練成本巨大，作者還提供權(quán)重和測(cè)試集下載，由于這些文件存放在Dropbox上不便國(guó)內(nèi)用戶下載，在我們公眾號(hào)中回復(fù)CNN即可獲得國(guó)內(nèi)網(wǎng)盤(pán)地址。
下載完成后將這兩個(gè)文件移動(dòng)到weights目錄下。
然后我們就可以用來(lái)判別圖像的真假了：
- # Model weights need to be downloaded.
- python demo.py examples/real.png weights/blur_jpg_prob0.1.pth
- python demo.py examples/fake.png weights/blur_jpg_prob0.1.pth
如果你有能力造出一個(gè)自己的GAN，還可以用它來(lái)檢測(cè)你模型的造假能力。
- # Run evaluation script. Model weights need to be downloaded.
- python eval.py
作者就用它鑒別了13種CNN模型制造的圖片，證明了它的泛化能力。
閃閃發(fā)光作者團(tuán)
這篇文章的第一作者是來(lái)自加州大學(xué)伯克利分校的Wang Sheng-Yu，他現(xiàn)在是伯克利人工智能研究實(shí)驗(yàn)室（BAIR）的一名研究生，在鑒別假圖上是個(gè)好手。
今年他和Adobe合作的另一篇論文Detecting Photoshopped Faces by Scripting Photoshop，可以發(fā)現(xiàn)照片是否經(jīng)過(guò)PS瘦臉美顏的操作，而且還能恢復(fù)“照騙”之前的模樣。
這篇的另一名作者Richard Zhang與Wang同學(xué)在上面的文章中也有合作，2018年之前他在伯克利攻讀博士學(xué)位，畢業(yè)后進(jìn)入Adobe工作。
這篇文章的通訊作者Alexei Efros，他曾是朱俊彥的導(dǎo)師，本文提到的CycleGAN正是出自朱俊彥博士之手。Alexei現(xiàn)在是加州大學(xué)伯克利分校計(jì)算機(jī)系教授，此前曾在CMU機(jī)器人學(xué)院任教9年。
傳送門(mén)
論文地址：https://arxiv.org/abs/1912.11035
源代碼：https://github.com/peterwang512/CNNDetection
