拯救單身狗：這個(gè)對(duì)象生成器幫你看看未來對(duì)象長(zhǎng)啥樣
不知道自己未來的老婆 or 老公長(zhǎng)什么樣？來，我們先用 AI 預(yù)測(cè)出一個(gè)。
單身多年的你，是否曾幻想另一半的模樣？最近，有這樣一個(gè)開源項(xiàng)目在深度學(xué)習(xí)社區(qū)火了起來——通過神經(jīng)網(wǎng)絡(luò)生成你另一半的相貌。想知道自己會(huì)和什么樣的人在一起嗎？已有網(wǎng)友嘗試了生成效果。
項(xiàng)目地址：https://github.com/irfanICMLL/CoupleGenerator
作者自己介紹，這是一個(gè)自 2017 年便開源了的項(xiàng)目，當(dāng)時(shí)使用的是 TensorFlow，不過最近項(xiàng)目有更新到GitHub。
得到對(duì)象只需 8800 步訓(xùn)練
項(xiàng)目使用了一百多位新婚夫婦的結(jié)婚照片，圖像是通過爬蟲從百度上爬取下來的。
這些結(jié)婚照都有著統(tǒng)一的模板：喜慶而單一的紅色背景，清晰的人臉和五官，對(duì)模型訓(xùn)練比較友好和方便。
訓(xùn)練樣本之一。爬取方法：https://blog.csdn.net/qq_27879381/article/details/65015280#comments
在模型構(gòu)建和訓(xùn)練上，項(xiàng)目采用了 VGG 作為骨架網(wǎng)絡(luò)學(xué)習(xí)圖像特征。VGG 是一種常見的神經(jīng)網(wǎng)絡(luò)架構(gòu)，發(fā)布于 2014 年，作者是 Karen Simonyan 和 Andrew Zisserman，該網(wǎng)絡(luò)表明堆疊多個(gè)層是提升計(jì)算機(jī)視覺性能的關(guān)鍵因素。VGGNet 包含 16 或 19 層，主要由小型的 3×3 卷積操作和 2×2 池化操作組成。
VGG 的優(yōu)點(diǎn)在于，堆疊多個(gè)小的卷積核而不使用池化操作可以增加網(wǎng)絡(luò)的表征深度，同時(shí)限制參數(shù)的數(shù)量。例如，通過堆疊 3 個(gè) 3×3 卷積層而不是使用單個(gè)的 7×7 層，可以克服一些限制。
首先，這樣做組合了三個(gè)非線性函數(shù)，而不只是一個(gè)，使得決策函數(shù)更有判別力和表征能力。第二，參數(shù)量減少了 81%，而感受野保持不變。另外，小卷積核的使用也扮演了正則化器的角色，并提高了不同卷積核的有效性。
在生成結(jié)果的過程中，模型使用 pix2pix 的方式。Pix2pix 是一種基于 GAN 架構(gòu)的風(fēng)格轉(zhuǎn)換模型，來自論文《Image-to-Image Translation with Conditional Adversarial NetWorks》，作者包括朱俊彥等，論文在 CVPR 2017 發(fā)表后，已有多種框架的實(shí)現(xiàn)。
Pix2pix 使用成對(duì)的圖片數(shù)據(jù)，學(xué)習(xí)從一個(gè)圖像到另一個(gè)圖像的轉(zhuǎn)換方式，并生成能夠以假亂真的圖像。
使用 pix2pix 實(shí)現(xiàn)不同風(fēng)格和用途圖像的互相轉(zhuǎn)換。
在 Pix2pix 中，生成器采用 encoder-decoder 或 U-Net 的架構(gòu)。
兩種 Pix2pix 的生成器架構(gòu)。
那么，應(yīng)該怎么使用這個(gè)項(xiàng)目呢？
使用方法
在項(xiàng)目中，作者提供了一些內(nèi)容，包括：
- CKPT 模型文件：
https://cloudstor.aarnet.edu.au/plus/s/YHDWgez1g3RFc6o
- VGG 權(quán)重文件：
https://github.com/machrisaa/tensorflow-vgg
- 訓(xùn)練數(shù)據(jù)：
https://cloudstor.aarnet.edu.au/plus/s/VWZJaWfbla3kFch
在使用的過程中，你需要下載 VGG 權(quán)重文件和訓(xùn)練數(shù)據(jù)，下載代碼到運(yùn)行環(huán)境中并運(yùn)行 autotest.sh 文件。
效果
在訓(xùn)練 8800 步后，模型對(duì)給定的圖片提供了生成結(jié)果，如下所示：
考慮到訓(xùn)練數(shù)據(jù)并不算多，生成圖像的質(zhì)量還有提高的空間。此外我們可以注意到，模型也學(xué)習(xí)了一些有趣的特征，比如右上角原始圖像中有結(jié)婚證，則生成的圖像中也保留了結(jié)婚證這一要素。
項(xiàng)目作者介紹
這個(gè)項(xiàng)目的作者是一位非常漂亮的小姐姐，目前在澳大利亞阿德萊德大學(xué)攻讀計(jì)算機(jī)科學(xué)博士學(xué)位，師從沈春華教授。
Yifan Liu。
Liu 同學(xué)本科和碩士就讀于北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院，曾獲得 2016 年北京市優(yōu)秀畢業(yè)生。在 2018 年 11 月進(jìn)入阿德萊德大學(xué)攻讀博士學(xué)位之前，她曾是微軟亞研高級(jí)研究員、2018 年 ACM 杰出會(huì)員王井東教授的訪問學(xué)生。
Liu 的主要研究方向是神經(jīng)計(jì)算、模式識(shí)別等領(lǐng)域，包括圖像語義分割等。在學(xué)術(shù)研究方面，2017 至 2019 年，她作為一作或其他作者的多篇論文被 CVPR、ICCV、PAKDD、IEA/AIE、PACLING 等國(guó)際學(xué)術(shù)會(huì)議接收，有一些為 Oral 論文。
這是她的個(gè)人主頁：https://irfanicmll.github.io/
實(shí)測(cè)效果怎么樣
為了試一試項(xiàng)目的效果，我們也下載了項(xiàng)目的預(yù)訓(xùn)練權(quán)重（迭代 8800 次）以及 VGG16 的預(yù)訓(xùn)練權(quán)重。因?yàn)閿?shù)據(jù)集非常小，我們先用項(xiàng)目中的數(shù)據(jù)試一試效果。如下所示我們用項(xiàng)目 datasets 目錄下的圖像做測(cè)試，其中左側(cè)為兩組輸入圖像，右側(cè)為輸出圖像。從生成結(jié)果來看，不論性別，另一半的相貌總是能夠被生成出來的，還進(jìn)行了一點(diǎn)磨皮。
如果我們只給一張人像呢？現(xiàn)在看起來，模型的生成規(guī)則是輸出輸入圖像中左側(cè)的人像，如果只輸入一張人像的效果可能會(huì)變差。為了驗(yàn)證這個(gè)想法，我們將上述兩張圖都截成一個(gè)單一人像并輸入模型。正如所料，現(xiàn)在生成效果不太好。如下所示左側(cè)為兩組輸入樣本，右側(cè)為輸出效果。
如果數(shù)據(jù)不從測(cè)試數(shù)據(jù)集中獲得呢？在默認(rèn)輸入規(guī)則為夫妻合照的情況下，我們?cè)俅芜M(jìn)行了新的嘗試。通過輸入不在數(shù)據(jù)集中的夫妻人像樣本，并檢查模型的生成效果。如下圖所示，左側(cè)為輸入圖像，右側(cè)為輸出結(jié)果，生成的圖像較難識(shí)別。夫妻圖像來自網(wǎng)絡(luò)搜索結(jié)果。
誠(chéng)然，利用現(xiàn)有數(shù)據(jù)預(yù)測(cè)未來對(duì)象的相貌這種想法是很不錯(cuò)的，但是由于數(shù)據(jù)量太小，模型的泛化能力還沒有達(dá)到應(yīng)有的要求?？偟膩碚f，單身狗還不能光靠這個(gè)生成一張自己對(duì)象的照片。
項(xiàng)目作者也表示，數(shù)據(jù)量比較少，效果也不太好，但是依然歡迎大家使用代碼和數(shù)據(jù)進(jìn)行進(jìn)一步的訓(xùn)練，我們也會(huì)進(jìn)一步關(guān)注項(xiàng)目的進(jìn)展。
