生成“貓狗版”特朗普，造假臉工具StarGANv2被玩壞，算法已開源
本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
如果你想用AI把特朗普的臉變成貓，又或者是把自己的臉與漂亮的奧妹結(jié)合起來，你會怎么辦？
也許你會想到兩樣AI工具。但是Deepfake生成人臉違和感太強(qiáng)，GAN生成假臉又很難深度定制。
現(xiàn)在來自韓國團(tuán)隊開發(fā)的風(fēng)格遷移模型StarGANv2可以完美解決這個問題。
如果你是一個對GAN長期關(guān)注的同學(xué)，那么一定還記得StarGAN，它是韓國高麗大學(xué)和Clova AI研究院在2017年底推出的風(fēng)格遷移模型。
只需輸入一張大頭照，StarGAN就能讓你知道自己改變發(fā)型、性別、年齡后分別長啥樣。
而StarGANv2正是同一研究團(tuán)隊推出的升級版本，已經(jīng)被CVPR 2020收錄。最近他們在GitHub上公布了官方實現(xiàn)代碼，很快就被網(wǎng)友玩壞了。
StarGANv2有兩個訓(xùn)練數(shù)據(jù)集，一個針對人臉，一個針對動物臉。
兩者本來是“井水不犯河水”，但是有人偏偏要混用，拿特朗普的臉輸入到動物臉預(yù)訓(xùn)練模型里。結(jié)果川普的臉轉(zhuǎn)換成貓就成了這樣：
與狗臉合成又成了這樣，模型甚至給狗穿上了西服。
安裝使用
這么有趣的模型，如何安裝呢？好在StarGANv2的開發(fā)團(tuán)隊提供了完整的代碼和預(yù)訓(xùn)練模型。
先將項目克隆到本地：
- git clone https://github.com/clovaai/stargan-v2.git
- cd stargan-v2/
安裝依賴項：
- conda create -n stargan-v2 python=3.6.7
- conda activate stargan-v2
- conda install -y pytorch=1.4.0 torchvision=0.5.0 cudatoolkit=10.0 -c pytorch
- conda install x264==’1!152.20180717’ ffmpeg=4.0.2 -c conda-forge
- pip install opencv-python==4.1.2.30 ffmpeg-python==0.2.0 scikit-image==0.16.2
- pip install pillow==7.0.0 scipy==1.2.1 tqdm==4.43.0 munch==2.5.0
然后下載預(yù)訓(xùn)練數(shù)據(jù)集，其中前兩項是人臉數(shù)據(jù)集和預(yù)訓(xùn)練模型，后一項是動物臉。
- bash download.sh pretrained-network-celeba-hq
- bash download.sh wing
- bash download.sh pretrained-network-afhq
最后將需要轉(zhuǎn)換的照片裁切成和數(shù)據(jù)集圖片一樣的長寬比，輸入以下命令轉(zhuǎn)換圖片。
- python main.py —mode sample —num_domains 2 —resume_iter 100000 —w_hpf 1 \
- —checkpoint_dir expr/checkpoints/celeba_hq \
- —result_dir expr/results/celeba_hq \
- —src_dir assets/representative/celeba_hq/src \
- —ref_dir assets/representative/celeba_hq/ref
效果遠(yuǎn)超其他GAN
StarGANv2由四個模塊組成：
- 生成器將輸入圖像轉(zhuǎn)換為反映特定域風(fēng)格編碼的輸出圖像；
- 映射網(wǎng)絡(luò)將潛在代碼轉(zhuǎn)換為訓(xùn)練中隨機(jī)選擇的多個域的風(fēng)格編碼；
- 風(fēng)格編碼器提取圖像的風(fēng)格編碼，允許生成器執(zhí)行參照物引導(dǎo)的圖像合成；
- 鑒別器從多個域中區(qū)分真實圖像和虛假圖像。
作者隨機(jī)選取了10張圖像進(jìn)行風(fēng)格遷移的實驗，結(jié)果FID遠(yuǎn)遠(yuǎn)小于其他同類模型。
他們還把四種模型生成的圖像上傳到AMT平臺，交給人工評選，絕大部分測試者都認(rèn)為StarGANv2生成的圖片更優(yōu)質(zhì)。
從人工評選的結(jié)果也可以看出，StarGANv2在生成動物臉上的效果更好，難怪網(wǎng)友要拿動物模型來改造特朗普頭像了。
傳送門
論文地址：https://arxiv.org/abs/1912.01865v2
官方實現(xiàn)代碼：https://github.com/clovaai/stargan-v2
