昨天，李榮浩又因?yàn)檠劬π∩蠠崴蚜恕?/p>

在名為 #特效都整不大李榮浩的眼睛# 的話題下面，有一個(gè)李榮浩楊丞琳二人結(jié)婚照的換臉視頻，只見(jiàn)換臉后的李榮浩眼睛完全變成了一條線，孫紅雷也轉(zhuǎn)發(fā)微博“五十步笑百步”：

這個(gè)特效太過(guò)分了，李先生，有人黑你！

對(duì)此，網(wǎng)友的評(píng)論清一色成了“哈哈哈哈哈”。

細(xì)心的人可能留意到了視頻里的抖音 APP logo。沒(méi)錯(cuò)！上面這個(gè)對(duì)小眼睛群體不怎么友好的功能正是抖音新上線的「變身漫畫(huà)」特效。

而在這樣的真人一鍵變身漫畫(huà)的效果背后，是生成式對(duì)抗網(wǎng)絡(luò) GAN（Generative Adversarial Networks）。 

一鍵打破次元壁

當(dāng)前，抖音「變身漫畫(huà)」特效榮登熱門挑戰(zhàn)榜的“本周實(shí)時(shí)榜”（2002 年 6 月 15-21 日）TOP 1，已有約 867.2 萬(wàn)用戶使用。

其中，不少明星拍了同款視頻，玩法也是五花八門。

比如陳赫拿出神似蒼蠅拍的“神秘鑰匙”解除二次元封印。

鄧紫棋擦玻璃換臉。

張藝興來(lái)一段 rap 的功夫已經(jīng)不知道用手勢(shì)在次元之間穿梭了多少回了。

進(jìn)入二次元后，明星們的發(fā)型、五官等細(xì)節(jié)“神還原”，同時(shí)還多了一絲俏皮靈動(dòng)。

不過(guò)，把真人變成漫畫(huà)畫(huà)風(fēng)并不稀奇了。近幾年特效拍照 APP 層出不窮，用戶想把圖片、視頻變成漫畫(huà)風(fēng)、古風(fēng)、手繪風(fēng)、油畫(huà)風(fēng)，甚至想換性別、變年齡，都不是問(wèn)題。

生成式對(duì)抗網(wǎng)絡(luò) GAN

提到換臉，就繞不開(kāi)一項(xiàng)技術(shù)——生成式對(duì)抗網(wǎng)絡(luò) GAN。 

雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))此前曾報(bào)道，GAN 作為一種深度學(xué)習(xí)模型，是機(jī)器學(xué)習(xí)中一個(gè)較新的概念，首次出現(xiàn)于 2014 年 10 月前谷歌大腦著名科學(xué)家 Ian Goodfellow 及其團(tuán)隊(duì)發(fā)表的論文《對(duì)抗式生成網(wǎng)絡(luò)》（Generative Adversarial Networks）中。

機(jī)器學(xué)習(xí)的模型分為生成模型（Generative Model）和判別模型（Discriminative Model）兩種，顧名思義，其各自的功能分別是根據(jù)數(shù)據(jù)集生成和判斷。

而 Ian Goodfellow 之所以能成為“GANs 之父”，就在于創(chuàng)造性地提出了一個(gè)通過(guò)對(duì)抗（Adversarial）估計(jì)生成模型的概念，同時(shí)訓(xùn)練生成模型和判別模型，讓二者進(jìn)行對(duì)抗，生成模型要盡可能地生成真實(shí)的圖片去欺騙判別模型，與此同時(shí)判別模型也要盡量把生成模型生成的圖片和原數(shù)據(jù)集區(qū)分開(kāi)。

這一過(guò)程就像游戲中的兩個(gè)玩家進(jìn)行 battle，一開(kāi)始兩臉懵逼，最后“真理越辯越明”。這種機(jī)器之間自發(fā)的相互學(xué)習(xí)，可以說(shuō)是非常智能了。

而 GAN 的種類也不少，其中最常見(jiàn)的比如說(shuō) Cycle GAN。

實(shí)際上，CycleGAN 是人臉轉(zhuǎn)換早期的一個(gè)重要嘗試，能從源轉(zhuǎn)換到目標(biāo)，也能進(jìn)行反向轉(zhuǎn)換，從而便捷地學(xué)習(xí)了兩個(gè)類別之間的轉(zhuǎn)換關(guān)系，也更好地保證了轉(zhuǎn)換后的圖像品質(zhì)。

如上圖所示，能把斑馬變成馬，那么即便是換個(gè)動(dòng)作，馬也能再次轉(zhuǎn)換成斑馬；同理，夏天能變冬天，換了場(chǎng)景后冬天也可以變回夏天。

雖然上文所說(shuō)的抖音動(dòng)漫風(fēng)換臉特效并未公開(kāi)具體的技術(shù)信息，但此前將人臉變?yōu)槁?huà)形象的嘗試的確用到了 CycleGAN，相關(guān)論文也在 2019 年 7 月登上了預(yù)印本平臺(tái) arXiv。

值得一提的是，這項(xiàng)研究利用的是所謂的 landmark assisted CycleGAN。

據(jù)論文介紹，這里的“landmark”不是我們經(jīng)常說(shuō)的“地標(biāo)”，而是指面部特征，所以我們可以將這種技術(shù)理解為 CycleGAN 特別版——「有人臉特征輔助的 CycleGAN」。

技術(shù)如何，還是看看效果（雷鋒網(wǎng)注：右二列為 CycleGAN 生成；右一列由有人臉特征輔助的 CycleGAN 生成）。

現(xiàn)實(shí)中的美女變成了二次元小蘿莉。

型男生成的漫畫(huà)形象看上去也不錯(cuò)。

此外，也有研究團(tuán)隊(duì)曾基于 GAN，利用面部特征，將低分辨率圖像轉(zhuǎn)換為高分辨率圖像。感覺(jué)多年的老近視被治好了！

看到這里是不是想感嘆一句真神奇？

其實(shí)還有更神奇的，比如大變活人。

這是西班牙一家互聯(lián)網(wǎng)國(guó)際象棋棋盤制造商 REGIUM 網(wǎng)站上的員工個(gè)人信息頁(yè)面，看上去似乎并沒(méi)有什么異常。但實(shí)際上，框出來(lái)的四位工程師都是“假人”，現(xiàn)實(shí)生活中并不存在。

雷鋒網(wǎng)了解到，這些“人造人”來(lái)自國(guó)外一個(gè)造臉網(wǎng)站 this person does not exist.com，而這些照片也都是基于 GAN。

不過(guò)，隨著換臉技術(shù)出現(xiàn)的還有諸多問(wèn)題——比如曾經(jīng)一夜爆火、三天涼涼的 ZAO APP 和在全世界范圍內(nèi)臭名昭著的 Deepfake，都引起了各界的擔(dān)憂。

怎樣合理地利用這類換臉技術(shù)，是個(gè)需要思考的問(wèn)題。