本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

畫畫新手們，如何才能畫出一副像樣的手繪肖像？

除了假以時(shí)日的練習(xí)，或許也可以借助下面這款工具！

首先，你只需畫出人臉輪廓圖，例如下面這樣：

然后，計(jì)算機(jī)就能向你提示肖像整體結(jié)構(gòu)的線條，供你參考：

接著，再給出人臉細(xì)節(jié)的提示線條：

最終，你就能畫出這樣一幅作品了：

是不是比新手徒手一張白紙要強(qiáng)很多？

兩步引導(dǎo)教你畫肖像

這款工具叫做dualFace。

它之所以能輔助繪畫新手和普通用戶畫出像樣的肖像畫，是因?yàn)榭梢愿鶕?jù)你的初始線條

給出人像全局框架和局部細(xì)節(jié)的素描線條。

你只需照著它來，沒有經(jīng)過繪畫培訓(xùn)的“手殘黨”也可以完成！

在全局引導(dǎo)階段，dualFace根據(jù)你繪制的大概輪廓，就能從內(nèi)部數(shù)據(jù)庫中搜索出若干相

關(guān)人像，并在畫布背景上顯示建議的人臉輪廓線。

在局部引導(dǎo)階段，dualFace利用全局指導(dǎo)繪制的輪廓線，用深度生成模型合成人臉圖

像，然后將合成結(jié)果的細(xì)節(jié)（眼睛、鼻子、嘴等）作為輔助線條給出來。

請(qǐng)注意，在全局階段，人像是數(shù)據(jù)庫中真實(shí)的人像。而局部階段，是合成的虛擬人像。

為什么兩階段不用同一種人像呢？

這樣做是為了讓計(jì)算機(jī)給出的指導(dǎo)更具多樣性！畢竟數(shù)據(jù)庫里的人都是有限的，使用生

成模型可以在細(xì)節(jié)區(qū)分出更多的肖像。

另外dualFace具有切換功能，用戶可以選擇最合理的局部指導(dǎo)；

如果用戶認(rèn)為局部指導(dǎo)不符合他們的想象，也可以通過點(diǎn)擊按鈕來使繪制過程返回到全

局階段。

下面就來說說這兩個(gè)階段具體如何操作的：

全局引導(dǎo)

全局引導(dǎo)階段分為三步：數(shù)據(jù)生成，輪廓匹配和交互式指導(dǎo)。

數(shù)據(jù)生成就是把數(shù)據(jù)庫中的人臉圖像轉(zhuǎn)換成人臉輪廓。

他們使用雙向分割網(wǎng)絡(luò)（BiSeNet）來生成人臉原圖的語義標(biāo)簽蒙層（mask）。再從這

個(gè)語義標(biāo)簽蒙層中提取人臉輪廓。蒙層中的每個(gè)像素（eg. 眼睛、鼻子和嘴巴）都有來

自原圖的面部標(biāo)簽ID（為了方便后面的搜索）。

另外，輪廓圖像與相應(yīng)的原始人臉圖像一起存儲(chǔ)。

輪廓匹配步驟，通過計(jì)算用戶畫的輪廓與數(shù)據(jù)庫中存儲(chǔ)的輪廓圖像的相似度，得到最接

近的輪廓圖像。使用了GALIF(Gabor Local Line-based Feature, 基于局部線條的Gabo

r特征描述符)進(jìn)行草圖檢索和局部形狀匹配。

交互式指導(dǎo)步驟根據(jù)用戶不斷更新的筆劃實(shí)時(shí)檢索出最相似的“候選對(duì)象”，并將其轉(zhuǎn)換

成陰影圖。

局部引導(dǎo)

提供了整體結(jié)構(gòu)圖后，系統(tǒng)就開始提供細(xì)節(jié)線條了。

局部引導(dǎo)階段包括兩個(gè)步驟：蒙層（mask）生成和肖像草圖生成。

蒙層生成步驟，利用全局階段中的用戶所繪，和在全局階段-數(shù)據(jù)生成部分生成的數(shù)據(jù)

庫人臉蒙層，系統(tǒng)可以生成最終蒙層，如下圖。

肖像草圖生成步驟，采用MaskGAN生成與上一階段匹配的“真人”肖像，并采用APdrawi

ngGAN將肖像圖轉(zhuǎn)為素描圖。

其中，由于這兩個(gè)生成模型是獨(dú)立訓(xùn)練的，為了連接它倆，該步驟還使用梯度提升決策

樹（GBDT）來計(jì)算人臉標(biāo)志點(diǎn)，并將合并后的蒙層轉(zhuǎn)換成二進(jìn)制背景輪廓。

此階段可以生成多幅詳細(xì)的人像素描，用戶可以選擇最需要的一個(gè)作為后續(xù)繪制的參

考。且用戶一開始畫的輪廓圖不全也沒關(guān)系，缺少的部分可以通過“筆劃—蒙層映射優(yōu)

化”自動(dòng)完成。

以上就是兩個(gè)階段引導(dǎo)的具體實(shí)現(xiàn)過程。

接下來，他們進(jìn)行了用戶研究，以定性的方式驗(yàn)證該工具的效果。

無法正確識(shí)別抽象的輸入

dualFace是在windows10平臺(tái)上用Python編寫的一個(gè)實(shí)時(shí)繪圖程序。

全局指導(dǎo)階段，每次釋放鼠標(biāo)后平均需要0.36 s來檢索圖像，而在局部指導(dǎo)中每生成一

幅肖像圖像需要2.78 s。

下面是試驗(yàn)者從全局和局部以及整體使用感受上的問卷調(diào)查結(jié)果，滿分5分，平均分都

在3.9以上。

從整體用戶體驗(yàn)來看，所有參與者都認(rèn)為該工具可以幫助他們更好地繪制肖像。

而和其他繪圖工具相比，dualFace在空間關(guān)系和面部細(xì)節(jié)的繪圖評(píng)價(jià)上取得了較高的成

績，平均分分別為4.5分和4.32分。

因此，dualFace可以引導(dǎo)用戶通過正確的面部空間關(guān)系和詳細(xì)的面部特征來獲得更好的

肖像畫，而其他繪圖程序可能無法提供這些信息。

此外，下圖最右顯示，使用dualFace畫畫最短花費(fèi)4分15秒，最長17分15秒，平均花費(fèi)

在10分鐘左右。雖然用戶的繪畫技巧可能不同，但是花費(fèi)更多時(shí)間必然會(huì)導(dǎo)致更好的繪

圖結(jié)果。

下面是試驗(yàn)者的畫畫成果：

可以看出，系統(tǒng)給出的指導(dǎo)圖的水平都差不多，但最終結(jié)果還是有點(diǎn)受限于用戶的實(shí)際

畫畫水平的

不過正如前面所說的，最后一組只畫了眉毛和眼睛，系統(tǒng)也不會(huì)受到限制，也可以給出

完整的指導(dǎo)圖。

當(dāng)然，他們這個(gè)方法也有局限性：抽象的草圖可能無法轉(zhuǎn)換為合理的人臉mask。

例如，下圖中用戶畫的輪廓中的嘴被錯(cuò)誤地視為了鼻子的一部分，這就導(dǎo)致后面一系列

圖的鼻子都不對(duì)勁。

這是因?yàn)槿四様?shù)據(jù)庫中都是真實(shí)的照片，dualFace只能支持繪制具有真實(shí)風(fēng)格的人像。

所以，表情、夸張卡通造型等高層次的語義素描用它都很難實(shí)現(xiàn)。

作者介紹

此項(xiàng)目研究人員來自日本北陸先端科學(xué)技術(shù)大學(xué)院大學(xué)和東京大學(xué)。

前者是于1990年設(shè)立的研究院性質(zhì)的日本國立大學(xué)，擁有多個(gè)日本重點(diǎn)扶持學(xué)科，科研

水平比肩東大、京大，在信息科學(xué)領(lǐng)域的研究極其頂尖。

7名研究成員中4位為華人，其中包括論文一二作。

試玩可戳GitHub地址下載：

https://github.com/shasph/dualFace

論文地址：

https://www.arxiv-vanity.com/papers/2104.12297/