今年，人臉視頻特效在全球又大火特火了一把。年初的「螞蟻牙黑」（人臉唱歌），還有不久前讓老照片動(dòng)起來的特效，效果都十分驚艷。

風(fēng)格遷移一直是圖像領(lǐng)域的熱門方向。那么在視頻上做實(shí)時(shí)人臉畫風(fēng)遷移效果怎么樣呢？

是這樣的：

當(dāng)然，視頻畫風(fēng)遷移并不是什么新鮮技術(shù)了。但這項(xiàng)研究最大的特點(diǎn)在于：移動(dòng)端、實(shí)時(shí)，由布拉格捷克理工大學(xué)和 Snap 公司的研究者聯(lián)合完成。目前已經(jīng)放出了完整論文，相關(guān)代碼將于下月發(fā)布。

項(xiàng)目地址：https://ondrejtexler.github.io/faceblit/

論文地址：https://ondrejtexler.github.io/res/faceblit-paper.pdf

具體而言，研究者提出了一種基于實(shí)例的實(shí)時(shí)視頻人臉風(fēng)格遷移框架 FaceBlit，該框架通過語(yǔ)義上有意義的方式保留了風(fēng)格的紋理細(xì)節(jié)，也就是說，用于描繪特定風(fēng)格特征的筆畫出現(xiàn)在目標(biāo)圖像的適當(dāng)位置。

與以往風(fēng)格遷移方法相比，該框架不僅保留了目標(biāo)對(duì)象（target subject）的身份，而且不需要大型數(shù)據(jù)集和冗長(zhǎng)訓(xùn)練周期即可實(shí)現(xiàn)實(shí)時(shí)運(yùn)行。

為此，研究者修改了 Fišer 等人（2017 年）的人臉風(fēng)格化 pipeline，這樣快速生成一組指引通道（guiding channel），不僅可以保留了目標(biāo)對(duì)象的身份，還兼容 Sýkora 等人（2019 年）的基于 patch 合成算法的速度更快變體。

得益于這些方法上的改進(jìn)，研究者創(chuàng)建了首個(gè)即使在移動(dòng)端，也可以將單個(gè)肖像的藝術(shù)風(fēng)格實(shí)時(shí)遷移至目標(biāo)視頻中人臉的系統(tǒng)框架。

完整生成效果詳見以下視頻：

實(shí)時(shí)視頻人臉風(fēng)格遷移方法介紹

該研究方法的輸入是人臉的風(fēng)格范例圖像𝑆以及目標(biāo)人臉視頻序列 T。研究假設(shè)臉部表情的改變以及移動(dòng)都是基于受試者注視攝像頭，并且不被其他物體遮擋。該研究的輸出是一個(gè)風(fēng)格化的序列𝑂，它保留了𝑆的重要藝術(shù)特征，同時(shí)保留了目標(biāo)主體的身份。盡管已經(jīng)可以使用 Fišer 等人 [2017] 的方法產(chǎn)生這種輸出，但這里的一個(gè)主要缺點(diǎn)是，他們的方法僅適用于離線處理。

為了實(shí)現(xiàn)實(shí)時(shí)性能，研究者需要改變計(jì)算指引通道的方式，并用 Sýkora 等人 [2019] 提出的更快的變體取代 Fišer 等人 [2016] 的基于緩慢 patch 的合成算法。

在 Fišer 等人提出的方法中，四個(gè)指引通道用于驅(qū)動(dòng)合成。分割指引𝐺_seg，通過將面部細(xì)分為一組區(qū)域（頭發(fā)、眉毛、鼻子、嘴唇、口腔、眼睛和皮膚）來描繪重要的面部特征；位置指引（positional guide）𝐺_pos，對(duì)源面部和目標(biāo)面部之間的空間對(duì)應(yīng)關(guān)系進(jìn)行編碼。這兩個(gè)通道確保語(yǔ)義上有意義的遷移。

為了保持目標(biāo)對(duì)象的身份特征，F(xiàn)išer 等人采用了一種外觀指引（appearance guide）𝐺_app 方法，通過使用 Shih 等人的攝影風(fēng)格遷移方法使源圖像和目標(biāo)圖像的外觀均衡，從而減少了源圖像和目標(biāo)圖像之間的域間隙。最后，時(shí)間指引𝐺_temp 來執(zhí)行時(shí)間一致性，而𝐺_temp 由風(fēng)格化幀的運(yùn)動(dòng) - 補(bǔ)償版本表示。

由于上述指引通道的計(jì)算需要幾十秒的時(shí)間，因此在實(shí)時(shí)場(chǎng)景下使用它們是不容易處理的。相反，該研究將四通道簡(jiǎn)化為兩個(gè)基本的通道𝐺_pos 和 𝐺_app（圖 2 所示），改變底層生成算法，將準(zhǔn)備時(shí)間減少到幾十毫秒。最后，該研究演示了如何將這兩個(gè)新的指引通道融入到 Sýkora 等人 [2019] 的快速合成算法中。

優(yōu)勢(shì)

研究者表示，與其他風(fēng)格遷移方法相比，生成效果如此好的關(guān)鍵在于三個(gè)方面：位置指引、外觀指引和直方圖匹配。下圖為有無(wú)位置和外觀指引的生成效果圖對(duì)比，可以看到在無(wú)位置指引或外觀指引的情況下，生成的動(dòng)態(tài)效果圖都不同程度地存在著瑕疵：

此外，在生成目標(biāo)外觀指引 G^T_app 時(shí)，直方圖匹配也非常重要。從技術(shù)上來看，如果不匹配外觀指引的直方圖，則誤差 E 會(huì)很快超過閾值 t，這會(huì)導(dǎo)致 chunk 明顯變小，結(jié)果看起來可能會(huì)變得模糊。如下圖 8a 所示，無(wú)直方圖匹配時(shí)，目標(biāo)對(duì)象的身份無(wú)法很好地保留，生成效果比較模糊；而如圖 8b 所示，在進(jìn)行直方圖均衡化之后，生成效果有了明顯改善，更清晰了。

有無(wú)直方圖匹配的動(dòng)態(tài)生成效果對(duì)比如下：

最后，研究者使用一種混合方法，使得目標(biāo)肖像畫栩栩如生，「復(fù)刻」視頻中人臉的各種表情神態(tài)。

神奇的一幕出現(xiàn)了，古雕像畫「活了」：