譯者 | 崔皓
審校 | 孫淑娟
開篇
來自于中、英兩國的一項合作研究設(shè)計出了一種在視頻中重塑面孔的新方法。該技術(shù)可以擴大和縮小面部結(jié)構(gòu)，同時還具有高度一致性，并且沒有人工修剪的痕跡。
一般而言，這種面部結(jié)構(gòu)的轉(zhuǎn)化通過傳統(tǒng)的 CGI 方法來實現(xiàn)，而傳統(tǒng)的 CGI 方法依托詳細(xì)且昂貴的運動封蓋、裝配和紋理程序來完全重建面部。
與傳統(tǒng)方式不同的是，新技術(shù)中的 CGI 被集成到神經(jīng)管道中，將其作為3D 面部信息的參數(shù)，并作為機器學(xué)習(xí)工作流程的基礎(chǔ)。
作者指出：
“我們的目標(biāo)是以現(xiàn)實世界中的自然人臉為基礎(chǔ)，對其人臉輪廓進行變形、編輯等操作，從而生成高質(zhì)量的人像重塑視頻 [結(jié)果]。這一技術(shù)可以用于諸如美化面部和面部夸張的視覺效果應(yīng)用。
盡管自從 Photoshop 出現(xiàn)以來，消費者就可以使用 2D 面部扭曲的技術(shù)(并且導(dǎo)致了面部扭曲和身體畸形的亞文化)，但在不使用 CGI 的情況下實現(xiàn)視頻的面部重塑依舊是一個很難的技術(shù)。
馬克扎克伯格的面部尺寸因新技術(shù)而擴大和縮小
目前，身體重塑是計算機視覺領(lǐng)域的一個熱門話題，主要是因為它在時尚電子商務(wù)中的潛力，例如：讓人看起來更高、骨骼更加多樣化，但目前依舊面臨一些挑戰(zhàn)。
同樣，以令人信服的方式改變視頻中的面部形狀一直是研究人員工作的核心，盡管該項技術(shù)的落地一直受到人為加工和其他限制的影響。由此，新產(chǎn)品將先前研究的能力從靜態(tài)擴展遷移到了動態(tài)的視頻輸出。
新系統(tǒng)在配備 AMD Ryzen 9 3950X 和 32GB 內(nèi)存的臺式 PC 上進行訓(xùn)練，并使用OpenCV的光流算法生成運動圖，并通過StructureFlow框架進行平滑處理;用于特征估算的Facial Alignment Network ( FAN ) 組件，也用于流行的deepfakes組件包中;和Ceres Solver共同解決面部優(yōu)化問題。
使用新系統(tǒng)擴大面部的例子
這篇論文的題目是Parametric Reshaping of Portraits in Videos，其作者來自浙江大學(xué)的三位研究人員和巴斯大學(xué)的一位研究人員。
關(guān)于臉
新系統(tǒng)中，視頻被提取成圖像序列，首先為人臉建立基礎(chǔ)模型。然后連接具有代表性的后續(xù)幀，從而沿著整個圖像運行方向(即視頻幀的方向)構(gòu)建一致的個性參數(shù)。
人臉變形系統(tǒng)的架構(gòu)流程
接著，根據(jù)計算表達式，產(chǎn)生由線性回歸實現(xiàn)的整形參數(shù)。然后通過signed distance function有符號距離函數(shù) ( SDF )在面部重塑前后構(gòu)建面部輪廓的2D 映射。
最后，對輸出視頻進行內(nèi)容識別的變形優(yōu)化。
面部參數(shù)化
該過程利用了 3D Morphable Face Model 可變形人臉模型(3DMM)，它是基于神經(jīng)和 GAN 的人臉合成輔助工具，同時適用于深度偽造檢測系統(tǒng)。
來自 3D Morphable face Model (3DMM) 的示例——新項目中使用的參數(shù)化原型面。左上角，3DMM 面上的標(biāo)志性應(yīng)用。右上角，isomap 的 3D 網(wǎng)格頂點。左下角顯示特征擬合;底部靠中間的圖片，提取的面部紋理的 isomap;和右下角，最終的擬合和形狀
新系統(tǒng)的工作流程會考慮遮擋的情況，例如當(dāng)對象移開視線的情況。這也是 Deepfake 軟件面臨的最大挑戰(zhàn)之一，因為 FAN 地標(biāo)幾乎無法解釋這些情況，并且隨著面部避開或被遮擋，其轉(zhuǎn)換質(zhì)量往往會下降。
新系統(tǒng)通過定義匹配 3D 人臉 (3DMM) 和 2D 人臉(由 FAN 地標(biāo)定義)邊界的“輪廓能量”來避免上述問題的發(fā)生。
優(yōu)化
該系統(tǒng)的應(yīng)用場景是實時變形，例如在視頻聊天的過濾器實時變換臉形。當(dāng)前而言，框架無法實現(xiàn)這點，因此提供必要的計算資源讓“實時”變形實現(xiàn)，就成為了一個顯著的挑戰(zhàn)。
根據(jù)論文的假設(shè)，24fps的視頻在流水線中每幀操作相對于每秒素材的延遲為 16.344 秒，同時對于特征估計和 3D 面部變形而言，還伴隨一次性命中(分別為 321 毫秒和 160 毫秒)。
因此，優(yōu)化在降低延遲方面取得了關(guān)鍵進展。由于跨所有幀的聯(lián)合優(yōu)化會大幅增加系統(tǒng)開銷，并且初始化風(fēng)格的優(yōu)化(假設(shè)自始至終說話者的特征一致)可能會導(dǎo)致異常，因此作者采用了稀疏模式來計算系數(shù)以實際間隔采樣的幀數(shù)。
然后在該幀子集上執(zhí)行聯(lián)合優(yōu)化，從而實現(xiàn)更精簡的重建過程。
臉部曲面
該項目中使用的變形技術(shù)是對作者 2020 年作品Deep Shapely Portraits (DSP) 的改編。
Deep Shapely Portraits，2020 年提交給 ACM Multimedia 的作品。該論文由浙大-騰訊游戲與智能圖形創(chuàng)新技術(shù)聯(lián)合實驗室的研究人員牽頭
作者觀察到“我們將這種方法從重塑單目圖像擴展到重塑整個圖像序列?！?/p>
測試
該論文指出，沒有具有可比性的歷史資料來評估新方法。因此，作者將他們的曲面視頻輸出幀與靜態(tài) DSP 輸出進行了比較。
針對來自 Deep Shapely Portraits 的靜態(tài)圖像測試新系統(tǒng)
作者指出，由于使用了稀疏映射，DSP 方法會有人為修改的痕跡——新框架通過密集映射解決了這個問題。此外，該論文認(rèn)為，DSP 制作的視頻缺乏流暢性和視覺連貫性。
作者指出：
“結(jié)果表明，我們的方法可以穩(wěn)定、連貫地生成經(jīng)過重塑的肖像視頻，而基于圖像的方法很容易導(dǎo)致明顯的閃爍偽影(人工修改痕跡)?！?/p>
譯者介紹
崔皓，51CTO社區(qū)編輯，資深架構(gòu)師，擁有18年的軟件開發(fā)和架構(gòu)經(jīng)驗，10年分布式架構(gòu)經(jīng)驗。曾任惠普技術(shù)專家。樂于分享，撰寫了很多熱門技術(shù)文章，閱讀量超過60萬?！斗植际郊軜?gòu)原理與實踐》作者。
原文標(biāo)題：??Restructuring Faces in Videos With Machine Learning??，作者：Martin Anderson
