想要個(gè)性化設(shè)計(jì)高真實(shí)感的三維立體人臉，卻發(fā)現(xiàn)自己并不熟悉專(zhuān)業(yè)的設(shè)計(jì)軟件？三維人臉編輯方法 NeRFFaceEditing 提供了新的解決方案，即使不會(huì)三維建模，也能自由編輯高真實(shí)感的立體人臉，建模元宇宙中的個(gè)性化數(shù)字肖像！ 

NeRFFaceEditing 由中科院計(jì)算所和香港城市大學(xué)的研究人員合作完成，相關(guān)技術(shù)論文在計(jì)算機(jī)圖形學(xué)頂級(jí)會(huì)議 ACM SIGGRAPH Asia 2022 上發(fā)表。

項(xiàng)目主頁(yè)：http://geometrylearning.com/NeRFFaceEditing/

NeRFFaceEditing 將二維的語(yǔ)義掩碼作為三維幾何編輯的橋梁，用戶(hù)在一個(gè)視角下進(jìn)行的語(yǔ)義編輯可以傳播到整個(gè)三維人臉的幾何，并保持材質(zhì)不變。進(jìn)一步，給定表示參考風(fēng)格的圖像，用戶(hù)可以輕松的更改整個(gè)三維人臉的材質(zhì)風(fēng)格，并保持幾何不變。

基于該方法的三維人臉編輯系統(tǒng)，即使用戶(hù)不熟悉專(zhuān)業(yè)的三維設(shè)計(jì)，也可以輕松進(jìn)行個(gè)性化的人臉設(shè)計(jì)，自定義人臉形狀和外觀。先來(lái)看兩個(gè)使用 NeRFFaceEditing 的驚艷效果！

?圖 1 幾何編輯效果：二維語(yǔ)義掩碼上的編輯傳播到整個(gè)三維幾何空間

圖 2 風(fēng)格遷移效果：將給定風(fēng)格作用到整個(gè)人臉三維空間上而保持幾何不變

Part I 背景

近些年，隨著神經(jīng)輻射場(chǎng) [1] 與對(duì)抗式生成網(wǎng)絡(luò) [2] 的結(jié)合，各種高質(zhì)量、快速渲染的三維人臉生成網(wǎng)絡(luò)被提出，其中包括 EG3D [3]。

圖 3 EG3D 的不同視角的生成效果與幾何表示

該方法的三平面表示結(jié)合了傳統(tǒng)的二維生成對(duì)抗網(wǎng)絡(luò)和最新的三維隱式表征，因此繼承了 StyleGAN [4] 的強(qiáng)大生成能力和神經(jīng)輻射場(chǎng)的表征能力。但是，這些生成模型并不能對(duì)人臉的幾何和材質(zhì)進(jìn)行解耦控制，而解耦控制幾何和材質(zhì)是三維角色設(shè)計(jì)等應(yīng)用不可或缺的功能。

已有工作，如 DeepFaceDrawing [5]、DeepFaceEditing [6] 可以實(shí)現(xiàn)基于線(xiàn)稿的幾何和材質(zhì)的解耦控制及二維人臉圖像的生成與編輯。DeepFaceVideoEditing [7] 則將線(xiàn)稿編輯應(yīng)用到人臉視頻，能在時(shí)序上生成豐富的編輯效果。

但是，圖像的解耦與編輯方法，很難直接應(yīng)用至三維空間。而現(xiàn)有的三維人臉的幾何和材質(zhì)解耦方法往往需要重新訓(xùn)練網(wǎng)絡(luò)參數(shù)，而且使用的空間表示方法有較大的局限性，缺少三平面表示的良好性質(zhì)。為了解決上述的問(wèn)題，NeRFFaceEditing 在三平面表示的三維生成對(duì)抗網(wǎng)絡(luò)的預(yù)訓(xùn)練模型參數(shù)的基礎(chǔ)上，利用任意視角的二維語(yǔ)義掩碼作為媒介，實(shí)現(xiàn)對(duì)三維人臉進(jìn)行幾何編輯和對(duì)材質(zhì)的解耦控制。

Part 2 NeRFFaceEditing 的算法原理

在三平面生成器生成出三平面之后，啟發(fā)自 AdaIN [8]，即對(duì)于二維的特征圖（Feature Map），它的統(tǒng)計(jì)數(shù)據(jù)可以表示它的風(fēng)格，NeRFFaceEditing 將三平面分解為表達(dá)空間上不變的高層次材質(zhì)特征的均值和標(biāo)準(zhǔn)差 (a)，以及表達(dá)空間上變化的幾何特征的標(biāo)準(zhǔn)化的三平面。結(jié)合標(biāo)準(zhǔn)化的三平面與分解出的材質(zhì)特征 (a) 可以還原出原本的三平面。因此，如果給定不同的材質(zhì)特征，即可賦予同一幾何不同的材質(zhì)。

更進(jìn)一步，為了實(shí)現(xiàn)對(duì)于幾何和材質(zhì)的解耦控制，NeRFFaceEditing 將原始的單個(gè)解碼器分解為了幾何解碼器和材質(zhì)解碼器。幾何解碼器輸入從標(biāo)準(zhǔn)化三平面采樣得到的特征，預(yù)測(cè)密度和語(yǔ)義標(biāo)簽，用于表達(dá)三維人臉的幾何和語(yǔ)義掩碼體（Volume）。而幾何特征與材質(zhì)特征 (a) 通過(guò)可控制的材質(zhì)模塊（CAM）模塊組合后，再?gòu)闹胁蓸犹卣鬏斎氩馁|(zhì)解碼器預(yù)測(cè)顏色。最后通過(guò)體渲染，得到某一視角下的人臉圖像與對(duì)應(yīng)的語(yǔ)義掩碼。而在給定一個(gè)不同的材質(zhì)特征 (b) 的情況下，幾何特征與材質(zhì)特征 (b) 通過(guò) CAM 模塊和體渲染可以得到另一張幾何不變而材質(zhì)改變的人臉圖像。整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

圖 4 NeRFFaceEditing 的網(wǎng)絡(luò)架構(gòu)

除此之外，為了約束擁有同一材質(zhì)特征，但幾何不同的樣本渲染結(jié)果在材質(zhì)上相似，NeRFFaceEditing 利用生成好的語(yǔ)義掩碼，使用直方圖特征來(lái)分別表示這些材質(zhì)特征相同，幾何不同的樣本不同臉部組成部分，例如頭發(fā)、皮膚等，在顏色上的分布。然后優(yōu)化這些樣本在各個(gè)組成部分上顏色分布的距離和。如下圖所示：

圖 5 材質(zhì)相似約束訓(xùn)練策略

Part 3 效果展示與實(shí)驗(yàn)對(duì)比

使用 NeRFFaceEditing，可以借助二維的語(yǔ)義掩碼對(duì)三維人臉空間進(jìn)行幾何編輯：

圖 6 三維人臉幾何編輯

除此之外，還可以基于參考圖片，進(jìn)行三維一致的三維空間內(nèi)材質(zhì)風(fēng)格遷移：

圖 7 三維人臉風(fēng)格遷移

在此基礎(chǔ)上，可以實(shí)現(xiàn)解耦的人臉插值變形應(yīng)用，如下圖以左上角和右下角作為起止點(diǎn)，對(duì)相機(jī)、幾何、材質(zhì)進(jìn)行線(xiàn)性插值：

圖 8 解耦人臉變形效果展示

借助 PTI [9] 將真實(shí)圖像反投影到 NeRFFaceEditing 的隱空間，也可以實(shí)現(xiàn)對(duì)于真實(shí)圖像的編輯和風(fēng)格遷移。借此，NeRFFaceEditing 也與其他可以控制視角的對(duì)人臉進(jìn)行編輯的開(kāi)源方法，即 SofGAN [10] 進(jìn)行了比較，證明了方法的優(yōu)越性。

圖 9 真實(shí)圖像三維幾何編輯的例子?？梢钥吹?NeRFFaceEditing 的真實(shí)性?xún)?yōu)于 SofGAN，而且 SofGAN 在其他視角上對(duì)于身份有一定的改變。

圖 10 真實(shí)圖像風(fēng)格遷移的例子?？梢钥吹?SofGAN 有一定的瑕疵，而且在身份上有一定變化。

Part 4 結(jié)語(yǔ)與致謝

數(shù)字內(nèi)容生成在工業(yè)制作和數(shù)字媒體領(lǐng)域有著廣泛的應(yīng)用，尤其是虛擬數(shù)字人的生成與編輯，在近期受到了廣泛的關(guān)注，而三維人臉幾何與材質(zhì)的解耦編輯就是在個(gè)性化塑造真實(shí)的虛擬形象上一種可能的解決手段。

NeRFFaceEditing 系統(tǒng)，通過(guò)對(duì)三維人臉生成網(wǎng)絡(luò)進(jìn)行解耦設(shè)計(jì)，可以將用戶(hù)在二維視角上對(duì)于語(yǔ)義掩碼的修改，轉(zhuǎn)變?yōu)閷?duì)于整個(gè)三維空間的幾何修改，并且保證材質(zhì)不改變。除此之外，借助對(duì)于風(fēng)格遷移效果強(qiáng)化的訓(xùn)練策略，可以實(shí)現(xiàn)有效的三維空間內(nèi)材質(zhì)風(fēng)格遷移。NeRFFaceEditing 的論文已經(jīng)被計(jì)算機(jī)圖形學(xué)頂級(jí)會(huì)議 ACM SIGGRAPH ASIA 2022 錄用。

該項(xiàng)目研究團(tuán)隊(duì)包括中科院計(jì)算所菁英班本科生同學(xué)蔣楷文（第一作者），高林副研究員（本文通訊作者）、陳姝宇博士和香港城市大學(xué)傅紅波教授等，有關(guān)論文的更多細(xì)節(jié)，請(qǐng)瀏覽項(xiàng)目主頁(yè)：

?http://geometrylearning.com/NeRFFaceEditing/?