真實人臉的三維建模、合成與重光照是計算機圖形學領(lǐng)域中具有較高應(yīng)用價值的研究方向。受限于人臉的復雜皮膚組織結(jié)構(gòu)，對于光照效果的準確計算往往依賴前置精細的幾何材質(zhì)建模，以及復雜的光路模擬，需要較高的硬件成本與計算時間開銷。

現(xiàn)有方法在消費級硬件上已經(jīng)成功地利用隱式生成網(wǎng)絡(luò)快速合成超真實感三維人臉，從中隱式解耦出光照的想法由于只需要較低的硬件成本與可以實現(xiàn)高質(zhì)量的真實效果成為了潛在的研究方向。但是，光影效果與材質(zhì)之間存在很強的歧義性問題，在保證生成網(wǎng)絡(luò)的多樣性情況下，很難采集到大量真實數(shù)據(jù)去解決光影與材質(zhì)之間的歧義性。

而發(fā)表在計算機圖形學頂級期刊 ACM Transactions on Graphics (ToG) 上的 NeRFFaceLighting [1] 即在隱式解耦人臉光照方向，利用生成模型學習到的分布先驗，實現(xiàn)了真實光影的解耦。

NeRFFaceLighting 構(gòu)建了一個解耦了光影控制的三維人臉生成模型。在確定了人臉的幾何和材質(zhì)之后，用戶只需要給定期望的光影效果和相機視角，即可以實時生成對應(yīng)的人臉圖像。

基于該方法的三維人臉重光照系統(tǒng)，即使用戶不熟悉三維建模以及光照模型，也可以輕松的從二維真實人臉圖像中恢復出三維人臉模型，并對光影效果進行適當?shù)恼{(diào)整。先來看看使用 NeRFFaceLighting 的效果！

圖 1 使用 NeRFFaceLighting 系統(tǒng)對輸入的真實人臉圖像重光照效果

圖 2 NeRFFaceLighting 更多的重光照效果

Part I 背景

近些年，隨著神經(jīng)輻射場 [2] 與對抗式生成網(wǎng)絡(luò) [3] 的結(jié)合，各種高質(zhì)量、快速渲染的三維人臉生成網(wǎng)絡(luò)被提出，其中包括 EG3D [4]。

圖 3 EG3D 的不同視角的生成效果與幾何表示

該方法的三平面表示結(jié)合了傳統(tǒng)的二維對抗式生成網(wǎng)絡(luò)和最新的三維隱式表征，因此繼承了 StyleGAN [5] 的強大生成能力和神經(jīng)輻射場的表征能力。但是，這些生成模型本身是無條件生成，并不能對人臉的光影進行解耦控制。

已有工作有的通過對三維人臉生成網(wǎng)絡(luò)隱空間中隱變量編輯的方式實現(xiàn)三維人臉光影控制，但是難以保證超出人臉區(qū)域的幾何一致性。另一些工作通過顯式光影模型與固定幾何建模可以實現(xiàn)幾何一致性較好的三維人臉重光照，但是真實感不夠。

為了解決上述的問題，NeRFFaceLighting 分解了三平面表示為幾何材質(zhì)三平面和光影三平面來保證光影編輯時的幾何材質(zhì)一致性，并且通過條件判別器監(jiān)督光影效果的真實性。在基于這種網(wǎng)絡(luò)隱式生成的幾何材質(zhì)與光影分解表示的基礎(chǔ)上，NeRFFaceLighting 充分利用了對抗式生成網(wǎng)絡(luò)從稀疏的數(shù)據(jù)集中學到稠密空間的能力，約束單個生成樣本表現(xiàn)出數(shù)據(jù)集整體分布特點，來消解這種隱式幾何、材質(zhì)與光影分解的歧義性。因而，在訓練好了解耦光影控制的三維人臉生成網(wǎng)絡(luò)之后，NeRFFaceLighting 額外訓練了一個編碼器將真實人臉編碼到生成網(wǎng)絡(luò)，從而實現(xiàn)真實的光影控制和新視角生成。

Part 2 NeRFFaceLighting 的算法原理

在原本的三平面生成器基礎(chǔ)上，NeRFFaceLighting 附加了兩層合成塊，用于在合成了原本的三平面之后合成光影三平面，作為獨立的光影表示。此外，描述光照條件的二階球諧光照系數(shù)通過映射網(wǎng)絡(luò)變?yōu)橹虚g光影隱變量之后，作為條件指導光影三平面的生成。從而，在僅改變光影隱變量時，原本的三平面保持不變，而光影三平面發(fā)生變化；原本的三平面被認為是包含除光影之外的，也即幾何與材質(zhì)的信息。原本的隱空間也被認為是幾何與材質(zhì)的隱空間。

給定幾何與材質(zhì)三平面和光影三平面之后，原本的解碼器從幾何與材質(zhì)的三平面中采樣的特征解碼出密度 σ 和反照率 a（對應(yīng)于原本的顏色，但是賦予了不同的含義），而新構(gòu)建的光影解碼器從光影三平面中采樣的特征解碼出光影 s，最終的顏色由 c=s?a 給出。通過體渲染，密度與反照率組合構(gòu)成反照率圖，而密度與顏色組合構(gòu)成最終的人臉圖像。

人臉圖像被送入圖像判別器和光影判別器中判別真?zhèn)?，其中圖像判別器是原本的判別器，而光影判別器是輸入二階球諧光照系數(shù)作為條件的。因此，NeRFFaceLighting 使用 DPR [6] 對真實人臉數(shù)據(jù)集 FFHQ 中每張人臉標注了光影條件。

整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

圖 4 NeRFFaceLighting 的網(wǎng)絡(luò)架構(gòu)

除此之外，隱式分解幾何、材質(zhì)和光影本身是具有歧義性的，因為野外采集的大規(guī)模真實人臉圖像是不包含同一個人，不同光影狀況下的多張圖片的，所以無法保證網(wǎng)絡(luò)沒有把材質(zhì)建模為光影，或者是把光影建模為材質(zhì)。

針對光影信息殘留在材質(zhì)表示中的問題，NeRFFaceLighting 觀察到對抗式生成網(wǎng)絡(luò)具有從稀疏數(shù)據(jù)集學習到稠密生成空間的能力，即對于一個生成樣本，生成網(wǎng)絡(luò)可以輕松生成具有相同幾何與不同材質(zhì)和光影效果的其他樣本，并且這些幾何相同的其他樣本的光影效果往往與數(shù)據(jù)集的光影效果分布近似，即便材質(zhì)并不相同。又觀察到一個充分的大規(guī)模數(shù)據(jù)集中光影分布是呈中心對稱，即光影分布的均值即為未知的無光影狀態(tài)，NeRFFaceLighting 提出利用這些幾何相同的樣本來互相提供監(jiān)督，約束每個樣本的材質(zhì)中殘留的光影信息趨于均值，即無殘留光影的狀態(tài)，從而間接約束光影的效果準確。（具體的分析和解釋可以見論文的補充材料。）

另外，NeRFFaceLighting 還強化了隱式光影模型對數(shù)據(jù)集中未知光影效果泛化能力以及減輕材質(zhì)信息建模到光影表示中的可能。（具體的細節(jié)請見論文。）約束流程如下圖所示：

圖 5 幾何、材質(zhì)與光影分解有效性約束策略

最后，NeRFFaceLighting 使用 Encoder-For-Editing [7] 作為基線模型，使用了一些額外的約束來訓練一個編碼器，將真實圖像編碼到生成器的幾何與材質(zhì)隱空間中，再結(jié)合 Pivotal Tuning Inversion [8] 實現(xiàn)真實圖像的準確三維重建。在此之后，即可通過給定二階球諧系數(shù)與相機視角的方式，來實現(xiàn)新視角重光照了。

Part 3 效果展示與實驗對比

使用 NeRFFaceLighting，可以對生成出來的三維人臉進行光影控制（請注意 (a) 中額頭的高光；(b) 中眼鏡打在臉上的陰影；(c) 中頭發(fā)的光影；(d) 中脖子上的陰影）：

圖 6 三維人臉光影控制（反照率被放置在了人臉圖像右下邊作為參考）

這里展示對幾何和材質(zhì)隱空間，和光影隱空間分別進行插值：

圖 7 三維人臉幾何與材質(zhì)隱變量插值效果，以及光影隱變量插值效果

除此之外，這里展示了引入的分解有效性訓練策略引起的光影與材質(zhì)歧義性消解：

圖 8 反照率在訓練前和訓練后的結(jié)果對比（注意，因為是生成模型，所以人臉身份信息會不一樣）

最后，結(jié)合編碼器，可以實現(xiàn)真實二維人臉圖像的三維重建以及重光照：

圖 9 真實人臉圖像重光照效果：從二維人臉圖像中重建三維人臉模型，并進行重光照

NeRFFaceLighting 在生成質(zhì)量和多樣性上，通過 Frechet Inception Distance [9] 與其他方法進行了對比，如表 3-1 所示達到了最好的結(jié)果；在光照準確性和穩(wěn)定性上，通過 DECA [10] 預測面部區(qū)域的光照系數(shù)（不考慮頭發(fā)、脖子等區(qū)域）與其他方法進行了對比，如表 3-2 所示達到了較好的結(jié)果，DisCoFaceGAN [11] 和 3DFaceShop [12] 由于有對應(yīng)的 3DMM 真值監(jiān)督，指標更好，但很難在保持幾何一致性的情況下，在非面部區(qū)域也取得逼真的光影效果。

表 3-1 生成模型質(zhì)量和多樣性對比。

表 3-2 重光照準確性和穩(wěn)定性對比。加粗了第一的指標，用下劃線標注了第二的指標，和雙下劃線標注了第三的指標。

Part 4 結(jié)語與致謝

數(shù)字內(nèi)容生成在工業(yè)制作和數(shù)字媒體領(lǐng)域有著廣泛的應(yīng)用，尤其是虛擬數(shù)字人的生成與編輯，在近期受到了廣泛的關(guān)注，而三維人臉光影的解耦真實編輯就是該領(lǐng)域的一個重要問題。解決該問題促進了下游二維真實人臉圖像新視角合成和重光照的應(yīng)用。

NeRFFaceLighting 系統(tǒng)通過對三維人臉生成網(wǎng)絡(luò)進行光照解耦設(shè)計，可以對三維人臉（包括頭發(fā)、脖子等）進行不依賴顯式光影模型的實時重光照，NeRFFaceLighting 的論文已經(jīng)被計算機圖形學頂級刊物 ACM Transactions on Graphics 錄用。

目前，NeRFFaceLighting 已經(jīng)提供在線服務(wù)供大家使用。在線系統(tǒng)由中國科學院計算技術(shù)研究所信息高鐵云函數(shù)平臺提供底層計算服務(wù)支持，由中科南京信息高鐵研究院提供底層算力及工程服務(wù)支持。

在線服務(wù)鏈接：http://geometrylearning.com/NeRFFaceLighting/interface

• 有關(guān)論文的更多細節(jié)，請瀏覽項目主頁：http://www.geometrylearning.com/NeRFFaceLighting/
• 論文地址：https://dl.acm.org/doi/pdf/10.1145/3597300
• 視頻地址：https://www.bilibili.com/video/BV1NM411G7n5
• 代碼地址：https://github.com/IGLICT/NeRFFaceLighting