打光是圖像處理過程中的重要步驟，打光的好壞可能會影響整體效果的展示。打光方法也各有不同，MIT、谷歌等的一項新研究另辟蹊徑，通過神經(jīng)光傳輸方法進行圖像的二次打光和視圖合成，實現(xiàn)了相當不錯的效果。

圖像合成早已不是新鮮話題，但是「打光」可是所有照片的難題。對于人類攝影師而言，打光就是件挺復雜的事，那么合成圖像中的光線問題又該如何解決呢？

最近，來自 MIT、谷歌和加州大學圣地亞哥分校的研究人員進行了一項研究，試圖通過神經(jīng)光傳輸（Neural Light Transport，NLT）對圖像進行二次打光（relighting）和視圖合成（view synthesis）。

那么，這項研究提出的 NLT 方法效果如何呢？研究者在多個場景下進行了測試，包括 Directional Relighting、基于不同圖像背景的打光、根據(jù)攝像頭路徑不同進行視圖合成后的打光效果等等。

效果看起來不錯，就是有點像鬼片……（瑟瑟發(fā)抖

具體而言，在 Directional Relighting 場景下，NLT 實現(xiàn)了如下效果：

在基于圖像的 Relighting 場景下，人物的打光效果隨著背景圖像的變換而不斷調(diào)整：

那么在涉及視圖合成時，效果如何呢？

同時進行二次打光和視圖合成呢？

NLT 方法如何實現(xiàn)這樣的效果？我們來看論文詳情。

神經(jīng)光傳輸（NLT）論文簡介

論文地址：https://arxiv.org/pdf/2008.03806.pdf

項目頁面：http://nlt.csail.mit.edu/

場景的光傳輸（LT）描述了場景在不同布光和視角方向下的樣子，對場景 LT 的全面了解有助于在任意布光條件下合成新的視圖。

這篇論文探討了基于圖像的 LT 采集，主要用于光照平臺設置中的人體。研究者提出了一種半?yún)?shù)方法，以學習嵌入到已知幾何特性的紋理圖集空間中的 LT 的神經(jīng)表示，并將所有非漫射和全局 LT 建模為殘差，并將其添加到物理精確的漫反射基底渲染中。

具體而言，該研究展示了如何融合先前看到的光源和視圖觀察結果，基于選定的視點和期望照明條件合成同一場景的新圖像。

該策略允許網(wǎng)絡學習復雜的材料效果（如次表面散射）和全局照明，同時保證漫反射 LT 的物理正確性（如硬陰影）。借助這一學得的 LT，我們可以使用平行光或 HDRI 貼圖以逼真的方式對場景進行二次打光，合成具有視圖依賴效果的新視圖，或者使用一組先前觀察到的稀疏結果在一個統(tǒng)一框架中同時執(zhí)行二次打光和視圖合成這兩種操作。

該研究通過定性和定量實驗表明，NLT 方法優(yōu)于當前最優(yōu)的二次打光和視圖合成解決方案，并且不需要像先前工作那樣，對這兩個問題進行單獨處理。

NLT 方法的大致流程。

該研究的主要貢獻有：

提出一種端到端的半?yún)?shù)方法，使用卷積神經(jīng)網(wǎng)絡從實際數(shù)據(jù)中學習對每個對象的 6D 光傳輸函數(shù)進行插值。

通過將網(wǎng)絡嵌入?yún)?shù)化紋理圖集，并利用一組 One-Light-at-A-Time（OLAT）圖像作為輸入，實現(xiàn)可同時執(zhí)行二次打光和視圖合成的統(tǒng)一框架。

提出了一組增強的紋理空間輸入和一個基于物理精確漫反射基底的殘差學習機制，使得網(wǎng)絡能夠輕松學習非漫射、高階光傳輸效應（包括鏡面高光）、次表面散射和全局照明。

NLT 方法

研究者使用的框架是一個具備殘差學習機制的半?yún)?shù)模型，旨在縮小幾何代理（geometry proxy）的漫反射渲染與實際輸入圖像之間的真實感差距，具體如下圖 2 所示。

半?yún)?shù)方法用于融合先前記錄的觀察結果，以在任何預期的光照和視角下生成新的逼真圖像。該方法得益于近年來計算機視覺領域的進展，使研究人員可以對人體對象實現(xiàn)精準的 3D 重建。

圖 2：之前的 Relightables 方法（Guo 等人，2019 年）、該研究提出的 NLT 方法和真實圖像之間的真實感差距。

NLT 方法的模型架構如下圖 4 所示：

模型網(wǎng)絡包含兩個路徑，分別是查詢路徑（Query Path）和觀察路徑（Observation Path）。其中「觀察路徑」以基于目標光源和視角方向采樣的 K 個臨近觀察結果（作為紋理空間殘差圖）為輸入，并將它們編碼成多尺度特征，最后將這些特征池化以消除對順序和數(shù)量的依賴。

接著，將這些池化特征連接至「查詢路徑」的特征激活函數(shù)，「查詢路徑」以預期光源和視角方向（以余弦圖的形式呈現(xiàn)）以及物理精確的漫反射基底（也在紋理空間中）作為輸入。查詢路徑預測殘差圖，然后將其添加至漫反射基底，以生成紋理渲染結果。

由于整個網(wǎng)絡都嵌入在人體對象的紋理空間中，所以我們可以根據(jù)輸入和監(jiān)督信號訓練同一個模型來分別執(zhí)行二次打光和視圖合成，或者同時執(zhí)行這兩個操作。

實驗結果

二次打光

如下表 3 所示，研究者對 NLT 方法與 Diffuse Base、Barycentric Blending、Deep Shading 等其他二次打光基線方法進行了定量評估，以 PSNR（峰值信噪比）、SSIM（結構相似性）和 LPIPS（學得感知相似性）作為評估指標。

此外，研究者還對 NLT 方法進行了控制變量研究。

結果表明，NLT 方法的性能優(yōu)于所有的基線方法，但 Diffuse Rendering 和 Barycentric Blending 等簡單的基線方法也取得了較高的分數(shù)。

表 3：NLT 與其他 SOTA 二次打光方法的指標對比以及 NLT 的控制變量研究結果。

圖 7：在使用平行光的二次打光任務上，NLT、其他方法與真值圖像的效果對比。

視圖合成

如下表 4 所示，研究者對 NLT 和其他基線二次打光方法的視圖合成效果進行了定量分析，結果表明 NLT 優(yōu)于所有的基線方法，并且效果可以與 Thies 等人（2019 年）提出的僅執(zhí)行視圖合成但不進行二次打光的方法相當。

表 4：NLT 與其他基線二次打光方法的視圖合成指標對比。

圖 9：NLT、其他基線方法與真值圖像之間的視圖合成效果對比。

圖 10：同時執(zhí)行二次打光和視圖合成的效果展示。

性能分析

最后，研究者分析了 NLT 方法在不同因素下的性能表現(xiàn)。結果表明，隨著幾何結構的退化，該研究使用的神經(jīng)渲染方法始終優(yōu)于嚴重依賴幾何圖形質(zhì)量的傳統(tǒng)重投影（reprojection）方法。在執(zhí)行二次打光時，研究者還證實 NLT 方法在光源數(shù)量減少時也能合理地運行，表明 NLT 方法也有可能適用于更小的光照平臺。

控制變量研究

如下圖 13 所示，研究者在二次打光任務上進行了 NLT 方法的控制變量研究。結果顯示，去除模型的不同組件會不同程度地降低渲染質(zhì)量。

失敗案例

當然，NLT 方法在視圖合成時也出現(xiàn)了失敗的案例。如下圖 14 所示，NLT 方法可能無法生成復雜光傳輸效果的真實視圖，如脖子上所戴項鏈的視圖。