[[393143]]

從稀疏的靜態(tài)圖像合成任意 3D 視角物體和場景新視圖是很多 VR 和 AR 應(yīng)用的基礎(chǔ)。近年來神經(jīng)輻射場（Neural Radiance Fields, NeRF）的神經(jīng)網(wǎng)絡(luò)渲染研究通過神經(jīng)網(wǎng)絡(luò)編碼實現(xiàn)了真實的 3D 視角場景渲染。但是 NeRF 需要極端的采樣要求和大量的神經(jīng)網(wǎng)絡(luò)運算，導(dǎo)致其渲染速度十分緩慢，嚴重制約了其在實際場景，尤其是實時交互場景中的應(yīng)用。例如，使用 NeRF 在高端 GPU 上渲染一張 800X800 像素的圖片大概需要 30 秒。近日，來自 UC 伯克利等機構(gòu)的研究者使用一種名為 PlenOctrees 的數(shù)據(jù)結(jié)構(gòu)為 NeRF 引入了一種新的數(shù)據(jù)表示，實現(xiàn)了實時的 NeRF 渲染。其渲染速度比原始的 NeRF 提高了 3000 多倍，并且圖像質(zhì)量可以與 NeRF 媲美。此外，采用 PlenOctrees 結(jié)構(gòu)還能有效減少 NeRF 的訓(xùn)練時間。

論文地址：
https://arxiv.org/pdf/2103.14024.pdf

項目地址：
https://alexyu.net/plenoctrees/

方法

在 NeRF 方法中，攝像機光線從特定角度穿過場景，生成一組采樣的三維點，通過神經(jīng)網(wǎng)絡(luò)把這些點的空間位置和視角映射成對應(yīng)的密度和顏色。然后使用經(jīng)典的體繪制技術(shù)將這些顏色和密度累積到二維圖像中。這要求沿射線方向的每個樣本都需輸入神經(jīng)網(wǎng)絡(luò)來獲取密度和顏色。這種方式是很低效的，因為大部分樣本都是在自由空間中采樣的，對整體的顏色并沒有貢獻。因此本篇論文提出使用稀疏的八叉樹（Octree）結(jié)構(gòu)來避免過度采樣。另外該方法還預(yù)計算了每個體素的值，避免重復(fù)輸入網(wǎng)絡(luò)。

圖 1 算法框架圖

該算法的框架如圖 1 所示。該研究提出了名為 PlenOctree 的數(shù)據(jù)結(jié)構(gòu)，將訓(xùn)練好的 NeRF 預(yù)采樣轉(zhuǎn)換成 PlenOctree 的數(shù)據(jù)結(jié)構(gòu)，具體地講，該方法使用 Octree 結(jié)構(gòu)，把建模所需的密度值和球諧函數(shù)（SH）存儲到樹的葉子節(jié)點上。球面諧波代替了某一角度的 RGB 值，可以從任意角度恢復(fù)獨立的顏色信息。此外，為了更直接地實現(xiàn) PlenOctree 轉(zhuǎn)換，該研究提出了一種改進的 NeRF 模型（NeRF-SH），產(chǎn)生球面諧波表示，以此避免對網(wǎng)絡(luò)輸入不同視角數(shù)據(jù)。這些信息可以直接存儲在 PlenOctree 的葉子節(jié)點上。同時通過微調(diào) Octree 結(jié)構(gòu)就可以進一步提升圖像質(zhì)量。

NeRF-SH 模型

NeRF-SH 模型如圖 1（a）所示，其基本的優(yōu)化過程和渲染過程與 NeRF 相同，但 NeRF-SH 模型不直接輸出 RGB 顏色，而是輸出球諧函數(shù) k。顏色 c 由在相應(yīng)的射線方向 (θ， φ) 上的球諧函數(shù) k 基上加權(quán)求和計算得出。轉(zhuǎn)換公式如下：

其中 d 為視角角度，k 是網(wǎng)絡(luò)輸出的球諧函數(shù) SH。使用 SH 基無需對視圖方向進行采樣，從而減少了訓(xùn)練時間。在 NeRF-SH 的訓(xùn)練過程中，該研究還引入了稀疏先驗約束，以提升 Octree 結(jié)構(gòu)的存儲效率。整個提取過程大約需要 15 分鐘。

PlenOctree 結(jié)構(gòu)

PlenOctree 結(jié)構(gòu)如圖 1（b）所示，在 NeRF-SH 模型訓(xùn)練完成后，將其轉(zhuǎn)換成稀疏的 Octree 結(jié)構(gòu)以實現(xiàn)實時渲染。轉(zhuǎn)換的過程分為以下三個步驟：1）在較高的層次上，在網(wǎng)格上評估網(wǎng)絡(luò)，只保留密度值，2）通過閾值過濾體素。3）對每個剩余體素內(nèi)的隨機點進行采樣，并對它們進行平均，以獲得 SH 函數(shù)，并存儲在 Octree 葉子中。在渲染的過程中樹的值是完全可微的，直接在原始訓(xùn)練圖像上微調(diào)就可以進一步提升圖像質(zhì)量。PlenOctree 結(jié)構(gòu)的優(yōu)化速度約為每秒 300 萬射線，相比之下，NeRF 優(yōu)化速度約為每秒 9000 射線。該方法的優(yōu)化速度相比 NeRF 具有明顯的提升，因此可以提前結(jié)束 NeRF-SH 的訓(xùn)練來構(gòu)建 PlenOctree 結(jié)構(gòu)，而幾乎不會降低模型性能。

實驗結(jié)果

渲染效果如圖 2 所示，相比于 NeRF，該方法渲染的圖像在細節(jié)上更優(yōu)，更接近于真實圖像，并且渲染速度快了 3000 多倍。

圖 2 渲染效果

圖 3 是幾種方法訓(xùn)練時間的對比結(jié)果，可以看出 NeRF 模型和 NeRF-SH 模型所需的訓(xùn)練時間接近。而 PlenOctree 結(jié)構(gòu)轉(zhuǎn)換和微調(diào)需要大約 1 小時的訓(xùn)練時間。但是將 NeRF-SH 和 PlenOctree 結(jié)合可以讓模型只需 4.5 小時，就能達到 NeRF 大約 16 小時的訓(xùn)練質(zhì)量。

圖 3 算法收斂時間

雖然渲染速度和性能都有所提升，但使用 Octree 結(jié)構(gòu)也會占用更多內(nèi)存資源。