3D實(shí)時(shí)渲染大型場(chǎng)景，一臺(tái)電腦，甚至一部手機(jī)就可以完成。

從家里的客廳到主臥，儲(chǔ)物間，廚房，衛(wèi)生間各個(gè)死角，都能逼真在電腦中完成渲染，如同拍攝實(shí)物視頻一般。

而且，你還可以在一臺(tái)iPhone上完成復(fù)雜場(chǎng)景渲染。

來自谷歌、谷歌DeepMind和圖賓根大學(xué)的研究人員最近提出了一種全新技術(shù)SMERF。

它可以在智能手機(jī)和筆記本電腦各種設(shè)備上實(shí)時(shí)渲染大型視圖場(chǎng)景。

論文地址：https://arxiv.org/pdf/2312.07541.pdf

本質(zhì)上講，SMERF是一種基于NeRFs的方法，依賴于內(nèi)存效率更高的MERF（Memory-Efficient Radiance Fields）。

NeRF已死？

當(dāng)前，輻射場(chǎng)（Radiance fields）已成為一種強(qiáng)大且易于優(yōu)化的表示形式，用于重建和重新渲染逼真的真實(shí)3D場(chǎng)景。

與網(wǎng)格和點(diǎn)云等顯式表示相反，輻射場(chǎng)通常存儲(chǔ)為神經(jīng)網(wǎng)絡(luò)并使用體積射線行進(jìn)進(jìn)行渲染。

在給定足夠大的計(jì)算預(yù)算的情況下，神經(jīng)網(wǎng)絡(luò)可以簡(jiǎn)明地表示復(fù)雜的幾何形狀和依賴于視圖的效果。

作為體積表示，渲染圖像所需的操作數(shù)量以像素?cái)?shù)量而不是圖元（例如三角形）的數(shù)量為單位，性能最佳的模型需要數(shù)千萬次網(wǎng)絡(luò)評(píng)估。

因此，輻射場(chǎng)的實(shí)時(shí)方法在質(zhì)量、速度或表示大小方面做出了讓步，并且這種表示是否可以與高斯?jié)姙R（Gaussian Splatting ）等替代方法競(jìng)爭(zhēng)，仍然是一個(gè)懸而未決的問題。

最新研究中，作者提出了一種可擴(kuò)展的方法，從而實(shí)現(xiàn)比以往更高保真度的實(shí)時(shí)大空間渲染。

SMERF實(shí)時(shí)渲染，精度達(dá)厘米級(jí)別

SMERF專門為學(xué)習(xí)大型3D表示所設(shè)計(jì)，比如房屋的渲染。

谷歌等研究人員結(jié)合一種分層模型劃分的方案，其中空間的不同部分和學(xué)習(xí)參數(shù)由不同的MERF表示。

這不僅增加了模型容量，而且同時(shí)限制了計(jì)算和內(nèi)存要求。因?yàn)轭愃七@樣大型的3D表示是無法用經(jīng)典NERF進(jìn)行實(shí)時(shí)渲染。

SMERF中有K=3坐標(biāo)空間分區(qū)和P=4延遲外觀網(wǎng)絡(luò)子分區(qū)的場(chǎng)景的坐標(biāo)系

為了提升SMERF的渲染質(zhì)量，研究團(tuán)隊(duì)還使用了一種「教師—學(xué)生」的蒸餾方法。

在這個(gè)方法中，已經(jīng)訓(xùn)練好的高質(zhì)量Zip-Nerf模型（教師），被用來訓(xùn)練一個(gè)新的MERF模型（學(xué)生）。

如下圖，「教師監(jiān)督」的整體流程。教師模型通過渲染顏色提供光度監(jiān)督，并通過沿相機(jī)光線的體積權(quán)重提供幾何監(jiān)督。教師和學(xué)生都在同一組光線間隔上進(jìn)行操作。

這種方法可以讓研究人員將功能強(qiáng)大的Zip-Nerf模型的細(xì)節(jié)和圖像質(zhì)量，轉(zhuǎn)移到更高效、更快的結(jié)構(gòu)上。

這對(duì)智能手機(jī)和筆記本電腦等功能較弱的設(shè)備上的應(yīng)用尤其有用。

實(shí)驗(yàn)評(píng)估

研究人員首先在Zip-NeRF引入的4大場(chǎng)景上評(píng)估了方法：柏林、阿拉米達(dá)、倫敦和紐約。

這些場(chǎng)景中的每一個(gè)都是使用180°魚眼鏡頭拍攝的1,000-2,000 張照片。為了與3DGS進(jìn)行全面比較，研究人員將照片裁剪為110°，并使用COLMAP重新估計(jì)相機(jī)參數(shù)。

表1所示的結(jié)果表明，對(duì)于適度的空間細(xì)分K，最新方法的精度大大超過了MERF和3DGS。

隨著K的增加，模型的重建精度提高，并接近其 Zip-NeRF老師的精度，在K=5時(shí)差距小于0.1 PSNR和0.01 SSIM。

研究人員還發(fā)現(xiàn)這些定量的改進(jìn)低估了重建的定性改進(jìn)準(zhǔn)確性，如圖5所示。

在大型場(chǎng)景中，SMERF方法一致地對(duì)薄幾何體、高頻紋理、鏡面高光和實(shí)時(shí)基線達(dá)不到的遠(yuǎn)處內(nèi)容進(jìn)行建模。

同時(shí)，研究人員發(fā)現(xiàn)增加子模型分辨率自然會(huì)提高質(zhì)量，特別是在高頻紋理方面。

實(shí)際上，研究人員發(fā)現(xiàn)最新渲染方法與Zip-NeRF幾乎沒有區(qū)別，如圖8所示。

此外，研究人員在室內(nèi)和室外場(chǎng)景的mip-NeRF 360數(shù)據(jù)集上進(jìn)一步評(píng)估了最新方法。

這些場(chǎng)景比Zip-NeRF數(shù)據(jù)集中的場(chǎng)景小得多，因此無需空間細(xì)分即可獲得高質(zhì)量結(jié)果。如表2所示，模型的K=1版本在圖像質(zhì)量方面優(yōu)于該基準(zhǔn)測(cè)試中的所有先前實(shí)時(shí)模型，渲染速度與3DGS相當(dāng)。

圖6和圖8定性地說明了這種改進(jìn)，研究人員提出的方法在表示高頻幾何和紋理方面要好得多，同時(shí)消除了分散注意力的漂浮物和霧。

網(wǎng)頁即可傳輸逼真3D空間

一旦經(jīng)過訓(xùn)練，SMERF就可以在瀏覽器匯總實(shí)現(xiàn)完全6個(gè)自由度的導(dǎo)航，并在流行的智能手機(jī)和筆記本電腦上進(jìn)行實(shí)時(shí)渲染。

人人都知，實(shí)時(shí)渲染的大型3D場(chǎng)景的能力對(duì)于各種應(yīng)用非常重要，包括視頻游戲、虛擬增強(qiáng)現(xiàn)實(shí)，以及專業(yè)設(shè)計(jì)和架構(gòu)應(yīng)用程序。

比如，谷歌沉浸式地圖中，可以進(jìn)行實(shí)時(shí)導(dǎo)航。

不過谷歌等團(tuán)隊(duì)提出的最新方法也有一定的局限性。雖然SMERF有出色的重建質(zhì)量和存儲(chǔ)效率，但存儲(chǔ)成本高、加載時(shí)間長(zhǎng)、訓(xùn)練工作量大。

不過，這項(xiàng)研究表明，與三維高斯拼接法相比，NeRFs和類似的輻射場(chǎng)在未來仍具有優(yōu)勢(shì)。