當(dāng)前，神經(jīng)表征已經(jīng)成為渲染、成像、幾何建模和模擬應(yīng)用的一種新范式。與網(wǎng)格、點云和體積網(wǎng)格等傳統(tǒng)表征相比，神經(jīng)表征可以靈活地合并入可微分、基于學(xué)習(xí)的 pipeline。神經(jīng)表征近來的進(jìn)展實現(xiàn)了在中等分辨率下表征具有豐富細(xì)節(jié)的信號，比如圖像和 3D 形狀，但充分地表征大尺度或復(fù)雜場景依然是一個挑戰(zhàn)。

現(xiàn)有的神經(jīng)表征無法準(zhǔn)確地表征分辨率大于百萬像素的圖像或者數(shù)十萬個多邊形組成的 3D 場景。

斯坦福大學(xué)近日的一項研究給出了解決方案，他們提出了一種新的隱式 - 顯式混合網(wǎng)絡(luò)架構(gòu)和相應(yīng)訓(xùn)練策略，可以在訓(xùn)練和推理過程中根據(jù)信號的局部復(fù)雜度來自適應(yīng)地分配資源。他們將這種用于神經(jīng)場景表征的自適應(yīng)坐標(biāo)網(wǎng)絡(luò)（ Adaptive coordinate network ）簡稱為 Acorn。

該方法中采用了類似于四叉樹或八叉樹的多尺度塊坐標(biāo)分解（multiscale block-coordinate decomposition），該分解在訓(xùn)練過程中進(jìn)行細(xì)化。具體地，網(wǎng)絡(luò)架構(gòu)分為兩個階段：其一坐標(biāo)編碼器使用大量網(wǎng)絡(luò)參數(shù)在單個正向傳遞中生成網(wǎng)格特征；其二每個塊中數(shù)百或數(shù)千個樣本通過輕量級特征解碼器進(jìn)行高效地評估。

項目主頁：
https://www.computationalimaging.org/publications/acorn/

論文地址：
https://arxiv.org/pdf/2105.02788.pdf

利用這種混合的隱式 - 顯式網(wǎng)絡(luò)架構(gòu)，研究者首次展示了將 10 億像素圖像擬合到接近 40dB 峰值信噪比。值得注意的是，與以往圖像擬合實驗中展示的分辨率相比，這一數(shù)據(jù)代表了 1000 多倍的尺度增加。此外，研究者的方法能夠較以往更快且更好地表征 3D 形狀，將訓(xùn)練時間從幾天縮減至幾小時或幾分鐘，內(nèi)存需求也至少降低了一個數(shù)量級。

Acorn 的實際表征效果如下幾個動圖所示，首先是 10 億像素的 2D 東京城市圖像：

其次是 3D 浮雕的重建展示效果：

‍

多尺度坐標(biāo)網(wǎng)絡(luò)

研究者提出的多尺度表征網(wǎng)絡(luò)包含兩個主要組件，即多尺度塊參數(shù)化（基于局部信號復(fù)雜度劃分輸入空間）以及由坐標(biāo)編碼器和特征解碼器組成的網(wǎng)絡(luò)架構(gòu)（負(fù)責(zé)將輸入空間和尺度坐標(biāo)高效地映射至輸出值）。

多尺度塊參數(shù)化

多尺度塊參數(shù)化的核心是輸入域的樹分區(qū)（tree-based partition）。具體來講，研究者使用二維四叉樹或三維八叉樹來劃分域，并確定樹的最佳尺度和最大深度，具體如下圖 3 所示：

傳統(tǒng)多尺度分解方法中，輸入域的每個值在多尺度上進(jìn)行表征，比如圖像金字塔（ image pyramid）中的每個像素。與之不同，本研究的方法劃分空間以在單尺度上表征每個輸入值。

神經(jīng)網(wǎng)絡(luò)架構(gòu)

多尺度表征網(wǎng)絡(luò)的坐標(biāo)編碼器定義如下：

給定一個連續(xù)的局部坐標(biāo) X_1，特征向量提取如下：

這種兩階段架構(gòu)的一個關(guān)鍵優(yōu)勢是：極大地降低了相同塊中評估多個坐標(biāo)的計算開銷。另一優(yōu)勢是：由于特征網(wǎng)絡(luò)在跨空間位置和尺度上可以在具有重復(fù)結(jié)構(gòu)的信號中重復(fù)使用，因而有可能提升網(wǎng)絡(luò)性能。

在線多尺度分解

研究者提出了新的自動分解方法能夠自適應(yīng)地分配網(wǎng)絡(luò)資源以擬合感興趣的信號，并且受到了模擬技術(shù)中自適應(yīng)網(wǎng)格細(xì)化方法和有限單元求解器的啟發(fā)。這些有限單元求解器在優(yōu)化過程中進(jìn)行細(xì)化或粗化處理，從而在最小化計算開銷的同時提升求解準(zhǔn)確率。

剪枝

為了在多尺度網(wǎng)絡(luò)中不為整個區(qū)域?qū)W習(xí)相同的值，研究者從分區(qū)中對塊進(jìn)行剪枝，直到塊不能被進(jìn)一步分解，并且它的值在查表（look-up table）中設(shè)置。并且，由于塊不再活躍，分區(qū)中的空間可以通過松弛公式（8）中的限制來釋放。

至于是否確定要對塊 B_i 進(jìn)行剪枝，研究者發(fā)現(xiàn)，在實際操作中，滿足以下兩個條件可以運行良好：低誤差和低方差。

表征 10 億像素圖像

研究者首先評估了 Acorn 表征 10 億像素圖像的表現(xiàn)。以往的神經(jīng)圖像表征方法將分辨率限制在了百萬像素以下，本研究則選擇了 6400 萬像素和 10 億像素，遠(yuǎn)遠(yuǎn)超越了以往方法。

具體而言，他們通過擬合兩張大尺度圖像來展示 Acorn 的性能。如下圖 2 所示，第一張是新視野號太空探測器拍攝的冥王星圖像，它的分辨率為 8,192×8,192，并具有不同尺度下的特征，因而是多尺度表征的理想實驗對象。

結(jié)果表明，利用本研究資源分配策略優(yōu)化的自適應(yīng)網(wǎng)格能夠使用明顯更小的塊來表征豐富的細(xì)節(jié)，以火山口為例，空闊且大面積的均勻區(qū)域可以在更小的尺度下得到表征。

第二張是 10 億像素分辨率為 19,456×51,200 的東京城市圖像，比最近神經(jīng)圖像表征使用圖像的分辨率高約三個數(shù)量級。

同樣地，研究者捕捉到了圖像在不同尺度下的豐富細(xì)節(jié)。

總的來說，Acorn 可以進(jìn)行縮放以靈活地表征大規(guī)模 2D 圖像，在訓(xùn)練速度、性能以及任務(wù)整體適用性方面均帶來了顯著提升。

表征復(fù)雜 3D 場景

除了 2D 圖像，本研究提出的多尺度表征還可以很好地泛化至復(fù)雜 3D 場景的表征中。

如下圖 5 所示，與 Conv. Occ.、SIREN 等以往方法相比，Acorn 能夠更加準(zhǔn)確地表征復(fù)雜形狀。從定性角度來講，Acorn 在表征豐富細(xì)節(jié)方面比這些方法更加強大，比如纏結(jié)的浮雕和緊密糾纏的彈簧；從定量角度來講，Acorn 在體積容量和網(wǎng)格準(zhǔn)確率兩項指標(biāo)上均優(yōu)于所有基準(zhǔn)方法。

最后，與以往神經(jīng)表征方法相比，Acorn 在計算效率方面也有顯著提升。通過在采樣點中共享計算，該方法顯著降低了訓(xùn)練和查詢模型所需的內(nèi)存和時間開銷。