CVPR 2024高分論文：全新生成式編輯框架GenN2N，統(tǒng)一NeRF轉(zhuǎn)換任務(wù)
來自香港科技大學(xué)，清華大學(xué)的研究者提出了「GenN2N」，一個(gè)統(tǒng)一的生成式 NeRF-to-NeRF 轉(zhuǎn)換框架，適用于各種 NeRF 轉(zhuǎn)換任務(wù)，例如文字驅(qū)動(dòng)的 NeRF 編輯、著色、超分辨率、修復(fù)等，性能均表現(xiàn)極其出色！
- 論文地址：https://arxiv.org/abs/2404.02788
- 論文主頁：https://xiangyueliu.github.io/GenN2N/
- Github 地址：https://github.com/Lxiangyue/GenN2N
- 論文標(biāo)題：GenN2N: Generative NeRF2NeRF Translation?
近年來，神經(jīng)輻射場（NeRF）因其緊湊、高質(zhì)量、多功能性在三維重建、三維生成和新視角合成領(lǐng)域引起了廣泛關(guān)注。然而，一旦創(chuàng)建了 NeRF 場景，這些方法通常缺乏對生成幾何和外觀的進(jìn)一步控制。因此，NeRF 編輯（NeRF Editing）最近成為了一個(gè)值得關(guān)注的研究重點(diǎn)。
目前的 NeRF 編輯方法通常是針對特定任務(wù)的，例如 NeRF 的文本驅(qū)動(dòng)編輯、超分辨率、修復(fù)和著色。這些方法需要大量的特定任務(wù)領(lǐng)域知識(shí)。而在 2D 圖像編輯領(lǐng)域，開發(fā)通用的圖像到圖像（Image-to-image）轉(zhuǎn)換方法成為一種趨勢，例如利用 2D 生成模型 Stable Difussion 支持多功能的圖像編輯。因此，我們提出了利用基礎(chǔ)的 2D 生成模型進(jìn)行通用的 NeRF 編輯。
隨之而來的挑戰(zhàn)是 NeRF 和 2D 圖像之間的表示差距，尤其是圖像編輯器通常會(huì)為不同視角生成多種不一致的編輯。最近的一種基于文本的 NeRF 編輯方法 Instruct-NeRF2NeRF 對此進(jìn)行了探究。其采用 “渲染 - 編輯 - 聚合” 的流程，通過逐步渲染多視角圖像、編輯這些圖像，將編輯圖像聚合到 NeRF 中逐步更新 NeRF 場景。然而這種編輯方法，針對特定的編輯需求，經(jīng)過大量的優(yōu)化，只能生成一種特定編輯的結(jié)果，如果用戶不滿意則需要反復(fù)迭代嘗試。
因此，我們提出了「GenN2N」，一種適用于多種 NeRF 編輯任務(wù)的 NeRF-to-NeRF 通用框架，其核心在于用生成的方式來刻畫編輯過程多解性，使其可以借助生成式編輯輕松產(chǎn)生大量符合要求的編輯結(jié)果供用戶挑選。
在 GenN2N 的核心部分，1）引入了 3D VAE-GAN 的生成式框架，使用 VAE 表征整個(gè)編輯空間，來學(xué)習(xí)與一組輸入的 2D 編輯圖像對應(yīng)的所有可能的 3D NeRF 編輯分布，并用 GAN 為編輯 NeRF 的不同視圖提供合理的監(jiān)督，確保編輯結(jié)果的真實(shí)性，2）使用對比學(xué)習(xí)解耦編輯內(nèi)容和視角，確保不同視角間的編輯內(nèi)容一致性，3）在推理時(shí)，用戶簡單地從條件生成模型中隨機(jī)地采樣出多個(gè)編輯碼，就可以生成與編輯目標(biāo)對應(yīng)的各種 3D 編輯結(jié)果。
相比于各種 NeRF 編輯任務(wù)的 SOTA 方法（ICCV2023 Oral 等），GenN2N 在編輯質(zhì)量、多樣性、效率等方面均優(yōu)于已有方法。
方法介紹
我們首先進(jìn)行 2D 圖像編輯，然后將這些 2D 編輯提升到 3D NeRF 來實(shí)現(xiàn)生成式的 NeRF-to-NeRF 的轉(zhuǎn)換。
A. 隱式蒸餾（Latent Distill）
我們用 Latent Distill Module 作為 VAE 的 encoder，為每張編輯圖像學(xué)習(xí)一個(gè)隱式的編輯碼，在 NeRF-to-NeRF 轉(zhuǎn)換中通過此編輯碼控制生成的內(nèi)容。所有編輯碼在 KL loss 的約束下服從一個(gè)良好的正態(tài)分布，以便更好地采樣。為了解耦編輯內(nèi)容和視角，我們精心設(shè)計(jì)了對比學(xué)習(xí)，鼓勵(lì)相同編輯風(fēng)格視角不同的圖片的編輯碼相近，不同編輯風(fēng)格但視角相同的圖片的編輯碼互相遠(yuǎn)離。
B.NeRF-to-NeRF 的轉(zhuǎn)換（Translated NeRF）
我們用 NeRF-to-NeRF Translation 作為 VAE 的 decoder，其以編輯碼作為輸入，將原始的 NeRF 修改為一個(gè)轉(zhuǎn)換 NeRF。我們在原 NeRF 網(wǎng)絡(luò)隱藏層之間添加了殘差層，這些殘差層以編輯碼作為輸入來調(diào)制隱藏層神經(jīng)元，使得轉(zhuǎn)換 NeRF 既能夠保留原本 NeRF 的信息，又可以根據(jù)編輯碼來控制轉(zhuǎn)換 3D 內(nèi)容。同時(shí)，NeRF-to-NeRF Translation 也作為生成器參與生成對抗訓(xùn)練。通過生成而非優(yōu)化的方式，使得我們可以一次性得到多種轉(zhuǎn)換結(jié)果，顯著提升了 NeRF 轉(zhuǎn)換效率和結(jié)果多樣性。
C. 條件判別器（Conditional Discriminator）
轉(zhuǎn)換 NeRF 的渲染圖片構(gòu)成了需要判別的生成空間，這些圖片的編輯風(fēng)格、渲染視角各異，導(dǎo)致生成空間非常復(fù)雜。因此我們提供一個(gè) condition 作為判別器的額外信息。具體而言，判別器在鑒別生成器的渲染圖片
（負(fù)樣本）或訓(xùn)練數(shù)據(jù)中的編輯圖片
（正樣本）時(shí)，我們都從訓(xùn)練數(shù)據(jù)中再挑選一張相同視角的編輯圖片
作為條件，這使得判別器在鑒別正負(fù)樣本時(shí)不會(huì)受到視角因素的干擾。
D. 推理（Inference）
在 GenN2N 優(yōu)化后，用戶可以從正態(tài)分布中隨機(jī)采樣出編輯碼，輸入轉(zhuǎn)換 NeRF 即可生成出編輯后的高質(zhì)量、多視角一致性的 3D NeRF 場景。
實(shí)驗(yàn)
我們在多種 NeRF-to-NeRF 任務(wù)上進(jìn)行了大量的實(shí)驗(yàn)，包括 NeRF 文本驅(qū)動(dòng)編輯、著色、超分辨率、修復(fù)等。實(shí)驗(yàn)結(jié)果展示了 GenN2N 卓越的編輯質(zhì)量、多視角一致性、生成的多樣性和編輯效率。
對比實(shí)驗(yàn)
我們的方法與各種特定 NeRF 任務(wù)的 SOTA 方法進(jìn)行了定性和定量對比（包括文本驅(qū)動(dòng)編輯、著色、超分辨率和修復(fù)等）。結(jié)果表明，GenN2N 作為一個(gè)通用框架，其表現(xiàn)與特定任務(wù) SOTA 相當(dāng)或者更好，同時(shí)編輯結(jié)果具有更強(qiáng)的多樣性（如下是 GenN2N 與 Instruct-NeRF2NeRF 在基于文本的 NeRF 編輯任務(wù)上的對比）。
了解更多實(shí)驗(yàn)、方法內(nèi)容，請參考論文主頁。
團(tuán)隊(duì)介紹
該論文來自香港科技大學(xué)譚平團(tuán)隊(duì)、清華大學(xué) 3DVICI Lab、上海人工智能實(shí)驗(yàn)室和上海期智研究院，論文的作者為香港科技大學(xué)學(xué)生劉襄閱，清華大學(xué)學(xué)生薛晗，香港科技大學(xué)學(xué)生羅堃銘，指導(dǎo)老師為清華大學(xué)弋力老師和香港科技大學(xué)譚平老師。
本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心
