實時可編輯3D重建！鼠標(biāo)拖拽就能控制，港大VAST浙大聯(lián)合出品
最近，高斯濺射（Gaussian Splatting）在新視角合成領(lǐng)域掀起了一輪革命性浪潮，取代上一代技術(shù)神經(jīng)輻射場（NeRF）成為學(xué)界業(yè)界頂流。而真實場景往往是動態(tài)的，如何合成動態(tài)場景的新視角是更具價值與挑戰(zhàn)的領(lǐng)域。
?
隨著圖形學(xué)與AI的發(fā)展，數(shù)字資產(chǎn)的創(chuàng)造日益引起人們的重視。對于重建的真實場景進行編輯也是AIGC領(lǐng)域業(yè)內(nèi)關(guān)注的熱門方向，其為制作數(shù)字資產(chǎn)提供了高效與便捷。
香港大學(xué)CVMI實驗室攜手3D大模型公司VAST與浙江大學(xué)，提出了目前SOTA的動態(tài)高斯濺射模型SC-GS，并支持用戶交互式實時編輯重建的場景。
△面向可編輯動態(tài)場景的稀疏控制高斯濺射
SC-GS支持用戶對重建的動態(tài)高斯進行實時交互編輯，制作新的場景運動或形狀：
使用鼠標(biāo)的拖拽與鍵盤組合按鍵就能夠方便的操作。
△實時交互編輯
怎么做到的？
SC-GS的靈感來源于對自然世界大多數(shù)動態(tài)過程的觀察，由于物質(zhì)大多數(shù)都是剛性或連續(xù)的，因此物體的移動往往可以由稀疏的變形基底表示，并不需要稠密的變形場進行建模。
摒棄了大多數(shù)現(xiàn)有方法對動態(tài)場景的變形場進行稠密建模的方案，SC-GS突破性地引入稀疏的控制點對動態(tài)場景的變形進行表示與建模，并由一個神經(jīng)網(wǎng)絡(luò)預(yù)測每個控制點在不同時刻的運動狀態(tài)，從而驅(qū)動整個場景中的動態(tài)高斯進行變形。
SC-GS首先初始化少數(shù)各向同性的球狀高斯結(jié)合神經(jīng)網(wǎng)絡(luò)預(yù)測的運動進行渲染，使用渲染結(jié)果擬合動態(tài)場景的多視角圖片，得到粗糙但不過擬合的變形場建模。
通過對這些球狀高斯進行降采樣，得到預(yù)設(shè)數(shù)量的稀疏控制點，并通過徑向基函數(shù)插值得到標(biāo)準(zhǔn)空間中各個高斯在不同時刻的變形參數(shù)進行驅(qū)動變形。
訓(xùn)練過程中，稀疏控制點，神經(jīng)網(wǎng)絡(luò)還有高斯共同訓(xùn)練優(yōu)化，實現(xiàn)動態(tài)場景的建模。
研究團隊發(fā)現(xiàn)稀疏控制點雖然能夠完美解決變形場過擬合到訓(xùn)練視角的問題，但其重建的變形也會出現(xiàn)不符合真實物理的現(xiàn)象。這是由于控制點的運動缺乏物理約束，容易出現(xiàn)交錯與碰撞。
因此研究團隊引入了局部剛性約束，限制控制點與鄰接點形成的邊在運動過程發(fā)生非剛性變形，以讓控制點的運動規(guī)律盡可能地符合真實物理。
這一約束進一步提升了動態(tài)新視角合成的性能。
基于訓(xùn)練完成的模型，通過分析控制點的軌跡，能夠得到控制點連接形成的圖結(jié)構(gòu)與各個邊上的剛性權(quán)重。通過對該圖進行“盡可能剛性”（ARAP）的變形，能夠以符合物理的條件對建模場景進行編輯。
由于變形的對象是稀疏的控制點，因此變形過程能夠?qū)崟r進行，這也為交互式編輯提供了可能，讓用戶能夠更高效，更便捷的創(chuàng)建屬于自己的數(shù)字資產(chǎn)。
△基于稀疏控制點驅(qū)動稠密高斯的方法框架
實驗結(jié)果
SC-GS能夠?qū)鼍斑M行交互式編輯，制作新的場景運動或形狀。
△動作形狀編輯結(jié)果
SC-GS提供了方便快捷的編輯方案，在可視化窗口界面利用鼠標(biāo)拖拽與鍵盤按鍵即可實現(xiàn)。
此外，SC-GS能夠以SOTA的性能合成動態(tài)場景的新視角圖片，對于精細的幾何紋理細節(jié)都有著最高的保真度。對于人體手指，恐龍骨骼等精細部位的渲染都有著精準(zhǔn)的復(fù)現(xiàn)。
△DNeRF數(shù)據(jù)集定性對比，SC-GS超過現(xiàn)有方法達到最佳視覺質(zhì)量
定量實驗同樣表明，SC-GS遠超現(xiàn)有方法，在DNeRF數(shù)據(jù)集上實現(xiàn)了均值超過40的PSNR指標(biāo)。
△SC-GS全面大幅度超越現(xiàn)有的動態(tài)場景新視角合成方法
最后研究人員表示：
SC-GS讓我們看到了高斯濺射在動態(tài)場景與交互式編輯方面的潛力，我們期待2024年會有更精彩的工作與探索。
項目主頁：https://yihua7.github.io/SC-GS-web/
論文鏈接：https://arxiv.org/pdf/2312.14937.pdf
代碼倉庫：https://github.com/yihua7/SC-GS
本文轉(zhuǎn)自 量子位 ，作者：量子位
