在 19 世紀(jì)，印象主義的藝術(shù)運(yùn)動(dòng)在繪畫、雕塑、版畫等藝術(shù)領(lǐng)域盛行，其特點(diǎn)是以「短小的、斷斷續(xù)續(xù)的筆觸，幾乎不傳達(dá)形式」為特征，就是后來的印象派。簡(jiǎn)單來說印象派筆觸未經(jīng)修飾而顯見，不追求形式的精準(zhǔn)，模糊的也合理，其將光與色的科學(xué)觀念引入到繪畫之中，革新了傳統(tǒng)固有色觀念。

在 D3GA 中，作者的目標(biāo)反其道而行之，是希望創(chuàng)建像照片般逼真的表現(xiàn)。在 D3GA 中，作者對(duì)高斯?jié)姙R（Gaussian Splatting）進(jìn)行創(chuàng)造性的運(yùn)用，作為現(xiàn)代版的「段筆觸」，來創(chuàng)造實(shí)時(shí)穩(wěn)定的虛擬角色的結(jié)構(gòu)和外觀。

印象派畫家莫奈代表作《日出?印象》。

對(duì)于虛擬形象的構(gòu)建工作來說，創(chuàng)造驅(qū)動(dòng)型（即可以生成動(dòng)畫新內(nèi)容）的逼真人類形象目前需要密集的多視角數(shù)據(jù)，因?yàn)閱文糠椒ㄈ狈?zhǔn)確性。此外，現(xiàn)有的技術(shù)依賴于復(fù)雜的預(yù)處理，包括精確的 3D 配準(zhǔn)。然而，獲取這些配準(zhǔn)需要迭代，很難集成到端到端的流程中去。而其它不需要準(zhǔn)確配準(zhǔn)的方法基于神經(jīng)輻射場(chǎng)（NeRFs），通常對(duì)于實(shí)時(shí)渲染來說太慢，或者在服裝動(dòng)畫方面存在困難。

Kerbl 等人在經(jīng)典 Surface Splatting 渲染方法基礎(chǔ)上引入了 3D Gaussian Splatting（3DGS）。與基于神經(jīng)輻射場(chǎng)的最先進(jìn)方法相比，這種方法在更快的幀率下呈現(xiàn)更高質(zhì)量的圖像，并且不需要任何高度準(zhǔn)確的 3D 初始化。

但是，3DGS 是為靜態(tài)場(chǎng)景設(shè)計(jì)的。并且已經(jīng)有人提出基于時(shí)間條件的 Gaussian Splatting 可用來渲染動(dòng)態(tài)場(chǎng)景，這些模型只能回放先前觀察到的內(nèi)容，所以不適用于表達(dá)新的或其未曾見過的運(yùn)動(dòng)。

在驅(qū)動(dòng)型的神經(jīng)輻射場(chǎng)的基礎(chǔ)上，作者對(duì) 3D 的人類的外觀及變形進(jìn)行建模，將其放置在一個(gè)規(guī)范化的空間中，但使用 3D 高斯而不是輻射場(chǎng)。除性能更好以外，Gaussian Splatting 還不需要使用相機(jī)射線采樣啟發(fā)式方法。

剩下的問題是定義觸發(fā)這些 cage 變形的信號(hào)。目前在驅(qū)動(dòng)型的虛擬角色中的最新技術(shù)需要密集的輸入信號(hào)，如 RGB-D 圖像甚至是多攝像頭，但這些方法可能不適用于傳輸帶寬比較低的情況。在本研究中，作者采用基于人體姿勢(shì)的更緊湊輸入，包括以四元數(shù)形式的骨骼關(guān)節(jié)角度和 3D 面部關(guān)鍵點(diǎn)。

通過在九個(gè)高質(zhì)量的多視圖序列上訓(xùn)練個(gè)體特定的模型，涵蓋各種身體形狀、動(dòng)作和服裝（不僅限于貼身服裝），以后我們就可以通過任何主體的新姿勢(shì)對(duì)人物形象進(jìn)行驅(qū)動(dòng)了。

方法概覽

• 論文鏈接：https://arxiv.org/pdf/2311.08581.pdf
• 項(xiàng)目鏈接：https://zielon.github.io/d3ga/

目前用于動(dòng)態(tài)體積化虛擬角色的方法要么將點(diǎn)從變形空間映射到規(guī)范空間，要么僅依賴正向映射?；诜聪蛴成涞姆椒ㄍ谝?guī)范空間中會(huì)累積誤差，因?yàn)樗鼈冃枰粋€(gè)容易出錯(cuò)的反向傳遞，并且在建模視角相關(guān)效果時(shí)存在問題。

因此，作者決定采用僅正向映射的方法。D3GA 是基于 3DGS 的基礎(chǔ)上通過神經(jīng)表示和 cage 進(jìn)行擴(kuò)展，分別對(duì)虛擬角色的每個(gè)動(dòng)態(tài)部分的顏色和幾何形狀進(jìn)行建模。

D3GA 使用 3D 姿勢(shì) ?、面部嵌入 κ、視點(diǎn) dk 和規(guī)范 cage v（以及自動(dòng)解碼的顏色特征 hi）來生成最終的渲染 Cˉ 和輔助分割渲染 Pˉ。左側(cè)的輸入通過每個(gè)虛擬角色部分的三個(gè)網(wǎng)絡(luò)（ΨMLP、ΠMLP、ΓMLP）進(jìn)行處理，以生成 cage 位移?v、高斯變形 bi、qi、si 以及顏色 / 透明度 ci、oi。

在 cage 變形將規(guī)范高斯變形后，通過方程式 9，它們被光柵化成最終的圖像。

實(shí)驗(yàn)結(jié)果

D3GA 在 SSIM、PSNR 和感知度量 LPIPS 等指標(biāo)上進(jìn)行評(píng)估。表 1 顯示，D3GA 在只使用 LBS 的方法中（即不需要為每個(gè)幀掃描 3D 數(shù)據(jù)）其在 PSNR 和 SSIM 上的表現(xiàn)是最佳的，并在這些指標(biāo)中勝過所有 FFD 方法，僅次于 BD FFD，盡管其訓(xùn)練信號(hào)較差且沒有測(cè)試圖像（DVA 是使用所有 200 臺(tái)攝像機(jī)進(jìn)行測(cè)試的）。

定性比較顯示，與其它最先進(jìn)方法相比，D3GA 能更好地建模服裝，特別是像裙子或運(yùn)動(dòng)褲這樣的寬松服裝 (圖 4)。FFD 代表自由形變網(wǎng)格，其包含比 LBS 網(wǎng)格更豐富的訓(xùn)練信號(hào) (圖 9)。

與其基于體積方法相比，作者的方法可以將虛擬角色的服裝分離出來，并且服裝也是可驅(qū)動(dòng)的。圖 5 顯示了每個(gè)單獨(dú)的服裝層，可以僅通過骨骼關(guān)節(jié)角度控制，而不需要特定的服裝配準(zhǔn)模塊。