在日常活動(dòng)中，人的運(yùn)動(dòng)經(jīng)常引起衣服的附屬運(yùn)動(dòng) (secondary motion of clothes) 并因此產(chǎn)生不同的衣服褶皺，而這需要對(duì)人體及衣服的幾何、運(yùn)動(dòng)（人體姿態(tài)及速度動(dòng)力學(xué)等）及外觀同時(shí)進(jìn)行動(dòng)態(tài)建模。由于此過程涉及復(fù)雜的人與衣服的非剛體物理交互，導(dǎo)致傳統(tǒng)三維表征往往難以應(yīng)對(duì)。

近年從視頻序列中學(xué)習(xí)動(dòng)態(tài)數(shù)字人渲染已取得了極大的進(jìn)展，現(xiàn)有方法往往把渲染視為從人體姿態(tài)到圖像的神經(jīng)映射，采用 「運(yùn)動(dòng)編碼器—運(yùn)動(dòng)特征—外觀解碼器」的范式。而該范式基于圖像損失做監(jiān)督，過于關(guān)注每一幀圖像重建而缺少對(duì)運(yùn)動(dòng)連續(xù)性的建模，因此對(duì)復(fù)雜運(yùn)動(dòng)如 「人體運(yùn)動(dòng)及衣服附屬運(yùn)動(dòng)」難以有效建模。

為解決這一問題，來自新加坡南洋理工大學(xué) S-Lab 團(tuán)隊(duì)提出運(yùn)動(dòng)—外觀聯(lián)合學(xué)習(xí)的動(dòng)態(tài)人體重建新范式，并提出了基于人體表面的三平面運(yùn)動(dòng)表征 (surface-based triplane)，把運(yùn)動(dòng)物理建模和外觀建模統(tǒng)一在一個(gè)框架中，為提升動(dòng)態(tài)人體渲染質(zhì)量開辟了新的思路。該新范式可有效對(duì)衣服附屬運(yùn)動(dòng)建模，并可用于從快速運(yùn)動(dòng)的視頻（如跳舞）中學(xué)習(xí)動(dòng)態(tài)人體重建，以及渲染運(yùn)動(dòng)相關(guān)的陰影。在渲染效率上比三維體素渲染方法快 9 倍，LPIPS 圖像質(zhì)量提高約 19 個(gè)百分點(diǎn)。

• 論文標(biāo)題：SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering
• 論文地址：https://arxiv.org/pdf/2404.01225.pdf
• 項(xiàng)目主頁：https://taohuumd.github.io/projects/SurMo
• Github 鏈接：https://github.com/TaoHuUMD/SurMo

方法概覽

針對(duì)已有范式「運(yùn)動(dòng)編碼器—運(yùn)動(dòng)特征—外觀解碼器」只關(guān)注于外觀重建而忽略運(yùn)動(dòng)連續(xù)性建模的缺點(diǎn)，提出了新范式 SurMo ：「①運(yùn)動(dòng)編碼器—運(yùn)動(dòng)特征——②運(yùn)動(dòng)解碼器、③外觀解碼器」。如上圖所示，該范式分為三個(gè)階段：

• 區(qū)別于已有方法在稀疏三維空間對(duì)運(yùn)動(dòng)建模，SurMo 提出基于人體表面流形場(chǎng)（或緊湊的二維紋理 UV 空間）的四維（XYZ-T）運(yùn)動(dòng)建模，并通過定義在人體表面的三平面（surface-based triplane）來表征運(yùn)動(dòng)。
• 提出運(yùn)動(dòng)物理解碼器去根據(jù)當(dāng)前運(yùn)動(dòng)特征（如三維姿態(tài)、速度、運(yùn)動(dòng)軌跡等）預(yù)測(cè)下一幀運(yùn)動(dòng)狀態(tài)，如運(yùn)動(dòng)的空間偏導(dǎo)—表面法向量和時(shí)間偏導(dǎo)—速度，以此對(duì)運(yùn)動(dòng)特征做連續(xù)性建模。
• 四維外觀解碼，對(duì)運(yùn)動(dòng)特征在時(shí)序上解碼以此渲染三維自由視點(diǎn)視頻，主要通過混合體素—紋理神經(jīng)渲染方式實(shí)現(xiàn) (Hybrid Volumetric-Textural Rendering, HVTR [Hu et al. 2022]).

SurMo 可基于重建損失和對(duì)抗損失端到端訓(xùn)練，從視頻中學(xué)習(xí)動(dòng)態(tài)人體渲染。

實(shí)驗(yàn)結(jié)果

該研究在 3 個(gè)數(shù)據(jù)集，共 9 個(gè)動(dòng)態(tài)人體視頻序列上進(jìn)行了實(shí)驗(yàn)評(píng)估: ZJU-MoCap [Peng et al. 2021], AIST++ [Li, Yang et al. 2021] MPII-RRDC [Habermann et al. 2021] .

新視點(diǎn)時(shí)序渲染

該研究在 ZJU-MoCap 數(shù)據(jù)集上探究在新視點(diǎn)下對(duì)一段時(shí)序的動(dòng)態(tài)渲染效果 (time-varying appearances)，特別研究了 2 段序列，如下圖所示。每段序列包含相似的姿態(tài)但出現(xiàn)在不同的運(yùn)動(dòng)軌跡中，如①②，③④，⑤⑥。SurMo 可對(duì)運(yùn)動(dòng)軌跡建模，因此生成隨時(shí)間變化的動(dòng)態(tài)效果，而相關(guān)的方法生成的結(jié)果只取決于姿態(tài)，在不同軌跡下衣服的褶皺幾乎一樣。

渲染運(yùn)動(dòng)相關(guān)的陰影及衣服附屬運(yùn)動(dòng)

SurMo 在 MPII-RRDC 數(shù)據(jù)集上探究了運(yùn)動(dòng)相關(guān)的陰影及衣服附屬運(yùn)動(dòng)，如下圖所示。該序列在室內(nèi)攝影棚拍攝，在燈光條件下，由于自遮擋問題，表演者身上會(huì)出現(xiàn)與運(yùn)動(dòng)相關(guān)的陰影。

SurMo 在新視點(diǎn)渲染下，可恢復(fù)這些陰影，如①②，③④，⑦⑧。而對(duì)比方法 HumanNeRF [Weng et al.] 則無法恢復(fù)與運(yùn)動(dòng)相關(guān)的陰影。此外，SurMo 可重建隨運(yùn)動(dòng)軌跡變化的衣服附屬運(yùn)動(dòng)，如跳躍運(yùn)動(dòng)中不同的褶皺 ⑤⑥，而 HumanNeRF 無法重建該動(dòng)態(tài)效果。

渲染快速運(yùn)動(dòng)的人體

SurMo 也從快速運(yùn)動(dòng)的視頻中渲染人體，并恢復(fù)與運(yùn)動(dòng)相關(guān)的衣服褶皺細(xì)節(jié)，而對(duì)比方法則無法渲染出這些動(dòng)態(tài)細(xì)節(jié)。

消融實(shí)驗(yàn)

（1）人體表面運(yùn)動(dòng)建模

該研究對(duì)比了兩種不同的運(yùn)動(dòng)建模方式：目前常用的在體素空間 (Volumetric space) 的運(yùn)動(dòng)建模，以及 SurMo 提出的在人體表面流形場(chǎng)的運(yùn)動(dòng)建模 (Surface manifold) ，具體比較了 Volumetric triplane 與 Surface-based triplane，如下圖所示。

可以發(fā)現(xiàn)，Volumetric triplane 是一種稀疏表達(dá)，僅有大約 21-35% 的特征用于渲染，而 Surface-based triplane 特征利用率可達(dá) 85%，因此在處理自遮擋方面更有優(yōu)勢(shì)，如（d）所示。同時(shí) Surface-based triplane 可通過體素渲染中過濾部分遠(yuǎn)離表面的點(diǎn)實(shí)現(xiàn)更快的渲染，如圖（c）所示。

同時(shí)，該研究論證 Surface-based triplane 可比 Volumetric triplane 在訓(xùn)練過程收斂更快，在衣服褶皺細(xì)節(jié)、自遮擋上均有明顯優(yōu)勢(shì)，如上圖所示。

（2）動(dòng)力學(xué)學(xué)習(xí)

SurMo 通過消融實(shí)驗(yàn)研究了運(yùn)動(dòng)建模的效果，如下圖所示。結(jié)果顯示，SurMo 可解耦運(yùn)動(dòng)的靜態(tài)特性（如某一幀下固定姿態(tài)）及動(dòng)態(tài)特性（如速度）。例如當(dāng)改變速度的時(shí)候，貼身衣服褶皺不變，如①，而寬松衣服褶皺則受速度影響較大，如②，這與日常人們的觀測(cè)相一致。

本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心

原文鏈接:??https://mp.weixin.qq.com/s/QKuR2BzCFSBQ0epP2b4ZWQ??