本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

只需1張普通照片，就能合成全角度動態(tài)3D視頻。

眨個眼、動動嘴，都是小case~

最近AIGC爆火，3D人像模型生成這邊也沒閑著。

如StyleNerf、StyleSDF、EG3D等方法相繼出世。

但到目前為止，這種生成模型都還停留在單幀人像上。

最近，來自新加坡國立大學(xué)（NUS）和字節(jié)跳動的研究人員，在靜態(tài)3D模型的基礎(chǔ)上，提出了首個3D人像視頻生成模型：PV3D（3D model for Portrait Video generation）。

PV3D的訓(xùn)練繼承了3D GAN模型的優(yōu)點，即無需動態(tài)的三維數(shù)據(jù)監(jiān)督，只需要在足夠數(shù)量的單視角2D視頻數(shù)據(jù)上進行訓(xùn)練。

該生成框架將人像和動作進行解耦，基于視頻的時間戳生成各自的三維表征，讓視頻可以從任意角度進行渲染。

長視頻也能挑戰(zhàn)：

3D動態(tài)人像生成

PV3D分別從獨立的高斯分布中采樣隨機噪聲來表征外表和運動，外表噪聲生成視頻的主體內(nèi)容，控制人像的ID以及人臉的各個部分，運動噪聲配合視頻幀的時間戳控制當(dāng)前幀的動作。

為了確保生成內(nèi)容的真實性以及外表和運動的解耦，PV3D訓(xùn)練兩個獨立的判別器分別判定外表和運動的合理性。

該方法可以生成隨機的人像視頻以及相應(yīng)的高質(zhì)量的動態(tài)幾何表面，讓視頻可以從任意角度進行渲染。

同時，該方法可以支持下游的應(yīng)用任務(wù)，比如靜態(tài)人像驅(qū)動，人像視頻的重建以及對人像動作的修改，所有的結(jié)果均可以保持高的多視角一致性。

主流的3D GAN模型都脫胎于StyleGAN結(jié)構(gòu)。

因此這些模型均會將采樣得到的噪聲先映射到一個高維度的中間隱式編碼(intermidate latent code)，大量現(xiàn)有的研究表明這種結(jié)構(gòu)的隱式空間包含了豐富的語義信息，可以用來控制生成的圖像內(nèi)容。

因此，最直接的拓展方式就是使用預(yù)訓(xùn)練的單幀3D GAN模型，通過學(xué)習(xí)一個額外的在隱式空間進行推理的時序模型對生成的內(nèi)容進行合理的改變，從而生成3D人像視頻。

然而，該方法的缺點是圖片生成器和時序推理模型在不同的階段分別被優(yōu)化，導(dǎo)致最終的視頻很難保持時間上的一致性。

另一種主流的視頻生成模型使用稀疏訓(xùn)練的方式，在訓(xùn)練階段直接隨機生成視頻中的少量幀，使用少數(shù)幀的時間戳編碼運動信息，進一步的改變中間隱式編碼從而一次性優(yōu)化完整的生成器。

然而這種做法將全部的時序信息都包含在隱式空間中，導(dǎo)致最終的模型多樣性較差、生成質(zhì)量較低。

與上述方法不同，PV3D在原有GAN模型的基礎(chǔ)上在特定尺度的生成模塊中插入運動信息的編碼層，這些編碼層獨立地將控制運動的噪聲映射為隱式編碼，使用modulated convolution操縱外表特征，再將操縱后的特征與原始特征融合，從而提高生成視頻的時序一致性和運動多樣性。

此外，本工作還研究了以下問題：

如何有效地在視頻生成任務(wù)中利用渲染的視角先驗信息

針對3D視頻生成，如何設(shè)計合理的外表和運動判別器

PV3D模型基于最新的靜態(tài)3D GAN模型EG3D進行開發(fā)，EG3D采用高效的3D表征Tri-plane實現(xiàn)圖像生成。

在訓(xùn)練階段，PV3D采用稀疏訓(xùn)練的策略，對于一個視頻采樣兩個噪聲、兩個時間戳以及各自時刻對應(yīng)的相機視角。

相對應(yīng)的，模型生成兩幀對應(yīng)的3D表征進行渲染得到粗糙的結(jié)果。隨后使用超分辨率模塊將圖片上采樣。

PV3D設(shè)計了兩個獨立的判別器監(jiān)督網(wǎng)絡(luò)的學(xué)習(xí)，其中視頻判別器會編碼兩幀的相機視角以及時間間隔去判斷生成結(jié)果的合理性。

實驗部分

評價指標

研究人員使用FVD來評估生成視頻的質(zhì)量。此外，為了評估多視角的一致性以及3D幾何結(jié)構(gòu)的質(zhì)量，研究人員將3D GAN工作中常用的評價指標(生成人像的ID一致性、Chamfer距離、多視角的重投影誤差)拓展到視頻任務(wù)中。

與基線的對比

研究人員首先采用同期的3D視頻生成工作3DVidGen作為基線。此外，研究人員還基于SOTA的單幀3D GAN (EG3D和StyleNerf) 和2D視頻生成模型構(gòu)建了三個基線模型。在3個公開數(shù)據(jù)集(VoxCeleb, CelebV-HQ, TalkingHead-1KH)上的實驗結(jié)果表明，PV3D在生成視頻的多樣性，3D幾何的質(zhì)量，以及多視角一致性上均超越基線模型。

消融實驗

研究人員對PV3D的各部分設(shè)計進行了消融實驗，例如：運動信息的編碼和注入的位置，運動信息的插入方式，相機視角的采樣策略，以及視頻判別器的設(shè)計。

團隊介紹

目前，該論文已被ICLR 2023接收。

作者團隊由新加坡國立大學(xué)Show Lab和字節(jié)跳動組成。

論文地址：https://openreview.net/pdf?id=o3yygm3lnzS

項目主頁：https://showlab.github.io/pv3d/