就在最近，Meta和UC伯克利聯(lián)合提出了一種全新的虛擬人物形象生成的方法——

直接根據(jù)音頻生成全身人像，效果不僅逼真，還能模擬出原音頻中包含的細(xì)節(jié)，比如手勢(shì)、表情、情緒等等。

圖片

論文地址：https://arxiv.org/abs/2401.01885

話不多說(shuō)，直接上圖。

圖片

可以看到，人像刷地一下就出來(lái)了，十分逼真。

而且從上面的文字對(duì)話可以看到，就是在講可以用音頻生成虛擬人像這件事。講者的手勢(shì)動(dòng)作真的像是在做講解。

音頻到Avatar，一步！

這個(gè)系統(tǒng)不光可以生成全身逼真的形象，人像還會(huì)根據(jù)二人互動(dòng)的對(duì)話動(dòng)態(tài)做出手勢(shì)。

給定語(yǔ)音音頻后，音頻會(huì)為一個(gè)人輸出多種可能的手勢(shì)動(dòng)作，包括面部、身體和雙手等部位。

Meta表示，方法的關(guān)鍵就在于將矢量量化帶來(lái)的樣本多樣性優(yōu)勢(shì)與通過(guò)擴(kuò)散獲得的高頻細(xì)節(jié)相結(jié)合，從而生成更具動(dòng)態(tài)和表現(xiàn)力的動(dòng)作。

圖片

研究團(tuán)隊(duì)使用了高度逼真的人像，將生成的運(yùn)動(dòng)可視化。這些頭像可以表達(dá)手勢(shì)中的關(guān)鍵細(xì)微差別（如譏笑和傻笑）。

為了促進(jìn)這一研究方向，Meta首次引入了一個(gè)叫作多視角對(duì)話數(shù)據(jù)集的玩意兒，可以讓用戶進(jìn)行逼真的重建。

實(shí)驗(yàn)表明，Meta的新模型能生成恰當(dāng)且多樣化的手勢(shì)，從性能上講，要優(yōu)于擴(kuò)散和純VQ的方法。

此外，在研究過(guò)程中，Meta在感知評(píng)估這一塊強(qiáng)調(diào)了逼真度在準(zhǔn)確評(píng)估對(duì)話手勢(shì)中所包含的微妙運(yùn)動(dòng)細(xì)節(jié)方面的重要性。

Meta已將代碼和數(shù)據(jù)集公開(kāi)發(fā)布在了網(wǎng)站上。

具體來(lái)看，要實(shí)現(xiàn)這個(gè)最終結(jié)果，有以下6個(gè)步驟：

1. 一個(gè)新穎、豐富的二元對(duì)話數(shù)據(jù)集，可以進(jìn)行逼真的重構(gòu)。

圖片

2. 由三部分組成的運(yùn)動(dòng)模型：面部運(yùn)動(dòng)模型、引導(dǎo)姿勢(shì)預(yù)測(cè)器和身體運(yùn)動(dòng)模型。

圖片

3. 給定音頻和預(yù)訓(xùn)練唇語(yǔ)回歸器的輸出，Meta訓(xùn)練一個(gè)條件擴(kuò)散模型來(lái)輸出面部運(yùn)動(dòng)。

圖片

4. 對(duì)于身體部分，Meta將音頻作為輸入，并以1fps的速度自回歸輸出VQ-ed引導(dǎo)姿勢(shì)。

圖片

5. 然后，將音頻和引導(dǎo)姿態(tài)傳遞到同一個(gè)擴(kuò)散模型中，以30 fps的速度填充高頻率的身體運(yùn)動(dòng)。

圖片

6. 最后，生成的面部和肢體運(yùn)動(dòng)都會(huì)傳入Meta訓(xùn)練過(guò)的人像渲染器，生成逼真的人像。

圖片

然后，成品就有了！

圖片

Meta在博客中列舉了四個(gè)比較有特色的點(diǎn)，以此來(lái)凸顯效果的逼真和模型的強(qiáng)大。

1. 甩腕表示梳理要點(diǎn)；講故事時(shí)聳肩。

2. 表達(dá)「它們的發(fā)生肯定是有原因的」時(shí)，強(qiáng)調(diào)手臂的動(dòng)作；用手指的動(dòng)作來(lái)表示陳述。

圖片

3. 通過(guò)手部動(dòng)作來(lái)配合談話，以及聲音的起伏。

圖片

4. 提問(wèn)時(shí)手指的動(dòng)作細(xì)節(jié)；想問(wèn)題時(shí)頭向后仰，做思考狀；回答時(shí)手向外推。

圖片

論文

經(jīng)過(guò)前面的介紹，整個(gè)流程大家估計(jì)已經(jīng)很熟悉了。

無(wú)非就是，音頻輸入、中間過(guò)程，以及最終輸出。

圖片

關(guān)于對(duì)話的原始音頻，Meta引入了一個(gè)模型（上面提到過(guò)），該模型能為兩人中的其中一人生成相應(yīng)的逼真面部、身體和手部動(dòng)作。

研究人員從記錄的多視角數(shù)據(jù)中提取潛在表情代碼來(lái)表示面部特征，并用運(yùn)動(dòng)骨架中的關(guān)節(jié)角度來(lái)表示身體姿勢(shì)。

該系統(tǒng)由兩個(gè)生成模型組成，在輸入二人對(duì)話音頻的情況下，生成表情代碼和身體姿勢(shì)序列。

圖片

然后，就可以使用Meta的神經(jīng)人像渲染器，逐幀渲染表情代碼和身體姿勢(shì)序列。

首先，臉部與輸入音頻的相關(guān)性很強(qiáng)，尤其是嘴唇的運(yùn)動(dòng)，而身體與語(yǔ)音的相關(guān)性較弱。這就導(dǎo)致在給定的語(yǔ)音輸入中，肢體手勢(shì)的合理性更加多樣化。

其次，由于在兩個(gè)不同的空間（學(xué)習(xí)到的表情代碼與關(guān)節(jié)角度）中表示面部和身體，因此它們各自遵循不同的時(shí)間動(dòng)態(tài)。因此，研究人員選擇用兩個(gè)獨(dú)立的運(yùn)動(dòng)模型來(lái)模擬面部和身體。這樣，臉部模型就可以將其能力用于生成與語(yǔ)音一致的臉部細(xì)節(jié)，而身體模型則可以專注于生成多樣但合理的身體運(yùn)動(dòng)。

此外，面部運(yùn)動(dòng)模型是一個(gè)擴(kuò)散模型，以輸入音頻和由預(yù)先訓(xùn)練的唇部回歸器生成的唇部頂點(diǎn)為條件，如下圖所示。

圖片

對(duì)于肢體運(yùn)動(dòng)模型，Meta發(fā)現(xiàn)，僅以音頻為條件的純擴(kuò)散模型產(chǎn)生的運(yùn)動(dòng)多樣性較少，而且在時(shí)間上顯得不可思議。

但是，當(dāng)以不同的引導(dǎo)姿勢(shì)為條件時(shí)，質(zhì)量就會(huì)提高。

因此，Meta選擇將身體運(yùn)動(dòng)模型分為兩部分：首先，自回歸音頻條件變換器以 1fps 的速度預(yù)測(cè)粗略的引導(dǎo)姿勢(shì)，然后擴(kuò)散模型利用這些粗略的引導(dǎo)姿勢(shì)來(lái)填充細(xì)粒度和高頻運(yùn)動(dòng)。

圖片

為了從音頻輸入生成面部動(dòng)作，Meta構(gòu)建了一個(gè)以音頻為條件的擴(kuò)散模型，遵循DDPM對(duì)擴(kuò)散的定義。

前向噪聲過(guò)程定義為：

圖片

其中，F(xiàn)(0)近似于無(wú)噪聲的面部表情代碼序列，τ∈ [1, ... , T˙]表示前向擴(kuò)散步驟，ατ∈ (0, 1) 遵循單調(diào)遞減。當(dāng) τ接近T˙時(shí)，Meta對(duì)F(T˙)～N(0, I)進(jìn)行采樣。

為了逆轉(zhuǎn)噪聲過(guò)程，Meta定義了一個(gè)模型，從噪聲F(τ)中去噪F(0)。

然后，將前向過(guò)程應(yīng)用于預(yù)測(cè)的F(0)，就能得到反向過(guò)程的下一步F(τ-1) 。

而對(duì)于身體動(dòng)作的模型，給定對(duì)話的輸入音頻后，自注意力模型P會(huì)生成多種多樣的引導(dǎo)姿勢(shì)序列樣本，包括傾聽(tīng)反應(yīng)、說(shuō)話手勢(shì)和插話。

P會(huì)從豐富的已學(xué)姿勢(shì)代碼庫(kù)中采樣，可生成各種姿勢(shì)，甚至還有如指點(diǎn)、搔癢、鼓掌等小動(dòng)作，在不同樣本中具有很高的多樣性。

圖片

然后，這些不同的姿勢(shì)將被用于身體擴(kuò)散模型J的條件。

實(shí)驗(yàn)階段，Meta評(píng)估了模型有效生成逼真對(duì)話動(dòng)作的能力。

研究人員根據(jù)跟蹤的實(shí)況數(shù)據(jù)（F、J）對(duì)結(jié)果的真實(shí)性和多樣性進(jìn)行了定量評(píng)估。

同時(shí)還進(jìn)行了感知評(píng)估，以證實(shí)定量結(jié)果，并衡量生成的手勢(shì)在特定對(duì)話環(huán)境中的適當(dāng)性。

評(píng)估結(jié)果表明，在逼真的頭像上呈現(xiàn)的手勢(shì)比在三維網(wǎng)格上呈現(xiàn)的手勢(shì)更容易被評(píng)估者感知。

下圖為基線和消融（ablation）與實(shí)況（GT）的對(duì)比。下箭頭↓ 表示越低越好。

Meta對(duì)數(shù)據(jù)集中的所有受試者取平均值，并對(duì)Divsample的5個(gè)序列進(jìn)行采樣，并對(duì)每個(gè)指標(biāo)的所有采樣取平均值。下標(biāo)為標(biāo)準(zhǔn)偏差（μσ）。

圖片

下圖為唇部動(dòng)作的誤差。垂直和水平距離是上下和左右關(guān)鍵點(diǎn)之間沿Y（X）軸的距離。

下表中顯示的是GT與生成距離之間的L2差值。Mesh L2指的是唇部區(qū)域生成網(wǎng)格頂點(diǎn)與GT網(wǎng)格頂點(diǎn)的誤差。誤差單位為平方毫米。

圖片

為了量化對(duì)話中的手勢(shì)連貫性，Meta主要通過(guò)感知評(píng)估來(lái)評(píng)價(jià)。

研究團(tuán)隊(duì)在Amazon Mechanical Turk上進(jìn)行了兩種不同的A/B測(cè)試。在第一個(gè)測(cè)試中，評(píng)估者觀看的是在普通非紋理網(wǎng)格上渲染的動(dòng)作。在第二項(xiàng)測(cè)試中，評(píng)估者觀看的是逼真人像上的運(yùn)動(dòng)視頻。

在這兩種情況下，評(píng)估者都觀看了一系列視頻對(duì)比。

在每對(duì)視頻中，一個(gè)視頻來(lái)自Meta的模型，另一個(gè)視頻來(lái)自最強(qiáng)基線LDA或GT。然后，評(píng)估人員被要求根據(jù)對(duì)話音頻找出看起來(lái)更合理的動(dòng)作。

同時(shí)，可選答案還細(xì)化到了略微偏好與強(qiáng)烈偏好。

如下圖所示，Meta引入的方法明顯優(yōu)于最強(qiáng)基準(zhǔn)LDA，大約70%的評(píng)估者在Mesh和照片真實(shí)設(shè)置中都更喜歡Meta的成品。

有趣的是，當(dāng)以逼真的方式可視化時(shí)，評(píng)估者對(duì)該方法的偏好從略微偏好轉(zhuǎn)為了強(qiáng)烈偏好。

而當(dāng)將Meta的方法與GT進(jìn)行比較時(shí)，這一趨勢(shì)仍在繼續(xù)。

在基于Mesh的渲染中，Meta的方法與GT相比，同樣具有競(jìng)爭(zhēng)力，但在逼真領(lǐng)域卻落后了。43%的評(píng)估者強(qiáng)烈傾向于GT而非Meta的方法。

由于Mesh通常會(huì)掩蓋微妙的運(yùn)動(dòng)細(xì)節(jié)，因此很難準(zhǔn)確評(píng)估手勢(shì)中的細(xì)微差別，導(dǎo)致評(píng)估者會(huì)對(duì)不正確的運(yùn)動(dòng)更加寬容。

綜上來(lái)看，結(jié)果表明，逼真度對(duì)于準(zhǔn)確評(píng)估對(duì)話動(dòng)作至關(guān)重要。

圖片

參考資料：

https://people.eecs.berkeley.edu/~evonne_ng/projects/audio2photoreal/