在數(shù)字娛樂、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域，創(chuàng)建真實(shí)感強(qiáng)、能夠表達(dá)豐富情感的3D虛擬人物一直是研究的熱點(diǎn)。最近，來自DGIST和Codec Avatars Lab, Meta的研究團(tuán)隊(duì)在這一領(lǐng)域取得了突破性進(jìn)展，他們提出了一種名為ExAvatar的技術(shù)，能夠從單目的視頻中學(xué)習(xí)并創(chuàng)建出具有豐富表情和手勢的全身3D人像。本文將對這項(xiàng)技術(shù)進(jìn)行詳細(xì)解讀。
一、研究背景
傳統(tǒng)的3D人像往往只能模擬身體動作，而無法表現(xiàn)面部表情和手部動作。這限制了虛擬人物在交互和表達(dá)上的能力。ExAvatar技術(shù)的出現(xiàn)，打破了這一局限，它不僅能夠模擬身體動作，還能通過短段視頻捕捉并再現(xiàn)人的面部表情和手部動作。
二、ExAvatar技術(shù)核心
ExAvatar技術(shù)的核心在于結(jié)合了全身參數(shù)化網(wǎng)格模型（SMPL-X）和3D高斯繪制（3DGS）。這種混合表示方法使得ExAvatar能夠在沒有3D掃描和RGBD圖像的情況下，僅通過視頻學(xué)習(xí)就能生成具有個(gè)性化的3D人像。

1. 混合表示方法
   ExAvatar將每個(gè)3D高斯視為表面上的一個(gè)頂點(diǎn)，并根據(jù)SMPL-X的網(wǎng)格拓?fù)涠x它們之間的連接信息（即三角形面）。這種設(shè)計(jì)使得ExAvatar能夠通過SMPL-X的面部表情空間進(jìn)行驅(qū)動，即使視頻本身包含的面部表情和姿勢多樣性有限，也能生成具有新穎面部表情的動畫。
2. 減少偽影
   由于訓(xùn)練集中姿勢多樣性的有限性，未在視頻中觀察到的人體部分可能會在新的姿勢下產(chǎn)生偽影。ExAvatar通過基于連接的正則化器顯著減少了新姿勢下的偽影，尤其是在面部表情和姿勢上。
   二、實(shí)驗(yàn)結(jié)果
   研究團(tuán)隊(duì)在NeuMan和X-Humans數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，結(jié)果表明ExAvatar在各種基準(zhǔn)測試中均優(yōu)于以往的3D人像技術(shù)。無論是在包含背景像素的評估中，還是在不包含背景像素的評估中，ExAvatar都展現(xiàn)出了更高的PSNR、SSIM和更低的LPIPS值，這表明其在圖像質(zhì)量、結(jié)構(gòu)相似性和感知損失上的優(yōu)勢。
   三、討論與局限性
   盡管ExAvatar技術(shù)取得了顯著的成果，但它仍然存在一些局限性。例如，對于視頻中未觀察到的人體內(nèi)部部分，如口腔內(nèi)部和手掌，模型可能會產(chǎn)生合理的幾何和紋理假設(shè)。此外，ExAvatar在模擬動態(tài)衣物方面也存在挑戰(zhàn)，未來可能需要考慮衣物材質(zhì)的運(yùn)動信息。
   四、結(jié)論
   ExAvatar技術(shù)為我們提供了一種從單目視頻中創(chuàng)建出能夠表達(dá)豐富情感的全身3D人像的新方法。這項(xiàng)技術(shù)不僅推動了3D人像技術(shù)的發(fā)展，也為未來虛擬人物的交互和表達(dá)提供了新的可能性。隨著技術(shù)的不斷進(jìn)步，我們期待ExAvatar能夠在更多應(yīng)用場景中展現(xiàn)出其獨(dú)特的價(jià)值。更多交流歡迎來卡奧斯智能交互引擎https://datayi.cn/w/a9Byxyno