本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

 我們在打游戲、看動漫的時候，遇到過不少這樣的情況：

感覺哪里不太對……

現(xiàn)在，這些3D人體模型可以得到改進(jìn)了~體態(tài)更逼真、褶皺更自然、肌肉更飽滿：

連情緒都顯得更投入了……

甚至肌肉顫動也清晰可見：

這么一對比，差距很明顯了~

不僅動畫質(zhì)量更高，這種新方法還大量減少了人工參與，制作速度更快了。

要知道，以前的動畫需要繁瑣的步驟，比如：搭建骨骼、蒙皮、刷權(quán)重等等……動畫師往往要為此修煉數(shù)年，效果還常常不盡人意。

現(xiàn)在，只需一個神經(jīng)網(wǎng)絡(luò)就能搞定。

不僅如此，它還可以從形象中預(yù)測骨骼，并綁定權(quán)重，更容易地用運動捕捉來制作動畫。

這一研究成果，由北京大學(xué)、北京電影學(xué)院等高校和機(jī)構(gòu)合作完成。

相關(guān)論文《Learning Skeletal Articulations with Neural Blend Shapes》在SIGGRAPH 2021上發(fā)表，代碼現(xiàn)已開源。

提出神經(jīng)融合形狀技術(shù)

團(tuán)隊開發(fā)了一套神經(jīng)網(wǎng)絡(luò)，用來生成具有指定結(jié)構(gòu)的骨骼，并且精準(zhǔn)綁定骨骼的蒙皮權(quán)重。

它由兩個部分組成：包裹變形分支（envelope deformation branch）和補償變形分支（residual deformation branch）。

其中，包裹變形分支通過間接監(jiān)督，學(xué)習(xí)由偏移量組成的特定骨架層次的裝配參數(shù)，最后從輸入角色中預(yù)測出骨架、蒙皮和權(quán)重綁定。

你可能會說，常用的動畫制作工具M(jìn)ixamo中，也有綁定和蒙皮。

但是新方法能做的不只這些，它還可以準(zhǔn)確預(yù)測與模型高度匹配的骨骼，并綁定權(quán)重。

從而更容易進(jìn)行動作捕捉，制作動畫：

并且，利用一種神經(jīng)融合形狀（neural blend shapes）技術(shù)，補償變形分支可以根據(jù)輸入的網(wǎng)格連接，來預(yù)測對應(yīng)的融合形狀（blend shapes）。

與此同時，根據(jù)關(guān)節(jié)旋轉(zhuǎn)預(yù)測融合系數(shù)，然后基于此插值得到補償變形。

比如，神經(jīng)混合形狀會糾正肌肉的形狀，準(zhǔn)確保留鼓起的肌肉：

與LBS（線性混合蒙皮）算法的效果相比，細(xì)節(jié)處理得更好：

與三維動畫制作軟件Blender的效果對比：（小肚腩被完美保留了）

除此之外，研究團(tuán)隊還對神經(jīng)混合形狀系數(shù)進(jìn)行了可視化，可以看到左側(cè)輸出的形象，與右側(cè)相應(yīng)的姿勢綁定。

并且，通過顏色變化，表現(xiàn)各關(guān)節(jié)的混合形狀系數(shù)激活程度。

利用這一方法，神經(jīng)網(wǎng)絡(luò)只需觀察變形后的人物模型進(jìn)行間接學(xué)習(xí)，而不需要對訓(xùn)練數(shù)據(jù)集的變形方法有任何限制，極大擴(kuò)大了適用范圍。

最終實現(xiàn)了，實時、高質(zhì)量的三維人物模型動畫端到端自動生成。

一作來自北大圖靈班

團(tuán)隊由來自北京大學(xué)陳寶權(quán)教授研究團(tuán)隊、北京電影學(xué)院未來影像高精尖創(chuàng)新中心、Google Research、特拉維夫大學(xué)，以及蘇黎世聯(lián)邦理工學(xué)院的研究人員組成。

論文一作，是來自北大圖靈班的一名本科生——李沛卓。

他畢業(yè)于重慶一中，曾入選信息學(xué)競賽省隊，2017年高考以687分考入北大。

目前，李沛卓師從陳寶權(quán)教授，研究方向是深度學(xué)習(xí)和計算機(jī)圖形學(xué)，正在北京大學(xué)視覺計算與學(xué)習(xí)實驗室和北京電影學(xué)院未來影像高精尖創(chuàng)新中心（AICFVE）實習(xí)。

此前，他已有論文登上SIGGRAPH。在與量子位交流時，他曾表示對圖形學(xué)特別感興趣。

論文的更多細(xì)節(jié)，感興趣的小伙伴，可以戳鏈接了解詳情。

項目主頁：
https://peizhuoli.github.io/neural-blend-shapes/
論文地址：
https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf