日本CG大神又整活了!3D建模軟件拿來(lái)搞面部實(shí)時(shí)捕捉
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
最近,拿Maya加一個(gè)換臉軟件就能做到的實(shí)時(shí)面部捕捉在日推火了:
不管怎么擠眉弄眼,褶子和肌肉的細(xì)微變化都跟得上。
連續(xù)兩個(gè)演示視頻點(diǎn)贊分別突破4k和3k,甚至被網(wǎng)友評(píng)價(jià)為“效果好得有點(diǎn)可怕”。
怎么說(shuō)呢……直接杵一個(gè)臉在攝像頭前,就能實(shí)時(shí)替換臉部表情確實(shí)更方便。
至少和滿臉小點(diǎn)+機(jī)械裝置比起來(lái),不再那么密恐福利了……
開(kāi)發(fā)者橫原大和(Hirokazu Yokohara) 是日本的一位“全才”藝術(shù)家,3D建模、場(chǎng)景、特效、甚至像這種沾邊前沿科技的活兒都會(huì)做。
比如我們之前介紹過(guò)的那位在電車(chē)上啾咪順拐的萌妹,也是出自這位大神之手:
接下來(lái),我們先從他這次所用的技術(shù)開(kāi)始了解。
又見(jiàn)DeepFake
橫山提到,他在幾天前看到有人將UE5和DeepFace Live結(jié)合起來(lái),直接合成了一個(gè)視頻:
于是他便也起了心思,打算用Maya試試看。并且他還實(shí)現(xiàn)了實(shí)時(shí)面部捕捉的效果。
具體來(lái)說(shuō),技術(shù)方案是Maya + 換臉軟件DeepFace Live。
其中Maya是有軟件自帶的面部綁定系統(tǒng)。
而DeepFace Live聽(tīng)名字就知道,與曾經(jīng)爆火的DeepFake有關(guān)。
這是一種利用機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)實(shí)現(xiàn)的深度視頻換臉的技術(shù),基于這種技術(shù)誕生了無(wú)數(shù)的下載即用,甚至在線可玩的工具和軟件。
(肌肉金輪就是其成果之一)
DeepFace Live就是其中一種。
這是一個(gè)去年剛剛公開(kāi)的開(kāi)源工具,特點(diǎn)是可以在流媒體或直播視頻中實(shí)時(shí)換臉,也就是說(shuō)讓用戶通過(guò)網(wǎng)絡(luò)攝像頭應(yīng)用面部過(guò)濾器,與大多數(shù)基于視頻的流媒體和信息服務(wù)結(jié)合使用。
比如常見(jiàn)的Skype,Zoom,Tik Tok,Twitch上都可以使用:
當(dāng)然,DeepFaceLive的人臉交換功能也可以應(yīng)用于預(yù)先錄制的視頻。
開(kāi)發(fā)者是來(lái)自俄羅斯的Iperov,同時(shí),他也是曾經(jīng)應(yīng)用最廣泛的DeepFaceLab的開(kāi)發(fā)者質(zhì)之一。
開(kāi)發(fā)者也是老二刺猿了
至于這位橫原大神本身,我們開(kāi)頭介紹過(guò),這是一位在各領(lǐng)域都造詣?lì)H深的通才。
他來(lái)自東京的khaki工作室,主要負(fù)責(zé)為CM,MV,動(dòng)畫(huà),大型游戲等各種媒體或設(shè)備設(shè)計(jì)視覺(jué)特效(VFX)。
不說(shuō)工作室的名字,只說(shuō)他們的作品,總有一款你熟悉的。
比如陰陽(yáng)師2017年的這個(gè)宣傳PV:
2020年的VR游戲設(shè)備hexaRide中的第一款合作游戲,《攻殼機(jī)動(dòng)隊(duì)》的CG:
還為世界第一的公主殿下做過(guò)MV:
怎么說(shuō)呢,老二刺猿了。