近日，快手特效團(tuán)隊(duì)聯(lián)合Y-tech技術(shù)團(tuán)隊(duì)為游戲主播“俠客紅塵”打造了一款高真實(shí)感的虛擬人形象“紅塵”。“紅塵”已在快手帶來直播首秀，虛擬形象加上新奇有趣的玩法使得首秀直播吸引了近300萬人觀看，同時(shí)在線人數(shù)近5000人，漲粉近10萬。

直播間效果顯示，直播中虛擬人“紅塵”的面部動(dòng)作和肢體動(dòng)作真實(shí)感很強(qiáng)，在游戲中的喜怒哀樂的情緒均能準(zhǔn)確的表達(dá)，還可以自由切換發(fā)型和各種道具。此外還為“紅塵”配置了一些有趣的玩法，比如，在被彈幕噴“菜”時(shí)會(huì)氣得頭變大，在輸?shù)粲螒驎r(shí)會(huì)變出一個(gè)平底鍋來接鍋。

紅塵在直播時(shí)唱歌

據(jù)了解，紅塵在直播中運(yùn)用了大量的2D和3D特效效果。在直播中，“紅塵”的頭頂有可愛的小鴨子，還能夠換上機(jī)車頭盔和小象頭套，甚至還能變成馬臉和一個(gè)電視機(jī)。帶著馬臉揮著平底鍋，跳著騎馬舞的夸張形象引起了直播間觀眾們“就離譜”的陣陣驚呼。

豐富的3D魔表效果

主播“俠客紅塵”表示，用了虛擬形象之后，和觀眾有了更好的互動(dòng)體驗(yàn)。“之前直播的時(shí)候我只是打游戲，即使在和觀眾互動(dòng)時(shí)也主要是圍繞游戲展開?，F(xiàn)在有了虛擬形象后，能明顯感覺到大家在關(guān)注游戲的同時(shí)，還能非常好地感受到我，感受到我的喜怒哀樂等情緒。”

據(jù)了解，在虛擬人“紅塵”這套技術(shù)完全由快手自研。獲得快手用戶喜愛的背后，實(shí)際上主播并不需要為此添置昂貴或者復(fù)雜的器材。應(yīng)用快手的這套解決方案，主播只需要單個(gè)攝像頭和普通電腦即可實(shí)時(shí)驅(qū)動(dòng)虛擬人。

該項(xiàng)目的技術(shù)總監(jiān)馬博士表示，這套方案包括3D掃描、動(dòng)作捕捉以及實(shí)時(shí)渲染等技術(shù)，可在一個(gè)100元左右的攝像頭下，實(shí)時(shí)捕捉人的動(dòng)態(tài)并幾乎無延遲地驅(qū)動(dòng)虛擬人。這次虛擬人識(shí)別驅(qū)動(dòng)技術(shù)為業(yè)內(nèi)頂級(jí)，其中面部捕捉技術(shù)可以和蘋果arkit技術(shù)相媲美，而且并不需要采集深度信息。

據(jù)介紹，此次虛擬人驅(qū)動(dòng)模塊根據(jù)真人識(shí)別信息，通過資產(chǎn)校準(zhǔn)、反向動(dòng)力學(xué)等算法模塊，轉(zhuǎn)化為連續(xù)穩(wěn)定的資產(chǎn)動(dòng)畫。系統(tǒng)中還使用了自動(dòng)情緒增強(qiáng)模塊，通過自動(dòng)識(shí)別的驅(qū)動(dòng)者情感，對(duì)資產(chǎn)的面部表情動(dòng)作進(jìn)行自動(dòng)調(diào)優(yōu)，以使虛擬角色體現(xiàn)出更具表現(xiàn)力的情感。

資深算法工程師鄭博士表示，該項(xiàng)目在實(shí)時(shí)渲染效果上極大的接近了真實(shí)感，且在渲染效率上做了大幅優(yōu)化，以能夠完美支持直播和短視頻場(chǎng)景。鄭博士還介紹，在高真實(shí)感的皮膚材質(zhì)生成方面，快手運(yùn)用深度神經(jīng)網(wǎng)絡(luò)，將美術(shù)繪制的紋理進(jìn)行風(fēng)格轉(zhuǎn)化，通過該方法降低了美術(shù)素材的創(chuàng)建成本，同時(shí)提高了渲染的真實(shí)感。

該項(xiàng)目負(fù)責(zé)人表示，基于平臺(tái)優(yōu)質(zhì)的直播和短視頻生態(tài)，未來快手還將推出千人千面的虛擬人服務(wù)，為創(chuàng)作者提供廣闊的發(fā)揮空間，也將面向C端用戶提供更多豐富的玩法選擇，歡迎對(duì)虛擬人感興趣的組織聯(lián)系快手。