作為構(gòu)建元宇宙內(nèi)容的基石，數(shù)字人是最早可落地且可持續(xù)發(fā)展的元宇宙細(xì)分成熟場景，目前，虛擬偶像、電商帶貨、電視主持、虛擬主播等商業(yè)應(yīng)用已被大眾認(rèn)可。在元宇宙世界中，最核心的內(nèi)容之一非數(shù)字人莫屬，因為數(shù)字人不光是真實世界人類在元宇宙中的“化身”，也是我們在元宇宙中進行各種交互的重要載具之一。

眾所周知，創(chuàng)建和渲染逼真的數(shù)字人類角色是計算機圖形學(xué)中最困難的問題之一。近日，在由51CTO主辦的MetaCon元宇宙技術(shù)大會《游戲與AI交互》分會場中，Unity大中華區(qū)平臺技術(shù)總監(jiān)楊棟通過一系列的Demo演示，在《Unity數(shù)字人技術(shù)—開啟元宇宙之旅》的主題分享中詳細(xì)介紹了Unity高清渲染管線技術(shù)。

一、Unity介紹

    Unity目前在世界范圍內(nèi)是支持最多的計算平臺，現(xiàn)在支持將近30個計算平臺，包括PC、Mac、Linux、iOS、安卓、Switch、PlayStation、Xbox以及所有的AR/VR、MMAT這些設(shè)備。如果是制作三維互動式內(nèi)容，Unity目前來講確實是最好的一個選擇。我們知道高畫質(zhì)渲染，在一些配備獨立顯卡的機器上去渲染高畫質(zhì)的內(nèi)容，現(xiàn)在所說的寫實類的數(shù)字人的技術(shù)是要依托高畫質(zhì)渲染技術(shù)的。

目前Unity中國團隊擁有300多名全職員工，全世界將近7000人，70%以上是工程師?？偛吭谏虾＃诒本└鷱V州都有辦公室，也有相應(yīng)的員工在那里辦公。

二、Unity引擎的強大之處在哪些方面？

目前Unity雖然不是一個開元的引擎，但模塊是高可定制化的。

     圖中是Unity目前支持的平臺，可以在這些圖標(biāo)上找到最常見的一些平臺。這些可能是這些年最火的一些游戲，這些圖標(biāo)有些比較熟悉，像王者榮耀、CALL  DUTY、英雄聯(lián)盟、原神、糖豆人、閃耀暖暖……。實際上在國內(nèi)、國外全球的安卓及iOS榜單上，前1000位最賺錢的游戲，70%以上都是由Unity創(chuàng)作的。超過一半的switch游戲都是由Unity制作的。大家可能無法相信一款高畫質(zhì)看起來非常復(fù)雜的游戲，而且是在Xbox上首發(fā)的爆款游戲竟然是一個人開發(fā)的，充分說明Unity引擎的靈活性、工具鏈的強大之處。

     Unity在向性能高效的方向進行發(fā)展，分別說明一下三個主要的dots系統(tǒng)的組件，C#Job  System、ECS、Burst  Compiler。C#Job  System實際上是可以讓開發(fā)的游戲或者應(yīng)用去充分利用綜合CPU的并發(fā)運算的算力，因為現(xiàn)在面向?qū)ο蟮木幊赡Ｊ绞侵谱鞯膬?nèi)容，是運行在主線程上面。第二個是Entity  Component  System（ECS），通過Entity  Component  System可以把數(shù)據(jù)跟系統(tǒng)，也就是游戲邏輯進行分離，更易于維護，對于內(nèi)存上的使用也更友好。Burst  Compiler可以針對目標(biāo)平臺去生成運行運行更高的機器碼。

另外一方面，高畫質(zhì)也是Unity非常好的特征。如果僅僅說要去使用很貴的PC或者是Xbox、Play  station很貴的機器才能渲染精美的畫面的話，實際上游戲的通用性就太差了。Unity通過XRP，就是所謂的可變量渲染管線，為大家做了兩套開箱即用的渲染管線，一套是通用渲染管線URP，第二套是HDRP（高清渲染管線）。顧名思義，URP所謂的通用渲染管線就是所有的平臺都是支持的，不管是開發(fā)VR游戲、AR游戲還是像移動端的游戲，都是可以用URP來進行渲染方面的工作。HDRP是指PC  mac  Linux、Xbox1跟basestation4及以上的這些平臺，它也支持實時光線追蹤。

三、高清渲染管線如何實現(xiàn)數(shù)字人的高畫質(zhì)渲染？

      《異教徒》數(shù)字人實際上并不是Unity制作的第一個數(shù)字人，但是《異教徒》這個數(shù)字人有它的獨特之處，因為這個數(shù)字人是非常逼真的，而且是形成了一套完整的工作流。要想實現(xiàn)像《異教徒》的高畫質(zhì)渲染，高清渲染管線是必不可少的。

     《異教徒》這個數(shù)字人實際上是有原型的，他是英國在倫敦的一個戲劇演員，叫Jack，通過掃描他的數(shù)據(jù)，這是他全身的數(shù)據(jù)，重點需要掃描他的頭部數(shù)據(jù)，然后做成了整個數(shù)字人，表情是非常逼真的，使用到的是一個4D的Volumetric  Video的技術(shù)來制作表情動畫，其實用這種技術(shù)雖然可以制作非常逼真的表情，但是它也有一個缺陷，就是并不能進行實時的驅(qū)動，它可以做影視類的角色表情動畫是沒有問題的，卻無法做到實時地驅(qū)動。

        在一些成功的案例中，可以看看眼睛的渲染和皮膚渲染，我們分別來看一下。

為了提升皮膚的質(zhì)量，加入了以下幾項技術(shù)，Detail  Map是細(xì)節(jié)貼圖。Secondary  Specular  Lobe是第二層的高光，Cavity  Specular  Occlusion是指凹陷處，可以遮蔽掉高光，Screen  Space  Subsurface  Scattering指屏幕空間的次表面散射。

      第一個細(xì)節(jié)貼圖主要是用于模擬皮膚表面的細(xì)節(jié)等紋理，這張紋理并不大，是1K的紋理。

      第二層高光Secondary  Specular  Lobe，它是用于模擬皮膚表面的油脂層，因為皮膚要出油，甚至皮膚看上去干巴巴的，所以需要用這個方式來增加一個第二層的高光。

第三個是凹陷高光，是為了遮蔽凹陷中央的高光。在加了第二層高光以后，皮膚凹陷的地方也出現(xiàn)高光，顯然是不真實的，需要把它的高光遮蔽掉，凹陷處不出現(xiàn)高光。

    第四個是屏幕空間的次表面散射，用于制作皮膚本身的效果。我們知道皮膚本身是有一個所謂的3S效果，這就是所謂的次表面散射效果。皮膚顯然是需要用到次表面散射的，但是傳統(tǒng)的當(dāng)我們用MAYA或3Dmax這樣的離線渲染的軟件去模擬這個皮膚的時候，如果是渲染次表面散射的效果是非常耗時的。在Unity，實際上有兩種渲染次表面散射效果的技術(shù)。第一個是Screen  Space  Subsurface  Scattering的技術(shù)，它渲染得比較快，第二種是通過光飛的方式，顯然光飛的方式更真實。

這個角色是《發(fā)條樂師》短片里面的小女孩的角色，小女孩的這個角色也是用到了屏幕空間的次表面散射的效果。右邊的樹葉，其實也是用到了次表面散射的效果。

接下來說說針對眼睛的渲染。實際上眼睛是一個非常復(fù)雜的物體，它由很多部分組成，在實時渲染里面去模擬真實的眼球，模擬4個部分：角膜、瞳孔、虹膜、鞏膜，就已經(jīng)能夠獲得非常真實的效果。

如圖所示，我們的眼球本身是一個非常復(fù)雜的物體，正面看跟側(cè)面看實際上是有區(qū)別的，特別是虹膜視角折射現(xiàn)象，如果是正常地去渲染，這張圖是非常有名的GDC上的數(shù)字人的角色。

數(shù)字人眼球?qū)嶋H上是按照真實的眼球的形狀來建模的，它會有一些特殊的涂色器來表現(xiàn)這個眼球的各個參數(shù)。包括它的反射，鞏膜跟虹膜上的法線貼圖，分別應(yīng)用不同的法線的數(shù)值能夠呈現(xiàn)的效果，甚至也做了眼瞼的遮擋，通過一個單獨的控制器來進行控制，就可以控制眼瞼的效果。

     總結(jié)一下，通過真人的掃描數(shù)據(jù)，經(jīng)過blend  shape、Wrinkle  Map、Colour  Map、Facial  Rigging的方式進行表情制作，用控制器來驅(qū)動這個表情。當(dāng)然我們也知道有很多其它的方式可以來驅(qū)動這個表情，其實當(dāng)我們?nèi)ヤ秩酒つw、眼睛或者是毛發(fā)的時候，相對來說是比較容易的，但是表情驅(qū)動實際上是一個非常大的難點。

經(jīng)常會聽到開發(fā)者說使用的Unity為什么做不出來Unity能夠做的效果？因為Unity呈現(xiàn)的demo的效果都是由一群人通過很大的精力打造出來的，而且他們所用的技術(shù)在他們制作這個版本里面其實還沒有，做完這個demo，有了這些技術(shù)之后，會慢慢合到下個版本里，最終形成所有人都能使用的一個功能版本。

四、數(shù)字人制作過程是怎么樣的？

在做完《異教徒》以后，Unity中國團隊實際上也做了一個自己的數(shù)字人，應(yīng)用《異教徒》的技術(shù)，坐姿4D掃描等技術(shù)。

     這是一個實際的項目，過程實際上跟《異教徒》的過程是一模一樣的。包括做數(shù)據(jù)的清理，做相應(yīng)的blend  shape，做Wrinkle  Map，做Rig，然后驅(qū)動表情，在ASSETStore里的控制器，用Animation  Clip、用BlendShape的方式來呈現(xiàn)表情動畫。當(dāng)然了面部捕捉實際上有更多的方式，比如說用Market來跟蹤，用ARKit來跟蹤，用圖像數(shù)據(jù)驅(qū)動。

      在做實際開發(fā)的時候，用相機捕捉表情來做人頭的表情的測試，還有另外一種方式，用圖像數(shù)據(jù)驅(qū)動。有一個非常巨大的區(qū)別就是她有一頭飄逸的長發(fā)，這個飄逸的長發(fā)是Unity中國團隊自己研發(fā)的一個解決方案，它是適合于URP、HDRP，既適用于通用的渲染管線，也適用于高畫質(zhì)的渲染管線來制作頭發(fā)。頭發(fā)的渲染跟傳統(tǒng)的插片式的方式是很不一樣的，是可以非常柔順的，甚至感覺像海飛絲廣告的效果。表情實際上是通過AR  cade來實時驅(qū)動的，當(dāng)然用AR  cade來驅(qū)動表情。

      Unity的一個數(shù)字人叫艾瑪，這個數(shù)字人的表情是完全用Ziva Dynamics的技術(shù)來動態(tài)驅(qū)動的，核心技術(shù)實際上是去模擬模型下面或者是生物皮膚下面的這些肌肉群，既可以去模擬恐龍真實的身體肌肉的移動，也可以把這套技術(shù)應(yīng)用到比如說非常逼真的數(shù)字人臉部表情動作的模擬。傳統(tǒng)來講一個模型就是一個空殼，它外面就是一層殼，但是在Ziva Dynamics的技術(shù)里，后面實際上是有真實的基于解剖學(xué)的肌肉在那里，當(dāng)真實地移動這些肌肉的時候，外面的這些皮就可以比傳統(tǒng)的用blend  shape或者是用骨骼綁定的方式獲得另一個或者是更高層次的真實感。

今年3月份，Unity在GDC上發(fā)布的《Enemies》的最新數(shù)字人的預(yù)告片，這個數(shù)字人的表情是非常非常真實的。值得一提的是她的頭發(fā)是一套Unity即將公開的毛皮渲染技術(shù)，應(yīng)用于HDRP高清渲染管線的一套毛發(fā)。

歡迎查看MetaCon元宇宙技術(shù)大會官網(wǎng)，了解更多元宇宙和數(shù)字人相關(guān)內(nèi)容信息。地址：https://metacon.51cto.com/