2021年被稱為元宇宙的元年。經(jīng)過一年多的發(fā)展，元宇宙相關(guān)的技術(shù)在不同參與者的演繹下日益豐富。近日由51CTO主辦的MetaCon元宇宙技術(shù)大會上，中國首位游戲設(shè)計博士、中國傳媒大學(xué)副教授黃石帶來了主題演講《未來已來：元宇宙游戲技術(shù)展望》，為大眾呈現(xiàn)全新的視角。

黃石認(rèn)為，元宇宙是人類歷史進(jìn)化的一種必然；今日的技術(shù)就是未來的藝術(shù)；科技的發(fā)展速度會越來越快，將來很可能迎來“奇點(diǎn)”。此外，黃石還詳細(xì)介紹了元宇宙游戲中的相關(guān)技術(shù)。

本文對演講的精彩內(nèi)容進(jìn)行了整理，希望能夠?qū)Υ蠹矣兴鶐椭?/p>

什么是元宇宙？

元宇宙到底是什么？我的答案是，元宇宙是一種信仰。我認(rèn)為元宇宙是人類歷史進(jìn)化的一種必然。縱觀人類發(fā)展的歷史，人類從原始人進(jìn)化到會使用工具的人，用了200萬年；從石器時代到農(nóng)業(yè)社會用了10萬年；從農(nóng)業(yè)社會到工業(yè)社會用了8000年；從工業(yè)社會到電器時代用了200年；進(jìn)入到現(xiàn)在的互聯(lián)網(wǎng)時代僅僅用了30年?？梢钥闯?，人類文明的進(jìn)化是一個明顯加速的過程，文明的發(fā)展速度越來越快。現(xiàn)在所有的技術(shù)，都以一種難以想象的速度在加速發(fā)展。

元宇宙的歷史比較短，1978年第一款網(wǎng)絡(luò)游戲的上線可以看作是最早的元宇宙的雛形，那時還是非常簡單的基于命令行的游戲方式；1992年，科幻小說《雪崩》首次提及“元宇宙”一詞；2003年，游戲《第二人生》開啟了元宇宙游戲的帷幕；2006年，游戲Roblox問世，這款游戲直接帶動了元宇宙游戲概念的火爆；2021年可以被稱為元宇宙的元年，因為這一年Facebook更名為Meta。

元宇宙共有三個發(fā)展階段。第一個是原始階段，也就是現(xiàn)在所處的階段。目前這個階段的元宇宙的主要內(nèi)容基于游戲和社交，其主要載體是VR、AR和桌面的顯示，仍然是非常原始的階段，和真正的元宇宙還有很大區(qū)別。

元宇宙發(fā)展到第二階段，可稱之為雛形階段。那個時候元宇宙將成為提高社會生產(chǎn)力、提升生產(chǎn)效率的工具，主要內(nèi)容包括數(shù)字孿生、萬物互聯(lián)，硬件則以MR為主。

第三階段是元宇宙真正成熟的階段，那時可能90%以上的人類都生活在元宇宙虛擬的社會之中，它會有自己的法律和經(jīng)濟(jì)體系。現(xiàn)在難以想象它所采用的硬件是什么，很有可能是采用腦機(jī)接口或更先進(jìn)的設(shè)備。

現(xiàn)在是元宇宙萬里長征的第一步，此時元宇宙的入口應(yīng)該聚焦在社交和游戲這兩點(diǎn)之上。

Roblox的CEO提出了元宇宙游戲的八大特征：身份、朋友、沉浸感、低延遲、多元化、隨地、經(jīng)濟(jì)系統(tǒng)、文明。

另一個著名學(xué)者Jon Radoff提出了元宇宙的七大層級：

1、基礎(chǔ)設(shè)施：5G、WIFI 6、6G、云計算、7nm到1.4nm工藝、微機(jī)電、GPU、材料學(xué)；

2、人機(jī)交互：手機(jī)、可穿戴設(shè)備、手勢、語音、神經(jīng)網(wǎng)絡(luò)；

3、去中心化計算：邊緣計算、AI代理、微服務(wù)、區(qū)塊鏈；

4、虛擬空間：3D引擎、VR/AR/XR、界面、空間可視化；

5、眾創(chuàng)經(jīng)濟(jì)：眾創(chuàng)工具、資產(chǎn)市場、工作流、商貿(mào)；

6、發(fā)現(xiàn)：廣告網(wǎng)絡(luò)、社交、策劃、評級、商店、代理商；

7、體驗：游戲、社交、電競、展演、購物。

元宇宙游戲中的渲染技術(shù)

接下來為大家介紹元宇宙最常用的一項技術(shù)——渲染。眾所周知，游戲都是用游戲引擎來渲染的，常用的游戲引擎包括Unity、UNREAL、WebGPU等。但現(xiàn)在所看到的技術(shù)遠(yuǎn)遠(yuǎn)不是我們能夠達(dá)到的最高層級。

上圖的畫面是UE5虛幻引擎最新的技術(shù)制作的，它能夠在同一個畫面渲染高達(dá)160億個多邊形，已經(jīng)逼近了電影畫質(zhì)。而人工智能技術(shù)的引進(jìn)，可以把渲染技術(shù)再提升一個等級。運(yùn)用人工智能技術(shù)進(jìn)行降噪，可以加速渲染時間。用較少的取樣點(diǎn)，就能用人工智能把剩下的細(xì)節(jié)補(bǔ)齊。目前AI降噪這項技術(shù)已經(jīng)比較成熟。

今天我們想重點(diǎn)介紹一種名為NeRF的渲染技術(shù)。2020 年，UC Berkeley、谷歌的研究者提出了NeRF渲染模型，可以用幾張圖片生成多視角的 3D 場景，開創(chuàng)了神經(jīng)輻射場的渲染技術(shù)。

隨后，這條技術(shù)線出現(xiàn)了很多分支，比如說mip-NeRF，它可以360度渲染一個沒有邊界的空間，和真實世界非常接近了。

再比如另一個新分支——Plenoxels，其特點(diǎn)是訓(xùn)練速度更快。傳統(tǒng)的神經(jīng)輻射場最早版本的渲染，訓(xùn)練大概需要1.6天的時間，而在新項技術(shù)里，它只需要8.8分鐘的時間。

再比如基于點(diǎn)的神經(jīng)輻射場的渲染——Point-NeRF，訓(xùn)練速度能夠提高30倍，細(xì)節(jié)表現(xiàn)也更好。

還有一個微軟改進(jìn)的版本FastNeRF，最大的特點(diǎn)是能讓渲染速度達(dá)到實時的200FPS，有望用到游戲里。因為游戲一般只要最低30FPS就可以達(dá)到基本的交互，F(xiàn)astNeRF的速度在VR里也滿足要求。

元宇宙游戲中的面部捕捉技術(shù)

元宇宙有一個非常重要的技術(shù)領(lǐng)域是數(shù)字人，其中表情捕捉十分關(guān)鍵。人與人交流的時候，表情交流占據(jù)很大的比重，微表情細(xì)微的變化，會給我們帶來相應(yīng)的情感體驗。這項技術(shù)傳統(tǒng)的方式是采用這種標(biāo)記點(diǎn)，在演員的臉上貼很多小的marker，才能獲得精確的捕捉數(shù)據(jù)，比如科幻電影《阿凡達(dá)》即采用這一路線。隨著人工智能技術(shù)的發(fā)展，我們可以用無標(biāo)記的方式，通過人工智能算法獲取演員臉上的微表情。

迪士尼也研發(fā)了相似的面部捕捉的方法，它的特點(diǎn)是對人的下頜骨的數(shù)據(jù)進(jìn)行了優(yōu)化，因此其捕捉到的數(shù)據(jù)也更加精確。

動作捕捉公司DI4D的技術(shù)特點(diǎn)是直接用程序驅(qū)動模型的面片運(yùn)動，表情的變化并非骨骼動畫，而是用人工智能驅(qū)動面片形成的效果。

元宇宙游戲中的動畫技術(shù)

目前，在元宇宙的游戲里，諸如NPC、主角等虛擬的人物大部分都有骨骼動畫。而骨骼的綁定非常耗費(fèi)人力?，F(xiàn)在運(yùn)用人工智能技術(shù)能自動預(yù)測角色的骨骼，自動計算皮膚權(quán)重，生成角色動畫。

此外，游戲里有很多的動作，比如走、跑、跳、開槍等，這些動作之間的穿插，以前都是用動畫融合（Blending）的技術(shù)實現(xiàn)，但這種融合是基于線性的算法，表現(xiàn)不是很自然。運(yùn)用人工智能技術(shù)以后，動畫過度就顯得更加自然。

與此同時，人工智能技術(shù)也給游戲動畫提供了非常方便的工具，比如Nekki最近開源了一個動畫軟件，能夠大大簡化動畫師的工作量。與之類似的是Ziva Dynamics基于人工智能的增強(qiáng)肌肉系統(tǒng)的物理動畫系統(tǒng)。該系統(tǒng)通過人工智能算法解算動物的骨骼和肌肉的運(yùn)動，在制作動畫時，外表皮會根據(jù)骨骼和肌肉的真實運(yùn)動變形，使皮膚的褶皺，運(yùn)動時肌肉的膨脹、拉伸、收縮等，都呈現(xiàn)出逼真的動畫效果。目前這項技術(shù)大多還是用在電影里，隨著元宇宙技術(shù)的發(fā)展，相信這項技術(shù)未來也能用到游戲里。

人工智能在特效領(lǐng)域同樣提供了非常好的應(yīng)用。在游戲里，流體是一個非常耗費(fèi)算力的過程，而通過人工智能的方式，則可以大大縮短計算的過程，提高計算的效率。在傳統(tǒng)算法里，流體碰撞十分耗費(fèi)計算機(jī)CPU或者GPU的資源。通過神經(jīng)網(wǎng)絡(luò)的方法，可以把訓(xùn)練庫里的真實數(shù)據(jù)用人工智能的方法加以簡化。雖然在視覺效果上沒有大的改變，但是其效率、計算的速度卻顯著提高。

總的來說，人工智能將帶來徹底的行業(yè)變革：游戲美術(shù)的工作流程將大為簡化，如手工拓?fù)?、LOD、環(huán)境道具擺放、Mocap數(shù)據(jù)清理、展開UV貼圖、程序化場景生成等都將更加快捷、智能。同時，AI驅(qū)動的沉浸體驗將成為新的游戲平臺和媒介。

今日的技術(shù)就是未來的藝術(shù)

公元前150世紀(jì)，人類還處在石器時代。那時人類已經(jīng)開始為自己創(chuàng)造沉浸化的環(huán)境了。例如下圖的壁畫，是法國的Lascaux洞穴，洞壁上畫了大量的動物形象。人類的祖先用原始的方法創(chuàng)造出一個人工環(huán)境，可以說是最早的虛擬現(xiàn)實。

Lascaux壁畫

15世紀(jì)以后，出現(xiàn)了圖像式的沉浸。通過油畫，把環(huán)境、人物直觀地再現(xiàn)出來，這種沉浸是基于圖像的沉浸，它所表現(xiàn)的是光影的環(huán)境。

阿爾諾芬尼夫婦像（1434）

19世紀(jì)出現(xiàn)了第二次工業(yè)革命，人類通過化學(xué)、光學(xué)的方法，實現(xiàn)了攝影術(shù)。這時沉浸又進(jìn)入到新的層次，人類可以用科學(xué)的方法更客觀地記錄外在的世界。

巴黎街景（1838）

20世紀(jì)，影像開始活躍，運(yùn)動的影像帶來大眾喜聞樂見的形式——電影。這一階段可稱之為影像的沉浸。

2001太空漫游（1968）

人類的歷史發(fā)展，隨著不同階段的媒介進(jìn)步和技術(shù)演進(jìn)，每個歷史階段都有相應(yīng)的藝術(shù)形式，以及相應(yīng)的沉浸平臺。從石器時代的壁畫到中世紀(jì)青銅時代的藝術(shù)，再到文藝復(fù)興時的油畫，直到20世紀(jì)的電影，人類文明在不斷地創(chuàng)造新的環(huán)境。

現(xiàn)在進(jìn)入到信息時代，人類必然需要一種更新的方式來表達(dá)對于幻想、未知和想象的呈現(xiàn)。

隨著時間的推移，科技的發(fā)展速度并不是一個平均的曲線，而是一個指數(shù)發(fā)展的曲線。科技發(fā)展速度會越來越快，很有可能在未來的某一個時間點(diǎn)，我們可以在非常短的時間內(nèi)，爆發(fā)出無限多的智能。這個狀態(tài)現(xiàn)在看起來非常難以想象，我們稱之為“奇點(diǎn)”。奇點(diǎn)到底會不會來，我們拭目以待。

技術(shù)的發(fā)展是不以人類的主觀意志為轉(zhuǎn)移的——未來已經(jīng)來到了，元宇宙還會遠(yuǎn)嗎？

在本次MetaCon元宇宙技術(shù)大會上，還有很多專家學(xué)者也做了相關(guān)主題演講，點(diǎn)擊進(jìn)入官網(wǎng)，了解更多元宇宙技術(shù)精彩內(nèi)容?。╤ttps://metacon.51cto.com/）