如果說電子游戲技術(shù)是元宇宙的底層基礎(chǔ)設(shè)施，靈動之魂，那么AI則是通往元宇宙的關(guān)鍵入口、核心技術(shù)。在實現(xiàn)虛擬世界和現(xiàn)實世界的融合和互動中，如何讓電子游戲技術(shù)在元宇宙中更好地落地?如何實現(xiàn)元宇宙與現(xiàn)實間的“穿梭機(jī)”AI數(shù)字人?在51CTO舉辦的「MetaCon元宇宙技術(shù)大會」上，答案一一揭曉。
2022年4月23日，「MetaCon元宇宙技術(shù)大會」通過線上直播的形式正式召開。在下午的《游戲與AI交互的沉浸式體驗》分會場中，來自小冰公司技術(shù)副總裁周力、中國首位游戲設(shè)計博士/中國傳媒大學(xué)副教授黃石、商湯科技數(shù)字空間(元宇宙)事業(yè)群產(chǎn)品總監(jiān)高瑞聲、Unity大中華區(qū)平臺技術(shù)總監(jiān)楊棟、觸角科技有限公司聯(lián)合創(chuàng)始人/大有不言文化有限公司創(chuàng)始人谷強(qiáng)五位業(yè)界專家，圍繞元宇宙中的游戲技術(shù)、人工智能技術(shù)進(jìn)行了精彩的主題分享。
AI+AI對談技術(shù)的探索和應(yīng)用
在通往元宇宙的路上，不僅需要人與人之間的對話，人與機(jī)器之間的對話，還需要機(jī)器與機(jī)器之間的對話。關(guān)于AI與AI之間是如何進(jìn)行對話的，業(yè)界幾乎沒有研究和探索。那么，AI和AI之間的對話到底有什么價值?有哪些應(yīng)用的場景?在小冰公司技術(shù)副總裁周力的《AI+AI對談技術(shù)的探索和應(yīng)用》的主題演講中，進(jìn)行了詳細(xì)的介紹。
周力首先分享了人與機(jī)器在對話中存在的主要問題，并基于問題提出了破冰的訣竅。他表示，在元宇宙的世界中，除了人之外，還有AI生活在其中，人與AI共同搭建起了各種交互，這就要求AI和AI之間要建立一個復(fù)雜的交互關(guān)系和對話。
人與人之間的對話，要比傳統(tǒng)的人和機(jī)器之間的一問一答的對話模式更加復(fù)雜。因此，解決AI和AI之間如何進(jìn)行對話成為了核心問題。周力表示，在AI和AI的對談中，由于用戶可以同時去控制兩個AI的雙方，他們之間是透明的。那么，我們就可以像模仿人一樣，引入更加復(fù)雜的交互模式。同時，在AI和AI的對談中，把控整體節(jié)奏也會變得非常重要。
據(jù)周力介紹，小冰通過三種不同的方式實現(xiàn)AI對談。一是從搜索引擎中爬取結(jié)構(gòu)化的文檔，并利用BERT等技術(shù)將內(nèi)容串聯(lián)，變成AI自己的內(nèi)容。二是將小冰與網(wǎng)易、新浪等媒體合作的新聞以及評論數(shù)據(jù)進(jìn)行整理，抽取高質(zhì)量的內(nèi)容變成AI對話。三是利用GPT-3等大型模型來生成流暢的文本，生成AI對話。在接下來的時間里，周力對三種技術(shù)的實現(xiàn)方法和應(yīng)用場景等進(jìn)行了詳細(xì)的解讀。
周力表示，有了AI和AI之間的對話，能夠讓人和人之間更快地融入到AI環(huán)境中，變成一堆人和一堆AI的沉浸式社交體驗，這就是小冰在元宇宙領(lǐng)域的主要探索方向。
人工智能技術(shù)驅(qū)動元宇宙邁向新臺階
元宇宙的雛形，來源于網(wǎng)絡(luò)游戲。電子游戲中所采用的渲染技術(shù)，也是元宇宙當(dāng)中最為常用的技術(shù)。
中國首位游戲設(shè)計博士、中國傳媒大學(xué)副教授黃石在《未來已來：元宇宙游戲技術(shù)展望》的主題分享中提出，Unity、Unreal、WebGPU這些常用的游戲渲染引擎，遠(yuǎn)沒有達(dá)到目前能夠達(dá)到的最高層級，即便是最新的UE5虛幻引擎技術(shù)，渲染已經(jīng)高達(dá)160億個多邊形，仍然不是我們能夠想象的極限。隨著人工智能技術(shù)的引進(jìn)，渲染技術(shù)將會再往上提升一個等級。
在接下來的分享中，黃石詳細(xì)分享了NeRF渲染技術(shù)。該技術(shù)采用一個神經(jīng)網(wǎng)絡(luò)表示一個體塑結(jié)構(gòu)，只需要拍幾張照片就能夠通過人工神經(jīng)網(wǎng)絡(luò)形成多視角的3D場景。因此，NeRF渲染技術(shù)被稱之為神經(jīng)輻射場，開創(chuàng)了一個全新的渲染技術(shù)領(lǐng)域。
在NeRF渲染技術(shù)的發(fā)展過程中，產(chǎn)生了很多分支。其中，mip-NeRF 技術(shù)可以360度的渲染一個沒有邊界的空間;Plenoxels 只需要8.8分鐘就能夠完成整個神經(jīng)網(wǎng)絡(luò)的訓(xùn)練;Point-NeRF能夠直接從點云的數(shù)據(jù)中提取、訓(xùn)練，訓(xùn)練速度提高了30倍;微軟FastNeRF能夠?qū)⑸窠?jīng)輻射場的渲染速度達(dá)到實時的200FPS。
黃石表示，人類科技發(fā)展變得越來越快，未來將會在無限短的時間內(nèi)爆發(fā)出無限多的智能，我們稱之為“奇點”。因此，技術(shù)的發(fā)展是不以人們的主觀意志為轉(zhuǎn)移的，未來已經(jīng)來到了，元宇宙還會遠(yuǎn)嗎?
利用 AI技術(shù)打造成熟的 Software agent 數(shù)字人
在元宇宙的世界中，構(gòu)建社交、辦公協(xié)作等應(yīng)用，成為擺在非專業(yè)內(nèi)容面前的主要挑戰(zhàn)。商湯科技通過精心打造的AI引擎層，幫助更多的用戶創(chuàng)造并生成內(nèi)容。
商湯科技數(shù)字空間(元宇宙)事業(yè)群產(chǎn)品總監(jiān)高瑞聲在《元宇宙虛實世界的人工智能技術(shù)》的主題分享中指出，AI 引擎層是專注于人物生成的數(shù)字人生成引擎和專注于場景生成的數(shù)字重建平臺，不僅能夠讓用戶輕松擁有數(shù)字人，快速生成千人千面的虛擬形象，而且還能夠利用 AI技術(shù) 打造成熟的 Software agent 數(shù)字人。此外，通過輸入外界環(huán)境信息，在NLP大腦中進(jìn)行處理，還能夠?qū)崿F(xiàn)與人進(jìn)行交互，為人們提供服務(wù)。
在演講過程中，高瑞聲詳細(xì)介紹了SenseMARS MetaHuman數(shù)字人的核心技術(shù)、應(yīng)用場景以及落地案例。
據(jù)介紹，SenseMARS MetaHuman主要由管理能力平臺、算法能力平臺和應(yīng)用拓展平臺三部分組成。管理能力平臺主要對數(shù)字人進(jìn)行知識體系的管理、形象配置，并對一體機(jī)產(chǎn)品進(jìn)行遠(yuǎn)程控制、OTA升級，監(jiān)控報警等信息管理。算法能力平臺包含渲染、CV、語音、語義、對話等商湯科技最新的算法模型技術(shù)。應(yīng)用層拓展平臺主要用來探索應(yīng)用場景的落地，包括在地產(chǎn)、商超、園區(qū)、酒店等場景的落地，在手機(jī)端、PC端、平板電腦、一體端、大屏、AR、VR眼鏡、車機(jī)等等進(jìn)行展示和交互，以此來替代各種各樣的角色。
SenseMARS MetaHuman數(shù)字人已經(jīng)通過一體機(jī)和數(shù)字人大屏，在諸如酒店大堂經(jīng)理等線下場景中落地，通過在app、H5、小程序中嵌入數(shù)字人，完成了線上智能助手的場景落地。
高瑞聲表示，借助 AI 技術(shù)在元宇宙中構(gòu)建的數(shù)字人，能夠部分或者全部替代人為操作，降低人力成本，助力于企業(yè)加速進(jìn)行數(shù)字化轉(zhuǎn)型。
基于Unity技術(shù)打造栩栩如生的動態(tài)數(shù)字人
作為構(gòu)建元宇宙內(nèi)容的基石，數(shù)字人是最早可落地且可持續(xù)發(fā)展的元宇宙細(xì)分成熟場景，目前，虛擬偶像、電商帶貨、電視主持、虛擬主播等商業(yè)應(yīng)用已被大眾認(rèn)可。
眾所周知，創(chuàng)建和渲染逼真的數(shù)字人類角色是計算機(jī)圖形學(xué)中最困難的問題之一。在《Unity數(shù)字人技術(shù)—開啟元宇宙之旅》的主題分享中，Unity大中華區(qū)平臺技術(shù)總監(jiān)楊棟通過一系列的Demo演示，詳細(xì)介紹了Unity高清渲染管線技術(shù)。
在Spaceship Demo的演示中，Unity使用了VFX Graph技術(shù)，它基于GPU加速的粒子系統(tǒng)，在GPU上噴射出幾百萬個粒子來模擬非常復(fù)雜的效果。在《異教徒》Demo演示中，Unity采用4D掃描數(shù)據(jù)保留了角色表演的真實感，并通過3D掃描獲得微觀表面細(xì)節(jié)、皺紋和毛孔等進(jìn)行補(bǔ)充，再利用專用粘附工具粘附睫毛、眉毛、胡茬和毛發(fā)等細(xì)節(jié)，而所有的渲染均由高清渲染管線完成。
楊棟表示，《異教徒》的Demo中有兩個關(guān)鍵點，一是眼睛渲染，二是皮膚渲染。為了提升皮膚質(zhì)量，Unity采用了Detail Map細(xì)節(jié)貼圖、Secondary Specular Lobe高光、Cavity Specular Occlusion凹陷高光和Screen Space Subsurface Scattering屏幕空間次表面散射四項技術(shù)。據(jù)介紹，《異教徒》采用的各項技術(shù)，已經(jīng)落地到具體的項目當(dāng)中。
在接下來的時間里，楊棟還詳細(xì)介紹了Unity最新制作的電影預(yù)告《Enemies》。《Enemies》使用了Unity高清晰度渲染管道(HDRP)、屏幕空間全局照明(SSGI)、新的自適應(yīng)探頭體積、光線跟蹤、NVIDIA的深度學(xué)習(xí)超級采樣(DLSS)的整個功能集，以及與目標(biāo)相關(guān)的所有其他功能，使得影片中的數(shù)字人具有照片般逼真的眼睛、頭發(fā)、皮膚，而所有這些都以4K分辨率實時渲染和運行。
楊棟表示，我們看到了許多技術(shù)領(lǐng)域的重大進(jìn)步，這也進(jìn)一步激發(fā)了開發(fā)人員對這一領(lǐng)域未來的憧憬。Unity的核心技術(shù)一直在不斷發(fā)展，以滿足創(chuàng)作者對高視覺質(zhì)量和真實感日益增長的需求。
元宇宙在藝術(shù)行業(yè)的探索
當(dāng)元宇宙與藝術(shù)交織在一起，又會碰出什么樣的火花?
在觸角科技有限公司聯(lián)合創(chuàng)始人、大有不言文化有限公司創(chuàng)始人谷強(qiáng)看來，被元宇宙吞掉的藝術(shù)，亦或是吞掉了藝術(shù)的元宇宙，雖然時至今日仍然沒有找到問題的標(biāo)準(zhǔn)答案，但仍然是一項非常值得探索的話題。為此，谷強(qiáng)還創(chuàng)造性的發(fā)明了“元藝術(shù)”這一新詞。
談到“元藝術(shù)”，就不得不提NFT。谷強(qiáng)認(rèn)為，現(xiàn)階段最核心的問題是內(nèi)容仍然做得不夠理想，市場上流傳的NFT要么以圖片為主，要么是視頻。除此之外，目前的玩法相對單一，大部分人都是盲買，離真正規(guī)范和真正產(chǎn)生價值還差得很遠(yuǎn)。
谷強(qiáng)表示，人工智能技術(shù)的發(fā)展讓過去單純依靠人力無法完成的作品變成了可能，因此可以利用人工智能來實現(xiàn)一些過去的不可能。除此之外，隨著“元藝術(shù)”的發(fā)展，我們也可以探索在三維空間中作畫，而不是建模。
看藝術(shù)和了解藝術(shù)的方式，正在從貴族階級普及到平民階級，再從平民階級普及到全世界所有人。谷強(qiáng)強(qiáng)調(diào)，元宇宙能夠把藝術(shù)蔓延到一個非常大的領(lǐng)域中，讓過去對藝術(shù)完全不了解的人也可以非常近距離的去接觸到藝術(shù)，這是一個非常令人激動的事情。
寫在最后：電子游戲技術(shù)是元宇宙的底層基礎(chǔ)設(shè)施，為創(chuàng)作者提供方便、快捷的操作工具，讓元宇宙的生態(tài)建設(shè)者們更多地參與進(jìn)來;AI交互技術(shù)對于元宇宙是最重要的入口，數(shù)字人技術(shù)給用戶帶來了超好的體驗，為元宇宙的數(shù)字場景以及數(shù)字內(nèi)容提供了重要的技術(shù)支撐。此次《游戲與AI交互的沉浸式體驗》專場的成功舉辦，為行業(yè)探索AI與游戲技術(shù)在元宇宙中的應(yīng)用指明了方向，為各行各業(yè)開發(fā)基于元宇宙的各項應(yīng)用，提供了有力參考。
正如51CTO副總裁兼總編輯、MetaCon元宇宙技術(shù)大會總策劃崔康指出，元宇宙的時代已經(jīng)來臨，希望大家能夠和 51CTO社區(qū)的2000萬開發(fā)者一起擁抱元宇宙技術(shù)，希望MetaCon元宇宙技術(shù)大會能夠成為中國元宇宙技術(shù)發(fā)展的一個里程碑。
作為中國第一個以元宇宙技術(shù)為主題的大會，「MetaCon元宇宙技術(shù)大會」的成功舉行，也將不同行業(yè)、不同技術(shù)領(lǐng)域的元宇宙愛好者與探索者匯聚在一起，共同探索元宇宙核心技術(shù)，把脈行業(yè)未來發(fā)展趨勢，是一場業(yè)界不可多得的技術(shù)盛會。
