超高清視音頻技術(shù)是元宇宙的底層基礎(chǔ)技術(shù)之一，元宇宙的應(yīng)用離不開超高清視音頻技術(shù)的支撐，這既給超高清視音頻技術(shù)帶來新的挑戰(zhàn)，也將推動超高清視音頻技術(shù)發(fā)展進(jìn)入新的階段。

2023年3月30日，由中國移動咪咕公司聯(lián)合中國移動研究院、中興通訊股份有限公司牽頭，共24家單位共計(jì)61位專家參與編制的世界超高清視頻產(chǎn)業(yè)聯(lián)盟（UWA聯(lián)盟）《元宇宙時代超高清視音頻技術(shù)白皮書》在第十屆中國網(wǎng)絡(luò)視聽大會上發(fā)布。UWA聯(lián)盟秘書長張文剛在會上對白皮書進(jìn)行了解讀。

元宇宙的時代背景

元宇宙作為信息技術(shù)革命的未來圖景，是網(wǎng)絡(luò)強(qiáng)國和數(shù)字中國拼圖的重要板塊，也必然是實(shí)現(xiàn)中國式現(xiàn)代化，推動構(gòu)建人類命運(yùn)共同體，創(chuàng)造人類文明新形態(tài)的物質(zhì)基礎(chǔ)。元宇宙是技術(shù)聚合體、產(chǎn)業(yè)聚合體和生態(tài)聚合體，其背后是實(shí)實(shí)在在的技術(shù)集群、產(chǎn)業(yè)集群和用戶需求。

元宇宙將觸發(fā)超高清視音頻用戶體驗(yàn)增量躍遷與技術(shù)產(chǎn)業(yè)持續(xù)演進(jìn)。當(dāng)前大眾對美好生活的進(jìn)階需求對數(shù)字內(nèi)容的體驗(yàn)方式提出了新要求，分辨率、高動態(tài)范圍等視聽質(zhì)量維度的常規(guī)迭代難以帶來用戶體驗(yàn)的增量躍升。在元宇宙概念下，超高清數(shù)字內(nèi)容既需要做到讓大眾有明顯感知，又能引領(lǐng)生活方式變革與產(chǎn)業(yè)結(jié)構(gòu)創(chuàng)新，現(xiàn)實(shí)時空與數(shù)字時空不再彼此分割，在虛實(shí)融合的互聯(lián)時空下，未來超高清視音頻生態(tài)的構(gòu)建有賴于傳統(tǒng)視音頻向沉浸式、交互性與多維化方向發(fā)展演進(jìn)。

元宇宙時代超高清視音頻技術(shù)新需求

從零售、泛娛樂、文旅游戲、社交、教育、政務(wù)、工業(yè)等元宇宙典型場景入手分析，為滿足視覺、聽覺以及觸覺方面的體驗(yàn)要求，對超高清視音頻技術(shù)在沉浸式視聽體驗(yàn)、實(shí)時多維互動、高效內(nèi)容生產(chǎn)和用戶大規(guī)模在線等四個方面都有新的需求：

一、沉浸式視聽體驗(yàn)：傳統(tǒng)二維視音頻升級勢在必行。從內(nèi)容生產(chǎn)、高效編碼，到沉浸式影像的傳輸與呈現(xiàn)等方面技術(shù)演進(jìn)，實(shí)現(xiàn)虛擬與現(xiàn)實(shí)融合的沉浸式體驗(yàn)；

二、實(shí)時多維互動：元宇宙還需要強(qiáng)交互，這對交互的自由度、實(shí)時性及多模態(tài)等方面提出了更高的要求；

三、高效內(nèi)容生產(chǎn)：元宇宙時空構(gòu)建，需要大量的內(nèi)容，這就需要提升現(xiàn)有的內(nèi)容生產(chǎn)效率。

實(shí)時及大規(guī)模用戶名在線：元宇宙的場景中大規(guī)模的用戶可同時在線并進(jìn)行實(shí)時互動，這對視音頻的處理、通信、呈現(xiàn)等實(shí)時性、兼容性有較高的要求。

未來超高清視音頻生態(tài)的構(gòu)建有賴于傳統(tǒng)視音頻向沉浸式、交互性與多維化的方向發(fā)展演進(jìn)。

元宇宙時代超高清視音頻核心關(guān)鍵技術(shù)

視音頻技術(shù)是元宇宙產(chǎn)業(yè)應(yīng)用的基石，其發(fā)展需要在單點(diǎn)技術(shù)的發(fā)展基礎(chǔ)上，融合多種關(guān)聯(lián)技術(shù)，形成針對橫向技術(shù)棧的端到端解決方案，實(shí)現(xiàn)元宇宙時代視音頻技術(shù)的有效連接和共同發(fā)展。白皮書給出了面向元宇宙時代的超高清視音頻技術(shù)體系，基于元宇宙時代的技術(shù)需求面向超高清的端到端流程，詳細(xì)分析了包括內(nèi)容生成、內(nèi)容編碼、網(wǎng)絡(luò)傳輸、內(nèi)容解碼、交互與呈現(xiàn)、用戶體驗(yàn)及版權(quán)保護(hù)各個模塊面向元宇宙時代關(guān)鍵技術(shù)升級和前沿研究。以內(nèi)容生成為例，其中內(nèi)容采集環(huán)節(jié)涵蓋了最先進(jìn)的面向元宇宙場景的數(shù)字人、場地、三維聲等采集技術(shù)；內(nèi)容制作環(huán)節(jié)則包括了具有三維立體和實(shí)時交互的特性視音頻內(nèi)容制作，例如支持6Dof交互的如點(diǎn)云視頻制作、光場視頻制作等前沿技術(shù)；模型制作，包括3D人和物的建模、模型驅(qū)動、實(shí)時渲染等，都是面向元宇宙時代的新技術(shù)發(fā)展方向。研究探討視音頻關(guān)鍵技術(shù)簇，對于提升元宇宙的視聽體驗(yàn)，具有重要的技術(shù)支撐作用。

元宇宙時代超高清視音頻技術(shù)標(biāo)準(zhǔn)體系

元宇宙時代視音頻技術(shù)涉及非常豐富的業(yè)務(wù)應(yīng)用場景，視音頻技術(shù)作為元宇宙的基礎(chǔ)技術(shù)，不同的場景有視音頻相關(guān)的新技術(shù)需求。根據(jù)本白皮書中分析的元宇宙時代超高清視音頻技術(shù)現(xiàn)狀及發(fā)展趨勢，從視音頻采集、制作、傳輸、呈現(xiàn)、應(yīng)用等各環(huán)節(jié)分析當(dāng)前國內(nèi)外的標(biāo)準(zhǔn)化現(xiàn)狀，提取出標(biāo)準(zhǔn)化需求，針對包括基礎(chǔ)通用、內(nèi)容生成、媒體傳輸與處理、交互呈現(xiàn)、行業(yè)應(yīng)用五個方面，給出了元宇宙時代超高清視音頻技術(shù)體系框架和標(biāo)準(zhǔn)化建議，為未來的標(biāo)準(zhǔn)化工作指引方向。

元宇宙的本質(zhì)是建構(gòu)原生于物理時空且與之交融的數(shù)字時空，時空的構(gòu)建離不開超高清視音頻技術(shù)的進(jìn)一步發(fā)展。《元宇宙時代超高清視音頻技術(shù)白皮書》是超高清視音頻領(lǐng)域面向元宇宙時代的首個技術(shù)白皮書，旨在探索超高清視音頻技術(shù)的元宇宙發(fā)展方向，從面向元宇宙場景的超高清視音頻技術(shù)需求出發(fā)，分析了元宇宙時代端到端超高清視音頻相關(guān)的關(guān)鍵技術(shù)及發(fā)展趨勢，并針對元宇宙下的超高清視音頻技術(shù)提出了標(biāo)準(zhǔn)化體系建議，這將推動超高清視音頻產(chǎn)業(yè)更好更快的發(fā)展，助力數(shù)字經(jīng)濟(jì)蓬勃發(fā)展。