聲音在我們的日常生活中無處不在，是不可或缺的一部分，在元宇宙世界中亦如此。元宇宙的場景要想實(shí)現(xiàn)全方位的沉浸感，需要各種聲音技術(shù)的不斷升級和發(fā)展。在51CTO近日舉辦的“??AISummit 全球人工智能技術(shù)大會?”上，Rokid算法負(fù)責(zé)人王文兵發(fā)表了《AR下的“聲”臨“奇”境》主題演講，介紹了Rokid自研6DoF空間聲場的概念、主要技術(shù)模塊、技術(shù)難點(diǎn)、與AR結(jié)合的發(fā)展趨勢以及開發(fā)技術(shù)的初衷，詮釋了空間聲場技術(shù)在元宇宙世界中的重要體現(xiàn)。
現(xiàn)將演講內(nèi)容整理如下：
什么是6dof空間聲場？
談及這個問題時，可以先拋開技術(shù)的限制，想象一下AR上的聲音應(yīng)該以何種形態(tài)去呈現(xiàn)。其實(shí)我們現(xiàn)在用的TV、手機(jī)等大部分都是像stereo這種的雙聲道，家庭影院已經(jīng)用上了multi-channel，電影院等專業(yè)場景還有空間布局上的喇叭。
在AR上它究竟應(yīng)該如何去呈現(xiàn)呢？我們可以試想一個畫面，比如現(xiàn)在很流行的在線會議或在線教育，如果在元宇宙世界里看到右邊的數(shù)字人一直在說話，但這個聲音從你的左邊出來，這個時候是不是感覺很奇怪？
另外我們可以想象一下AR游戲，在以前這種2D的視覺里，聲音跟著視覺的焦點(diǎn)去移動就可以，但是在3D場景的360度的范圍下，人的雙眼是無法抓住整個視覺焦點(diǎn)的，而聲音是具備全局焦點(diǎn)的。這也是為什么在很多游戲里，人會跟著聲音去切換視角。因此可以看到AR上聲音所需具備的一些特性：需要滿足人對聲音的高靈敏度感覺、聲音的全局性焦點(diǎn)作用、以及聲音的真實(shí)感要求等。
接下來從三個維度介紹一下聲音形態(tài)的發(fā)展之路。
第一，空間表達(dá)維度。整個聲音的表達(dá)維度從mono/stereo到5.1/7.1/9.1/...這種平面下的多聲道、再到5.1.x/7.1.x這種空間下的多聲道等，喇叭越來越多，擺放位置也從平面上升到空間了；
第二，編碼方式維度。從最開始的channel-based（也就是基于通道的編碼，每個通道上會有各種各樣的聲音，比如我們平時常見的左右聲道的表達(dá)方式），到object-based（也就是針對發(fā)生的對象進(jìn)行編碼），包括大家在電影院觀看到的Dolby Atmos片源，比如當(dāng)某個炮彈打下來的時候，那個炮彈的對象是專門編碼的，metadata中記錄了其運(yùn)動的軌跡，然后根據(jù)對應(yīng)的喇叭位置進(jìn)行播放的；但我們最終的目標(biāo)還是希望達(dá)到完全基于場景下的效果，類似于HOA這樣的全景聲方式，不只是炮彈，一花一草一樹葉的掉落我們都希望它是具備空間感。
第三，XR體驗(yàn)維度。以前虛擬的聲音和真實(shí)世界是割裂的，如今在XR里，尤其是AR方面，我們一直在做的事就是虛擬與現(xiàn)實(shí)的融合。
人之所以能夠?qū)β曇粲腥绱思?xì)力度的區(qū)分，是因?yàn)殡p耳模式，專業(yè)上來說是ITD和ILD，也就是雙耳的時間差和音強(qiáng)差。這兩種差別會幫助我們快速定位物體發(fā)聲的方位。
那么如何讓3D聲音普及？如何突破場地局限性？如何降低用戶消費(fèi)成本？如何能夠讓每個人都享受科技？Rokid 自研的6dof空間聲場將助力解決這些難題。
6dof空間聲場從名字上可以分為兩部分：6dof和空間聲場。6dof主要表達(dá)六自由度，由陀螺儀提供繞XYZ三個方向的旋轉(zhuǎn)，由加速度計(jì)提供XYZ三個方向的加速度。
6dof空間聲場涉及聲音的產(chǎn)生、傳播、渲染、編解碼以及整個過程中虛實(shí)聲音融合和交互的過程。
6dof空間聲場的主要技術(shù)
6dof空間聲場的主要技術(shù)模塊包含HRTFs、聲場渲染以及音效。HRTFs是聲源從自由場到耳膜的沖擊函數(shù)，其是在模擬一個消音室的環(huán)境下，全方位的聲音傳到人耳的過程。聲場渲染可以給予人聽聲辨位的能力，可以虛實(shí)融合，完美處理真實(shí)物體對虛擬聲源的影響。音效是在私密性設(shè)計(jì)的開放式喇叭以減弱聲音泄露、保障音量的同時，進(jìn)行聲音品質(zhì)的豐富。
架構(gòu)圖最上面的SDK，對外提供了空間模塊，即空間引擎出口以及語音引擎出口。可以對空間信息進(jìn)行獲取和建模，有助于數(shù)字世界和物理世界的融合。
此外，我們在Room Effect上也做了一些修改。其整體框架與經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)大同小異，首先是構(gòu)建網(wǎng)絡(luò)，然后生成理論下的無損的網(wǎng)絡(luò)，之后在這個理論的基礎(chǔ)上做各種衰減、損耗的相關(guān)設(shè)置，包括吸收、遮擋、反射等。其實(shí)我們本身的目的不是為了做各種音效，我們只是結(jié)合著產(chǎn)品的使用場景，比如影院或者音樂，提供音效以讓用戶達(dá)到良好的視聽體驗(yàn)，這些都可以在下一代AR眼鏡Rokid Max上體驗(yàn)到。
6dof空間聲場對比。左邊是一個第三方SDK的效果，當(dāng)從0度到90度旋轉(zhuǎn)時，每個頻率的變化是不平滑的，而且最開始下降的很厲害，后面的變化非常小。右邊的Rokid所做的6dof空間聲場，不同的頻率段跟著你的方位變換的時候有明顯的變化，圖中為不同角度、不同頻率段、不同幅值的表現(xiàn)。
6dof空間聲場的發(fā)展趨勢
隨著元宇宙時代的來臨，AR、VR技術(shù)的興起，空間聲場的發(fā)展也迎來了新的機(jī)遇。
空間聲場的發(fā)展趨勢主要體現(xiàn)在三個方面：
一是沉浸感，人們可以根據(jù)真實(shí)的世界進(jìn)行反饋，更好地進(jìn)行虛實(shí)融合與交互，真正實(shí)現(xiàn)沉浸式體驗(yàn)。所有虛擬世界中的聲音不應(yīng)該放飛自我，不受真實(shí)世界中任何物體的影響，因?yàn)檫@樣會讓人覺得它本身還是割裂的。除了融合還要進(jìn)行交互，比如在虛擬世界中可以通過語音、手勢等不同方式去和AR終端上增強(qiáng)的聲音進(jìn)行交互，去選擇暫停、播放、或切換不同層次、不同視角的窗口、或自己感興趣的聲音等等。
二是精細(xì)化，在HRTF、分辨率、測試方法、定制化等不同方面進(jìn)行精細(xì)化的探索與實(shí)踐。精細(xì)化比較難的是頭傳，因?yàn)轭^傳本身的生成手段就比較費(fèi)時費(fèi)力，需要對整個球面空間上不同距離下的每個點(diǎn)進(jìn)行播放，然后再耳道進(jìn)行采樣。當(dāng)前也有些學(xué)者在研究如何用更少的采樣點(diǎn)生成這種相同的精細(xì)化程度，以及如何通過插值或其他技術(shù)手段實(shí)現(xiàn)更高的精確度；同時，從更長遠(yuǎn)的角度來看，精細(xì)化的一個極限是私定制的實(shí)現(xiàn)。
三是私密性與音效，體驗(yàn)不同頻段的聲音帶來的聽覺盛宴。不同諧波或不同頻段給我們帶來的感覺是不一樣的。比如，嚴(yán)重的混響是會影響人類的聽感，而適宜的混響是會帶來音質(zhì)上的豐富聽感；尤其是早期的混響，很多時候會被用于音色的判斷，低于3K的混響和橫向反射會有助于形成更好的空間感和深度感，而高頻的分量會幫助我們實(shí)現(xiàn)環(huán)繞感。
探索空間聲場的初衷
Rokid為何會做空間聲場？主要有三個方面的原因：
一，沉浸感。我們一直在追求數(shù)字世界與物理世界的融合，比如玩游戲時的那種生動、在線會議或在線教育時的那種真實(shí)。
二，虛實(shí)交互。我們認(rèn)為未來在這世界會是一種虛實(shí)的融合，在融合的基礎(chǔ)上可以去做很多交互，包括空間感知的過程、主觀行為的交互等?？臻g感知是指對于世界中比如物體的大小、空間的大小、材質(zhì)等方面，這種感知之后則形成對虛擬聲音的影響；主觀行為的交互是人為地干預(yù)、選擇、與數(shù)字世界中的聲音做溝通。
三，極致品質(zhì)。AR Glass與手機(jī)、平板、TV等產(chǎn)品是有所區(qū)別的。當(dāng)你用手機(jī)時出現(xiàn)斷網(wǎng)或者卡頓的情況是能夠忍受的，但是對戴在眼睛上的AR Glass的實(shí)時性的要求卻是非常高的。如何才能做到這種實(shí)時性的高要求？這涉及到算法、工程、系統(tǒng)、硬件以及應(yīng)用等整體的優(yōu)化。
這些是我們一直所追求的使命，Rokid希望通過AR Glass產(chǎn)品將這些能力直接推廣并普及到大眾；與此同時也希望將這些技術(shù)作為我們Yoda OS里的基本能力釋放，從而通過廣大開發(fā)者們的使用，間接的惠及到用戶，賦能到各行各業(yè)。
現(xiàn)大會演講回放及PPT已上線，進(jìn)入官網(wǎng)查看精彩內(nèi)容（?https://aisummit.51cto.com/?）
