Part 01

語義通信技術(shù) 

平安鄉(xiāng)村業(yè)務(wù)的快速普及以及攝像頭的高清化，為用戶的生活帶來“安全感”，但同時也面臨接入終端海量接入、碼率持續(xù)增長、場景日益復(fù)雜等方面的挑戰(zhàn)。傳統(tǒng)框架內(nèi)用計算復(fù)雜度換壓縮率的編碼優(yōu)化路徑，碼率下降幅度漸緩，呈現(xiàn)瓶頸趨勢；同時，通信信道容量已趨近極限，難以滿足快速增長的海量視頻數(shù)據(jù)在傳輸、存儲、分析等方面的需求。人腦可達到超高的圖像視頻壓縮性能，其機理為視覺皮層具有邊緣檢測、形狀識別、運動識別等功能，下顳葉能識別復(fù)雜物體和面孔，即提取結(jié)構(gòu)化的語義信息。傳統(tǒng)的圖像視頻通信以像素為表征單元，不能契合自然圖像所蘊含的對稱性、重復(fù)性、相關(guān)性等結(jié)構(gòu)特性，表征效率難以大幅提升。向人腦視覺感知、認知機理學(xué)習(xí)，以人工智能學(xué)科為基礎(chǔ)，探索視頻語義表征模型，可在一定程度上提升表征效率。語義通信借鑒人腦超高圖像視頻壓縮性能機理，突破現(xiàn)有理論框架，將人腦視覺感知、認知機理融入通信過程，實現(xiàn)高效語義表征和極低碼率下視頻的清晰度和流暢度。

研究基于語義的多媒體通信技術(shù)，在網(wǎng)絡(luò)受限場景下，實現(xiàn)高質(zhì)量、低帶寬、低存儲多媒體語義通信，并推進相關(guān)技術(shù)成果在平安鄉(xiāng)村的驗證及應(yīng)用，技術(shù)指標及應(yīng)用規(guī)模達到國內(nèi)外領(lǐng)先水平。不同于傳統(tǒng)視頻壓縮以像素為單元，語義通信提取圖像語義信息實現(xiàn)高效壓縮，在編碼端資源有限的情況下，實現(xiàn)高效準確的語義表征，并在接收端精確圖像。

- 語義通信編解碼技術(shù)

語義通信編解碼技術(shù)建立基于場景任務(wù)的共享先驗知識庫，將編碼端目標語義提取與解碼端目標生成聯(lián)動起來，編碼端根據(jù)先驗知識檢測視頻幀中的目標，進行語義提取并轉(zhuǎn)化為二值素描圖編碼傳輸，解碼端根據(jù)知識庫和素描圖進行目標生成，并與背景圖像融合，重建視頻。通過聯(lián)合視頻語義編碼的緊湊特征表征及高效特征檢索，實現(xiàn)海量視頻的快速檢索，用于安防等業(yè)務(wù)場景中。

圖片

其中對于海量視頻特征檢索對性能要求高，為了保證視頻檢索快速準確，語義通信提出視頻編碼與緊湊特征表征的聯(lián)合優(yōu)化方案，獲得更緊湊的特征描述子。基于強化學(xué)習(xí)構(gòu)建樹形索引結(jié)構(gòu)，在保證精度的同時提升檢索效率。

圖片

圖片

- 視頻語義通信QoE度量關(guān)鍵技術(shù)

當(dāng)前QoE通過研究視頻分辨率、卡頓時間、幀率和比特率等視頻客觀因子對用戶主觀體驗的影響，優(yōu)化多媒體內(nèi)容的QoE體驗。然而這些QoE影響因子研究聚焦于視頻客觀特征，無法有效反映語義信息對用戶體驗的影響。提出基于語義因子的QoE評價方法，建立面向語義通信的評價-反饋機制。

對于語義通信系統(tǒng)一般場景的QoE評價，采用平均關(guān)鍵點距離，關(guān)鍵點缺失率和平均歐式距離作為影響因子，結(jié)合傳統(tǒng)QoS起播時間、緩沖比率、平均媒體碼率，以及視頻分辨率、幀率和比特率等客觀因素。

計算語義通信視頻QoE評價之后，需要以此指標反饋調(diào)節(jié)并優(yōu)化整個語義通信系統(tǒng)?；谡Z義通信特點和流程，設(shè)計語義QoE的指標與反饋調(diào)節(jié)機制。在主觀QoE預(yù)測中增加語義因子，使得預(yù)測模型模型的預(yù)測值接近真實用戶評價，同時在客觀QoE指標計算中基于像素、部位以及時序排列三個層級設(shè)計指標。通過云端與客戶端的QoE計算結(jié)果進行反饋調(diào)節(jié)，在系統(tǒng)產(chǎn)生關(guān)鍵點偏移、幀數(shù)下降、輪廓扭曲、時序不穩(wěn)定時，說明此時視頻重建質(zhì)量低，啟用輪廓約束、調(diào)整傳輸碼率、增加關(guān)鍵點數(shù)量，編解碼模型調(diào)整優(yōu)化系統(tǒng)，以滿足用戶需求。

圖片

Part 02

結(jié)尾 

相比主流H.265編碼，在主觀質(zhì)量相當(dāng)?shù)那闆r下，基于語義通信的視頻傳輸平均碼率降低80%以上，在多用戶場景下，相比主流H.265編解碼傳輸，基于語義通信的計算和存儲開銷降低50%以上。為了推進多媒體語義通信技術(shù)在平安鄉(xiāng)村的應(yīng)用實踐，在江蘇省南通市富民村示范應(yīng)用平臺，完成數(shù)字鄉(xiāng)村示范應(yīng)用平臺搭建，驗證多媒體語義通信在平安鄉(xiāng)村四大場景應(yīng)用以及語義通信QoE反饋評價效果。通過場景檢測，利用靜態(tài)場景一致性強的語義特點，預(yù)計可為平安鄉(xiāng)村場景節(jié)約云存儲、帶寬60%以上，約7.5億元/年。

圖片