作者 | 袁小霞、黃挺，單位：中國(guó)移動(dòng)智慧家庭質(zhì)量測(cè)試部

Labs 導(dǎo)讀

隨著視頻通話、直播的廣泛應(yīng)用，音視頻產(chǎn)品種類和形式越來(lái)越多。為了對(duì)多終端的軟硬件音視頻能力進(jìn)行評(píng)測(cè)，整合業(yè)界的音視頻測(cè)試標(biāo)準(zhǔn)，提出多場(chǎng)景端到端音視頻質(zhì)量評(píng)測(cè)方案，可以覆蓋多種端到端音視頻質(zhì)量評(píng)測(cè)場(chǎng)景。

Part 01  音視頻質(zhì)量評(píng)測(cè)體系

在音視頻的業(yè)務(wù)場(chǎng)景中，不僅包含實(shí)時(shí)的視頻通信、視頻直播、視頻點(diǎn)播，還包含云存儲(chǔ)和云游戲等。通過(guò)自動(dòng)化音視頻測(cè)試平臺(tái)，評(píng)測(cè)類型由主觀評(píng)價(jià)和客觀評(píng)價(jià)組成，結(jié)合專家打分、專家儀表和軟件工具，分別提出音頻和視頻的業(yè)務(wù)指標(biāo)，集合PESQ、POLQA等音視算法和PEVQ、NIQE等視頻算法，構(gòu)成一整套音視頻質(zhì)量評(píng)測(cè)體系。

Part 02  多場(chǎng)景測(cè)試組網(wǎng)

根據(jù)多場(chǎng)景測(cè)試需要，整合思博倫網(wǎng)絡(luò)損傷儀器Attero和音視頻質(zhì)量測(cè)試設(shè)備Chromatic Umetrix，搭建有參考源測(cè)試環(huán)境、無(wú)參考源測(cè)試環(huán)境和SDK hook有參考源測(cè)試環(huán)境。其中有參考源和無(wú)參考源測(cè)試環(huán)境適用于競(jìng)品對(duì)標(biāo)的橫向測(cè)試中，發(fā)送端采集音視頻片源，測(cè)試設(shè)備錄制接收端播放音視頻并分析的場(chǎng)景；SDK hook有參考源測(cè)試環(huán)境適用音視頻底層能力的眾向?qū)Ρ葴y(cè)試中，通過(guò)hook方式，調(diào)用音視頻底層接口將測(cè)試指定片源注入到發(fā)送端編碼，接收端解碼音視頻后直接通過(guò)音視頻質(zhì)量設(shè)備進(jìn)行分析。組網(wǎng)如圖1所示。

圖1 多場(chǎng)景端到端音視頻質(zhì)量評(píng)測(cè)組網(wǎng)

Part 03  多場(chǎng)景多維度網(wǎng)絡(luò)方案

根據(jù)測(cè)試統(tǒng)計(jì)結(jié)果及參考真實(shí)用戶的網(wǎng)絡(luò)使用場(chǎng)景設(shè)計(jì)了如下多場(chǎng)景多維度的網(wǎng)絡(luò)測(cè)試方案：

• 無(wú)限制網(wǎng)絡(luò)：網(wǎng)絡(luò)帶寬無(wú)限制、0%丟包率、0ms抖動(dòng)；
• 低帶寬限制網(wǎng)絡(luò)：1Mbps帶寬限制、0%丟包率、0ms抖動(dòng)；
• 常規(guī)帶寬限制網(wǎng)絡(luò)：2Mbps帶寬限制、0%丟包率、0ms抖動(dòng)；
• 輕度擁塞網(wǎng)絡(luò)：3Mbps帶寬限制、5%丟包率、50ms抖動(dòng)；
• 中度擁塞網(wǎng)絡(luò)：2Mbps帶寬限制、20%丟包率、100ms抖動(dòng)；
• 高度擁塞網(wǎng)絡(luò)：1Mbps帶寬限制、35%丟包率、100ms抖動(dòng)；

Part 04  Gerrit音視頻質(zhì)量評(píng)價(jià)模型及應(yīng)用

4.1 音視頻質(zhì)量評(píng)價(jià)指標(biāo)

• MOS（GED）：GED （Gross Error Detection）提供基于幀的針對(duì)音視頻業(yè)務(wù)質(zhì)量的 MOS評(píng)分。GED從用戶感知角度對(duì)流媒體點(diǎn)播、音視頻通話等音視頻業(yè)務(wù)的音視頻流暢度進(jìn)行分析。同時(shí)提供其他實(shí)用的KPI指標(biāo)，對(duì)影響音視頻質(zhì)量的因素進(jìn)行量化，用來(lái)評(píng)估音視頻流暢度性能、音頻音視頻同步（需要結(jié)合音頻評(píng)估算法）等；
• MOS（NR）：基于機(jī)器學(xué)習(xí)的AI無(wú)參考音視頻圖像質(zhì)量分析。無(wú)需預(yù)設(shè)音視頻源，模擬人眼對(duì)音視頻圖像質(zhì)量進(jìn)行MOS打分（1分=差 - 5分=好），同時(shí)無(wú)參考檢測(cè)音視頻TI （Temporal Information)時(shí)間復(fù)雜度、SI (Spatial Information)空間復(fù)雜度、緩沖，卡頓等狀況，結(jié)合各種如（不同壓縮比及分辨率下）音視頻圖像質(zhì)量MOS分，給出一個(gè)用戶感知體驗(yàn)(QoE）分值；
  
• 幀率：音視頻幀率（Frame rate）是用于測(cè)量顯示幀數(shù)的量度，一幀代表一副靜止的圖像，測(cè)量單位為每秒顯示幀數(shù)(Frames per Second，簡(jiǎn)：FPS）；
  
• 凍幀率：即音視頻凍屏百分比，通過(guò)測(cè)試過(guò)程中識(shí)別出的音視頻畫面凍結(jié)時(shí)長(zhǎng)/測(cè)試音視頻總時(shí)長(zhǎng)得出；
  
• 破損率：即音視頻破損百分比，通過(guò)測(cè)試過(guò)程中識(shí)別出的音視頻畫面破損幀數(shù)量/測(cè)試音視頻總幀數(shù)得出；
  
• 音畫同步：指音頻與視頻畫面的時(shí)間戳一致性，測(cè)量單位為毫秒（ms）。

4.2 音視頻質(zhì)量評(píng)分方法

根據(jù)上述關(guān)鍵指標(biāo)，依據(jù)音視頻流暢度、清晰度指標(biāo)對(duì)實(shí)際音視頻體驗(yàn)影響權(quán)重，得出最貼近用戶真實(shí)體驗(yàn)的得分評(píng)價(jià)算法：

• 單個(gè)場(chǎng)景得分（總分10分）=音視頻流暢度得分（總分5分）+音視頻清晰度得分（總分5分） = MOS（GED）x 20%+幀率x 10%+凍幀率 x 10%+音畫同步 x 10%+MOS（NR）x 30%+破損率 x 20%
• 綜合得分（總分10分）=無(wú)限制網(wǎng)絡(luò)場(chǎng)景得分（總分4分） + 帶寬限制網(wǎng)絡(luò)場(chǎng)景得分（總分3分）+擁塞網(wǎng)絡(luò)場(chǎng)景得分（總分3分）=無(wú)限制網(wǎng)絡(luò)場(chǎng)景得分 x 40% + 低帶寬限制網(wǎng)絡(luò)場(chǎng)景得分 x 15% +常規(guī)帶寬限制網(wǎng)絡(luò)場(chǎng)景得分 x 15% + 輕度擁塞限制網(wǎng)絡(luò)場(chǎng)景得分 x 10% + 中度擁塞限制網(wǎng)絡(luò)場(chǎng)景得分 x 10% + 重度擁塞限制網(wǎng)絡(luò)場(chǎng)景得分 x 10%

評(píng)價(jià)算法分析：

• 單個(gè)指標(biāo)評(píng)分范圍為[0,10]，8－10分為優(yōu)秀，6－8分為良好，4－6分為一般，2－4分為差，2分以下為很差；
• 單個(gè)場(chǎng)景得分中音視頻流暢度指標(biāo)和音視頻清晰度指標(biāo)得分評(píng)分范圍為[0,5]，4－5分為優(yōu)秀，3－4分為良好，2－3分為一般，1－2分為差，1分以下為很差；
• 綜合得分評(píng)分范圍為[0,10]，8－10分為優(yōu)秀，6－8分為良好，4－6分為一般，2－4分為差，2分以下為很差；

4.3 音視頻質(zhì)量評(píng)價(jià)模型應(yīng)用

以上評(píng)價(jià)模型應(yīng)用于自研產(chǎn)品縱向測(cè)試和行業(yè)頭部產(chǎn)品對(duì)標(biāo)測(cè)試數(shù)據(jù)對(duì)比中，以下是部分測(cè)試數(shù)據(jù)統(tǒng)計(jì)。

自研產(chǎn)品在優(yōu)化期間進(jìn)行縱向?qū)Ρ葴y(cè)試和行業(yè)頭部產(chǎn)品對(duì)標(biāo)測(cè)試。在6種網(wǎng)絡(luò)場(chǎng)景下，自研產(chǎn)品綜合得分提升7.5分，整體質(zhì)量有明顯提升。與行業(yè)頭部產(chǎn)品對(duì)標(biāo)測(cè)試中，公司自研產(chǎn)品在各網(wǎng)絡(luò)場(chǎng)景得分排名，從2020年的第5名上升至2021年的第2名。

Part 05  結(jié)束語(yǔ)

在高質(zhì)量發(fā)展的大背景下，關(guān)注服務(wù)質(zhì)量、用戶體驗(yàn)是音視頻產(chǎn)品測(cè)試發(fā)展動(dòng)力之一。為了解決多場(chǎng)景端到端的音視頻測(cè)試技術(shù)薄弱，評(píng)價(jià)體系單一的問(wèn)題，提出多場(chǎng)景、多維度、高可靠的音視頻質(zhì)量評(píng)價(jià)體系。借助完善的評(píng)價(jià)體系，可以精準(zhǔn)的評(píng)估出待測(cè)產(chǎn)品的音視頻質(zhì)量，最終得分也更貼近于真實(shí)的用戶體驗(yàn)，推動(dòng)音視頻能力技術(shù)的快速提升。