字節(jié)跳動(dòng)的海外技術(shù)團(tuán)隊(duì)在全球視頻編碼領(lǐng)域?qū)崿F(xiàn)最新突破。

據(jù)聯(lián)合視頻專(zhuān)家組JVET官網(wǎng)顯示，字節(jié)跳動(dòng)AVG(先進(jìn)視頻團(tuán)隊(duì))今年2月發(fā)起一項(xiàng)視頻壓縮的技術(shù)提案，該提案能夠在優(yōu)化壓縮質(zhì)量的同時(shí)，節(jié)約至少13%的存儲(chǔ)和帶寬。例如，一段180分鐘H.266/VVC標(biāo)準(zhǔn)的高清視頻(1080P分辨率)，大約需要3GB的數(shù)據(jù)體積，應(yīng)用新技術(shù)后只需要2.6GB。這是業(yè)界公開(kāi)的單個(gè)智能編碼工具的最佳性能增益。

字節(jié)跳動(dòng)AVG在美國(guó)加州建立研發(fā)團(tuán)隊(duì)，成員有來(lái)自高通、微軟、英特爾等巨頭的資深研究員，也有出身海內(nèi)外頂級(jí)院校的新生代。在此前JVET制定新一代國(guó)際視頻編解碼標(biāo)準(zhǔn)H.266/VVC的過(guò)程中，字節(jié)跳動(dòng)AVG累計(jì)提交260+項(xiàng)技術(shù)提案，其中130+項(xiàng)被采納，被采納提案數(shù)和采納率均排在世界前列，是H.266/VVC核心算法的主要貢獻(xiàn)者之一。

視頻是由一張張圖片連接起來(lái)的動(dòng)態(tài)圖像序列，視頻編解碼則是視頻應(yīng)用的底層核心技術(shù)，作用是對(duì)圖像進(jìn)行壓縮和數(shù)字編碼，以盡可能小的帶寬傳送高質(zhì)量的視頻數(shù)據(jù)。H.266/VVC能夠在不影響畫(huà)質(zhì)的情況下，把視頻碼率降低到前一代標(biāo)準(zhǔn)H.265/HEVC的一半。本來(lái)只夠放標(biāo)清視頻的網(wǎng)速，也能流暢播放高清視頻。

此次字節(jié)跳動(dòng)AVG提出的新算法，旨在通過(guò)深度學(xué)習(xí)技術(shù)構(gòu)建減少視頻壓縮失真的濾波器(DAM)，主干是基于殘差單元堆疊的深度卷積網(wǎng)絡(luò)，輔以自適應(yīng)模型選擇以最大程度適應(yīng)特性復(fù)雜的自然視頻。所謂殘差單元是指通過(guò)引入跳層連接，允許網(wǎng)絡(luò)把注意力放在變化的殘差上，這與視頻圖像幀之間的殘差有異曲同工之妙，比如武林高手決斗，“劍光一閃”，每一幀圖像絕大部分內(nèi)容是相同的，閃動(dòng)的劍光形成殘差，這也是視頻編碼壓縮的重點(diǎn)關(guān)注對(duì)象。

實(shí)驗(yàn)結(jié)果顯示，相比H.266/VVC最新標(biāo)準(zhǔn)，字節(jié)跳動(dòng)的DAM解決方案能夠?yàn)橐曨l編碼性能帶來(lái)顯著提升，亮度信號(hào)Y可實(shí)現(xiàn)10.28%的性能增益，兩個(gè)色度信號(hào)U和V，性能增益也分別達(dá)到28.22%和27.97%，在視頻質(zhì)量有所優(yōu)化的同時(shí)，至少還可縮小13%的數(shù)據(jù)體積。

圖：測(cè)試用例來(lái)自國(guó)際標(biāo)準(zhǔn)組織的測(cè)試視頻

據(jù)悉，字節(jié)跳動(dòng)AVG已自主研發(fā)了BVC2.0編碼器，首次參加國(guó)際權(quán)威的MSU 2020視頻編碼器大賽，就在四項(xiàng)評(píng)價(jià)指標(biāo)上包攬第一。AVG的各項(xiàng)研究成果，也將通過(guò)BVC編碼器的升級(jí)換代投入應(yīng)用，包括抖音、西瓜視頻、今日頭條等 App的視頻類(lèi)內(nèi)容處理，以及云計(jì)算、云游戲等基礎(chǔ)架構(gòu)領(lǐng)域，從而為用戶(hù)帶來(lái)更高清畫(huà)質(zhì)、更流暢播放的視頻體驗(yàn)。

AVG除了深度參與國(guó)際視頻標(biāo)準(zhǔn)制定外，也為國(guó)產(chǎn)新一代視頻壓縮標(biāo)準(zhǔn)AVS3做出重要貢獻(xiàn)，包括塊劃分、運(yùn)動(dòng)矢量編碼及預(yù)測(cè)、色-亮度幀內(nèi)預(yù)測(cè)等多項(xiàng)原創(chuàng)性技術(shù)被AVS3視頻標(biāo)準(zhǔn)所采納。字節(jié)跳動(dòng)因此獲得2019年度AVS產(chǎn)業(yè)技術(shù)創(chuàng)新之提案獎(jiǎng)，是迄今唯一獲獎(jiǎng)的互聯(lián)網(wǎng)企業(yè)。

字節(jié)跳動(dòng)AVG的張莉博士介紹說(shuō)，視頻壓縮標(biāo)準(zhǔn)作為服務(wù)商必須遵循的規(guī)范，不僅蘊(yùn)含著難以估量的商業(yè)價(jià)值，也會(huì)為用戶(hù)帶來(lái)實(shí)實(shí)在在的便利。通過(guò)標(biāo)準(zhǔn)制定與產(chǎn)品研發(fā)，字節(jié)跳動(dòng)會(huì)持續(xù)創(chuàng)新并輸出技術(shù)能力，與行業(yè)一起為用戶(hù)提供更優(yōu)質(zhì)的視頻服務(wù)。