騰訊云音視頻AI技術(shù),極速高清世界杯直播的“幕后功臣”
原創(chuàng)【51CTO.com原創(chuàng)稿件】轉(zhuǎn)眼間,世界杯已接近尾聲。無論是否看球,是否懂球,世界杯期間人們的話題都少不了這個(gè)。回顧每屆世界杯都有新科技助陣,讓球迷更為真實(shí)感受世界杯的美,世界杯的激情與汗水。而今年的世界杯依舊離不開新科技的支持,比如云計(jì)算、人工智能,比如一改以往電視直播,采用新媒體平臺(tái)進(jìn)行網(wǎng)絡(luò)直播。
五月底,中央廣播電視臺(tái)決定將世界杯新媒體版權(quán)分銷。為了實(shí)現(xiàn)清晰流暢的直播效果,央視最終選擇了騰訊云提供極速高清直播技術(shù)支撐。相信此次世界杯直播,央視網(wǎng)、央視影音視頻的清晰度和流暢度應(yīng)該給不少人留下了深刻印象。那么,高清直播的背后,騰訊云到底運(yùn)用了什么新技術(shù)?為何央視會(huì)選中騰訊云?
體育賽事直播***的挑戰(zhàn):清晰度和流暢度
以往觀眾只能通過電視看世界杯,出現(xiàn)畫面卡頓或者不清晰的情況很小。但是網(wǎng)絡(luò)直播卻不似電視直播那樣穩(wěn)定,因受網(wǎng)絡(luò)帶寬等因素影響,畫面卡頓、音視頻時(shí)間戳不同步等情況出現(xiàn)概率較高。
通常情況下,為了保證順暢觀看視頻,用戶不得不降低視頻碼率,選擇流暢或者標(biāo)清畫質(zhì)觀看視頻??墒菍τ谑澜绫@樣重量級的賽事而言,這顯然并不是觀眾和直播方想要的結(jié)果。事實(shí)上,視頻在互聯(lián)網(wǎng)上是最耗帶寬的內(nèi)容形式,實(shí)現(xiàn)視頻高頻運(yùn)動(dòng)畫面的清晰度和流暢度,一直是互聯(lián)網(wǎng)體育賽事直播***的挑戰(zhàn)。
那么,如何才能保證用戶觀看直播的質(zhì)量,保證畫面清晰度?騰訊云是怎么做的?
騰訊云高級產(chǎn)品經(jīng)理李海琦
在近日舉行的騰訊云媒體沙龍上,騰訊云高級產(chǎn)品經(jīng)理李海琦表示:“對于視頻企業(yè)來說,帶寬支出占很大一部分運(yùn)營成本,如果想為用戶提供高清的視頻體驗(yàn),就必須增加視頻流的碼率,相應(yīng)的帶寬的總成本也會(huì)進(jìn)一步提高。而騰訊云極速高清正解決了該問題,可以以更低的碼率給用戶提供更高清的視頻。”
央視世界杯直播背后的技術(shù)——騰訊云極速高清
李海琦向記者表示,普通的轉(zhuǎn)碼技術(shù)存在諸多質(zhì)量問題,例如:轉(zhuǎn)碼失真、低分辨率模糊、鏡頭抖動(dòng)、噪聲大、低碼率鋸齒塊等。這些都是處理整個(gè)轉(zhuǎn)碼過程中,要處理的一些基本問題。
騰訊云極速高清技術(shù)(又叫“智能動(dòng)態(tài)編碼技術(shù)”),主要利用機(jī)器深度學(xué)習(xí),通過視頻場景智能分類、編碼參數(shù)匹配、前置處理、編碼動(dòng)態(tài)優(yōu)化、碼率智能控制、detail reduce、ROI處理等技術(shù)和流程,對直播或者點(diǎn)播視頻流進(jìn)行智能處理,以匹配***編碼參數(shù),從而以更低的帶寬成本給用戶提供更高清的視頻直播流。
該技術(shù)會(huì)根據(jù)場景分類實(shí)時(shí)識別結(jié)果,結(jié)合視頻源碼率、幀率、分辨率、紋理和運(yùn)動(dòng)變化幅度等情況,以及綜合機(jī)器負(fù)載和畫質(zhì)效果等維度,選擇***編碼參數(shù)。同時(shí)在畫質(zhì)處理上,它能夠根據(jù)不同場景分類,結(jié)合視頻源畫面紋理和實(shí)時(shí)運(yùn)動(dòng)檢測結(jié)果對畫面進(jìn)行銳化、軟模糊、反交錯(cuò)、去塊、降噪、色階補(bǔ)償、降幀等前置處理。
據(jù)介紹,騰訊云極速高清技術(shù)主要通過三個(gè)模塊實(shí)現(xiàn)直播視頻流智能編碼工作,即:場景智能識別、視頻動(dòng)態(tài)編碼、視頻增強(qiáng)。
在場景的智能識別方面,極速高清技術(shù)服務(wù)期間,可實(shí)時(shí)對直播流進(jìn)行檢測分析,并匹配對應(yīng)場景模型。根據(jù)視頻流情況來識別視頻直播的場景,是否是一場體育賽事,如果是,是足球、籃球還是網(wǎng)球。同時(shí),針對單個(gè)場景也采取智能識別,假如是足球賽事,需要實(shí)時(shí)識別是否是近景,是否是遠(yuǎn)景,是否射門等等。然后,根據(jù)場景分類實(shí)時(shí)識別結(jié)果,進(jìn)行視頻動(dòng)態(tài)編碼。先匹配當(dāng)前基礎(chǔ)編碼庫,然后根據(jù)實(shí)時(shí)運(yùn)動(dòng)場景匹配下一個(gè)更細(xì)節(jié)的編碼庫。***,實(shí)現(xiàn)視頻的增強(qiáng)。對觀眾關(guān)注的重點(diǎn)區(qū)域?qū)崿F(xiàn)增強(qiáng),非重點(diǎn)區(qū)域弱化。例如觀眾區(qū)域和廣告牌區(qū)域可以弱化。
為何央視會(huì)選中騰訊云?
央視作為整個(gè)視頻云行業(yè)都極其看重的客戶,是各云廠商的必爭之地。此次世界杯前,央視決定在世界杯期間引入提升比賽清晰度的新技術(shù)后,各云服務(wù)廠商都提供了自己的解決方案。
騰訊云在碼率控制、去模糊、去塊、反交錯(cuò)、運(yùn)動(dòng)搜索和分塊決策等模塊共進(jìn)行了幾十次服務(wù)升級和優(yōu)化。經(jīng)過與一輪又一輪的PK,央視網(wǎng)最終選擇了騰訊云。在分辨率同為1024*576、幀率為25的情況下,騰訊云極速高清技術(shù)實(shí)現(xiàn)了更低的碼率,為887kbps,其余兩家云服務(wù)廠商碼率為963kbps和941kbps。VMAF模型用來評估視頻質(zhì)量,騰訊云碼率比友商少8%-10%左右。
“世界杯開幕賽期間,在各家直播問題頻出的同時(shí),正是憑借騰訊云極速高清技術(shù)支持的央視影音,一舉實(shí)現(xiàn)了口碑的逆襲。”騰訊云高級工程師盧林表示。
騰訊云高級工程師盧林
談及這次世界杯直播的支持經(jīng)歷,盧林表示:“其實(shí),早在今年春節(jié),騰訊云針對世界杯比賽場景深度學(xué)習(xí)就已經(jīng)開始。”今年春節(jié)后,騰訊云極速高清服務(wù)開始陸續(xù)接入一些頭部游戲直播平臺(tái),并且取得了良好的反饋。
此前,騰訊云網(wǎng)絡(luò)爬蟲足球比賽視頻超過了 500 場。針對每場比賽視頻在高速運(yùn)動(dòng)場景、足球跟隨模型訓(xùn)練、長遠(yuǎn)鏡頭優(yōu)化、精彩回放 ROI 區(qū)域增強(qiáng)、觀眾表情捕捉等細(xì)節(jié)做一些視覺效果分析以及優(yōu)化效果評估,來實(shí)現(xiàn)***動(dòng)態(tài)編碼的模型。
世界杯之前,騰訊云已在中超和英超賽事上向龍珠直播以及新英體育進(jìn)行了極速高清服務(wù)的推廣,并且開始對他們所建立的 AI 模型進(jìn)行訓(xùn)練。他們發(fā)現(xiàn),中超和英超賽事有著很多不一樣的地方。中超的比賽節(jié)奏比英超要更慢一些,這就需要他們針對不同的模型進(jìn)行更具針對性的調(diào)整。
而世界杯賽事的節(jié)奏大致介乎于中超和英超之間,但更偏向于英超的快節(jié)奏。所以,在世界杯期間他們又對之前的那套 AI 模型進(jìn)行了與世界杯賽事更相符的匹配。
除此之外,在本就時(shí)間緊迫的世界杯前夕,騰訊云還拿出了全新的私有化方案,在央視網(wǎng)搭一整套騰訊云極速高清轉(zhuǎn)碼集群,支持央視網(wǎng)世界杯期間CCTV5頻道直播,RTMP/FLV推拉源流,轉(zhuǎn)碼處理后支持央視RTMP/FLV/HLS拉流。
最終,在世界杯開賽前,騰訊云兼容了客戶硬件設(shè)備以及軟件代碼模塊的各種適配要求。目前,這條方案的各項(xiàng)服務(wù)指標(biāo)一切正常,出流效果也超出預(yù)期,播出效果對比其他平臺(tái)優(yōu)勢明顯。
AI加持音視頻,極速、高彈性
記者了解到,騰訊云極速高清技術(shù)是騰訊云音視頻AI解決方案的最主要特性之一。
前不久,在2018騰訊云在“云+未來”峰會(huì)上,為解決游戲直播行業(yè)面臨的成本、技術(shù)問題,騰訊云發(fā)布了音視頻AI解決方案——明眸。音視頻技術(shù)與AI人工智能的結(jié)合會(huì)擦出什么樣的火花,騰訊云明眸能力就是***的證明。
騰訊明眸可實(shí)現(xiàn)智能判斷視頻場景類型,對不同類型的視頻優(yōu)化處理,以更低的帶寬給用戶提供更高清的觀看體驗(yàn)??梢哉f騰訊視頻云對AI的理解足夠充分,騰訊明眸涵蓋了極速高清、智能動(dòng)效、智能編輯、智能字幕四大核心功能,可囊括泛娛樂直播、在線視頻、短視頻、廣電新媒體等視頻全產(chǎn)業(yè)鏈條,具體實(shí)現(xiàn)方面,包括窄帶高清、超分辨率、動(dòng)態(tài)編碼、肢體語言識別、智能掛件、美膚美顏、人像檢索、智能封面、智能標(biāo)簽、語音識別、實(shí)時(shí)翻譯、混流輸出等在內(nèi)的多個(gè)應(yīng)用場景讓AI技術(shù)得以充分體現(xiàn)。
其中,極速高清服務(wù)通過AI技術(shù),明眸可智能判斷視頻場景類型,對同一個(gè)視頻里的不同段,應(yīng)用完全不一樣IBP幀類型、量化參數(shù)QP、分辨率等編碼參數(shù),盡量在不降低視頻質(zhì)量情況下降低視頻碼率,減少CDN帶寬。
憑借騰訊多年來在視頻領(lǐng)域的資源、技術(shù)積累,騰訊云構(gòu)建了視頻云生態(tài),不僅為企業(yè)提供技術(shù)支撐,更與企業(yè)達(dá)成資源方面的合作,助力80%的Top直播企業(yè)發(fā)展。在“云+未來”峰會(huì)上,騰訊云發(fā)布的全新音視頻AI解決方案以及Tencent-RTC,使其生態(tài)得到了進(jìn)一步的完善和進(jìn)化。
【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】