【51CTO.com原創(chuàng)稿件】9月11日，以《音視頻技術探索與實踐》為主題的騰訊云Techo Hub技術巡回北京站活動大幕開啟。疫情之下，遠程辦公、視頻會議、在線教育等模式的應用越來越多，極大地增加了音視頻技術的市場需求。本次活動聚焦音視頻領域，多位技術專家與眾多開發(fā)者一起探索了技術如何賦能云上新“視”界。

實時音視頻在泛娛樂行業(yè)的落地實踐

移動互聯(lián)網經歷十年發(fā)展，即將步入全真互聯(lián)網時代，實時音視頻作為全真互聯(lián)網的基礎設施，為用戶提供高并發(fā)、低延時、高清流暢、安全可靠的全場景、全互動、全實時的音視頻服務。騰訊實時音視頻（Tencent Real-Time Communication，TRTC），是基于騰訊21年來在網絡與音視頻技術上的深度積累，以多人音視頻通話和低延時互動直播兩大場景化方案，通過騰訊云服務向開發(fā)者開放，致力于幫助開發(fā)者快速搭建低成本、低延時、高品質的音視頻互動解決方案，在娛樂社交、在線教育、互動游戲、協(xié)同通信、在線醫(yī)療、在線金融等場景下都有著廣泛應用。

 

騰訊云TRTC架構負責人崔立鵬

騰訊云TRTC產品架構負責人崔立鵬老師在演講中表示，TRTC擁有三大優(yōu)勢：低延時低卡頓，高音質高畫質和全平臺覆蓋。

 

TRTC整體架構

泛娛樂場景中，用戶對畫質音質要求很高，在畫質方面，TRTC支持全鏈路H.265，實現(xiàn)了同等碼率下的畫質提升。在音質方面，TRTC內置“騰訊天籟”音頻引擎，針對多人、多場景實時通信系統(tǒng)中3A問題（降噪、回聲抑制、增益控制）提供了低復雜度、高魯棒性解決方案，致力于讓用戶 “聽得見、聽得清、聽得真”。

 

弱網場景下更好保障通話語音質量

隨著今年6.1日新著作權法的實施，直播場景下的音樂版權成為行業(yè)關注的焦點問題。TRTC攜手騰訊云正版曲庫直通車，于 5 月研發(fā)上線了直播互動曲庫。

通過音樂上云,一站式解決了版權音樂在在線直播、語聊業(yè)務場景中使用過程中信息安全，精準按量付費的版權方管理需要，和應用方原生化的集成版權曲庫服務，敏捷、小成本的創(chuàng)新，實現(xiàn)自身業(yè)務更加快速增長的需求。

接下來，崔立鵬老師詳細介紹了TRTC泛娛樂行業(yè)的典型應用。如：在線KTV、語音聊天室/語音沙龍、語音互動游戲、電臺FM、秀場直播、游戲陪玩、多人互動直播、賽事直播等。

音視頻內容風控應用實踐

近年來，隨著國家對互聯(lián)網內容安全的持續(xù)關注，制定了一系列的法律法規(guī)，明確要求互聯(lián)網企業(yè)采取技術手段確保網絡環(huán)境安全健康，內容安全問題已經成為企業(yè)的生命線。在音視頻領域中，有效地發(fā)現(xiàn)和處置含有淫穢色情、血腥恐怖等違法違規(guī)內容對企業(yè)健康發(fā)展至關重要。

騰訊云高級研發(fā)工程師蔡飛

騰訊云高級研發(fā)工程師蔡飛老師指出，在當前音視頻領域的內容安全風控中依然存在著很多挑戰(zhàn)，比如內容審核維度越來越多，需要滿足更加精細化的運營需求；內容審核標準也不統(tǒng)一，不同業(yè)務場景需要運營不同的審核策略；同時新增風險類型需要對海量歷史數(shù)據再次審核，對審核系統(tǒng)提出更高的要求。

接下來，蔡飛老師詳細介紹了音頻圖文內容識別模型框架、音視頻直播內容風控系統(tǒng)、音視頻文件內容風控系統(tǒng)的詳細架構，以及審核策略定制化調優(yōu)過程。

騰訊云內容風控產品經過22年的行業(yè)審核經驗積累，通過億級的樣本數(shù)據的訓練，支持超過300多種審核標簽識別能力，高達95%以上的識別準確率，并提供7*24小時的策略調優(yōu)，以及彈性擴容支撐大規(guī)模識別的需求，為騰訊云用戶提供實時、精準、高效、易用的內容審核整體解決方案。

 

云點播媒體處理平臺技術實踐

云點播是集音視頻上傳、媒體資源管理、媒體處理、分發(fā)加速、視頻分發(fā)于一體的解決方案。其中媒體處理是云點播的一項核心功能，支持如轉碼、截圖、視頻AI、視頻加密等能力。

一站式視頻點播解決方案

騰訊云高級研發(fā)工程師顏楚雄老師介紹了媒體處理中離線任務的特點，從模塊設計、算法設計、隊列選型等角度，介紹了云點播具體如何實現(xiàn)一個公平、可靠、高效調度的媒體處理平臺。

最后，引出了媒體處理平臺在實際運營過程中，出現(xiàn)的容災存在風險、集群利用率低、新業(yè)務接入難等幾個挑戰(zhàn)。顏楚雄老師對這些問題的原因和優(yōu)化策略進行了詳細介紹。

騰訊云高級研發(fā)工程師顏楚雄

Xe GPU創(chuàng)新微架構 打造云游無界暢玩體驗

隨著5G、光纖等高速網絡的發(fā)展和普及，云游戲成為游戲行業(yè)的必然趨勢，也是音視頻技術應用的下一個市場。

英特爾（中國）研究中心有限公司視覺云首席架構師余志洪

英特爾第一代GPU產品是以游戲作為重點，并且以安卓游戲手游、云游作為突破口來打造市場。英特爾（中國）研究中心有限公司視覺云首席架構師余志洪老師表示，“它并不是追求極致性能的GPU，而是從低功耗、高密度的思路出發(fā)，在一個板卡上堆疊多個GPU。手游云游是一個成本非常敏感的業(yè)務，英特爾第一代GPU在單卡上能支持更多的路數(shù)，可以將成本壓的更低。”英特爾把它做成了一個卡上有4個小的GPU，功率只有150瓦。針對云游戲的場景，英特爾與騰訊有緊密的合作，對一些特定場景需求進行了了定制化，在編解碼密度方面也進行了相應的匹配。

英特爾（中國）研究中心有限公司視覺云首席架構師余志洪老師表示，英特爾研發(fā)GPU的思路是以開放的形式提供軟件和生態(tài)，因此大部分驅動代碼都是開源的，可以從開源社區(qū)得到，在安卓層面進行了定制化，這樣方便貼心的軟件支持在行業(yè)里是少有的。英特爾提供了一整套的軟件，與騰訊一起合作開發(fā)了高密度的方案，兩卡可以支持160個實例。

H3C XG310采用4個Intel®Server GPU，內置行業(yè)領先的媒體IP和低功耗固定功能塊。使用基于Intel®服務器GPU的卡，供應商可以實現(xiàn): 與目前的安裝基礎相比，增加了5.5倍的流，同時提高了22%的比特率效率。通過降低準備和分發(fā)成本，增加TCO節(jié)約。英特爾自研的Xe架構GPU，包括四大級別，Xe_LP、Xe_HP、Xe_HPG和Xe_HPC，其中，HPG面向發(fā)燒級游戲玩家，同時還支持硬件級實時光線追蹤加速。

余志洪老師透露，英特爾前段時間發(fā)布了全新高性能顯卡產品品牌------英特爾銳炫（Intel® Arc），將于2022年上市。Intel®Arc顯卡產品基于Xe HPG微架構設計，其硬件產品將涉及多代，不僅包括首代基于Xe HPG微架構的Alchemist顯卡，還將包括代號分別為Battlemage、Celestial和Druid的后續(xù)幾代產品。

下一代Overlay網絡架構探索

進入互聯(lián)網的下半場即產業(yè)互聯(lián)網時代，是物的互聯(lián)網時代，是以數(shù)據為中心的時代，面臨著比以往更加艱難的挑戰(zhàn)，比如人口紅利的終結、流量紅利的終結，但并不代表著超常規(guī)高速增長的終結。之前成功的互聯(lián)網基礎設施，支撐了互聯(lián)網的高速發(fā)展，其成功可以總結為OSI分層模型成功，TCP-HTTP協(xié)議大放異彩。但是在產業(yè)互聯(lián)網時代，日益增長的數(shù)據量級、分發(fā)效率低下、用戶數(shù)據主權意識覺醒等因素的影響，使得只能客戶端訪問服務端的C/S、B/S架構不再適用產業(yè)互聯(lián)網，需要有新的網絡架構來支撐。

騰訊云專家工程師張鵬

騰訊云專家工程師張鵬老師認為，新的網絡架構首先需要更低廉（To B領域）、更高效，并且更容易使用，還需要打破架構束縛。當今，所有的數(shù)字化基本上都是經過云中轉而產生的數(shù)字化。數(shù)據經過云中轉能并不能覆蓋現(xiàn)實世界所有場景，世界應該很復雜，靠關系數(shù)據其實能做的還是很少的，最適用的行業(yè)再回頭來看，僅有社交、電商、內容傳播和數(shù)據錄入/管理等領域。架構需要打破只能云中轉的方式，從而達成更加分布式的網絡。新的網絡架構還要結合5G，但是邊緣服務器無法部署到每一個5G基站，所以還要依賴連接上的進一步解放，盡量讓同一個5G基站的設備相互連接訪問，提供就近服務，就能發(fā)揮5G巨大的優(yōu)勢了，這才是5G的正確使用方式，而這方面對等網絡技術正當時。

張鵬老師表示，未來的數(shù)據很可能不會存放在公司的云數(shù)據中心，而是托管在各種各樣的小的銀行保險箱里，或者社區(qū)性質的存儲箱中，存儲數(shù)據上反壟斷，應用產生的數(shù)據主權不是屬于應用本身，而是屬于個人，而且分發(fā)訪問速度更快，存儲成本更低。直播這個形態(tài)就非常具有代表性：媒體內容例如圖片、文字、視頻等資料存放在云上，云服務商擁有絕對控制權，在直播形態(tài)下，云服務供應商卻無法再對直播有絕對的控制權，主播下線就是下線了，云想讓直播內容續(xù)上都沒法子，主播對直播內容有絕對主權。

最后，張鵬老師詳細介紹了網絡、存儲、計算三大落地實踐，當然終究離不開以云為基礎，為此騰訊云推出了RT-ONE三網合一。

以云為基：三網合一，RT-one助力

RT-one整合了騰訊云實時通信網絡(TRTC)、即時通信網絡(IM)以及流媒體分發(fā)網絡(CDN)三張網絡，是完整的音視頻通信PaaS平臺構建基座。

智能語音技術在新居住領域的應用

智能語音是指一種以語音信號識別為基礎，搭配自然語言處理和對話管理技術，將語言輸入信息提取、分析，最終通過語音合成或文字等方式輸出并完成響應的人機語言交互技術。智能語音技術是人工智能的核心基礎技術之一，在人工智能技術中占據重要地位。權威數(shù)據顯示，2019年智能語音占據我國人工智能22%的市場份額，僅次于已經大規(guī)模商用的機器視覺。經過多年的發(fā)展，智能語音技術已經進入落地期，智能語音助手、智能音箱等產品也相繼落地。在消費級市場，語音應用立足于個人日常生活，主要應用場景包括智慧生活、智能家居、智能辦公、智能駕駛等。在企業(yè)級市場，語音應用服務于特定場景，如智慧醫(yī)療、智慧教育、智慧電信/金融/電商等。而在新居住領域，語音應用主要應用于智能家居、智能客服場景中。

[[424319]]
貝殼找房語音技術負責人鄒偉

貝殼找房語音技術負責人鄒偉在演講中表示，智能家居的目標是實現(xiàn)全屋產品的智能化，智能音箱、掃地機器人、智能電視等都是人們生活中經常使用的產品，這些產品可以進行語音交互，實現(xiàn)智能中控。這些智能產品、智能硬件首先通過信息音頻，進行語音處理，語音喚醒，之后進行語音識別，通過語音理解來識別請求，比如詢問天氣，通過對話管理和用戶進行交互，之后進行語音合成，通過語音的方式和用戶交流，形成語音全鏈路。

接下來，鄒偉老師還詳細介紹了智能客服應用。

智能客服技術架構

騰訊視頻云明眸技術演進之路

隨著顯示設備分辨率的增大，大眾對于超高清視頻的訴求越來越高，但是視頻的制作和生產端常見的分辨率還是1080P，對于廣電行業(yè)來說，急需使用AI技術將原來不夠清晰的視頻轉換成超高清視頻，進而真正達到了4K的人眼感官。對于廣大互聯(lián)網企業(yè)來說，在直播、短視頻突飛猛進發(fā)展的情況下，帶寬和存儲成本飛速的增加是一大難題。同時，對互聯(lián)網行業(yè)客戶來說，視頻播放的流暢性也是用戶體驗的重要衡量標準。因此，基于AI的高清低碼和畫質增強等能力越來越受到行業(yè)內客戶的關注。

騰訊云高級研發(fā)工程師劉兆瑞

騰訊音視頻AI產品解決方案-騰訊明眸，可以實時對視頻流進行識別，并進行AI化處理。騰訊明眸包含“極速高清”、“視頻超分辨率”等產品，其中，極速高清能在保持視頻清晰度的情況下，相對于普通轉碼提升40%的壓縮率，畫質重生能大幅提高視頻的人眼感官，為在線視頻、泛娛樂直播、短視頻等行業(yè)助力，可有效節(jié)省帶寬資源，提升觀看體驗。

接下來，騰訊云高級研發(fā)工程師劉兆瑞老師詳細介紹了極速高清演進之路和畫質修復演進之路。

音視頻內容風控中的AI實踐

在信息爆炸的時代，每天都產生大量的數(shù)字化信息，但其中包含了很多不良內容，這極大地影響社會良性發(fā)展，內容凈化迫在眉睫。在內容風控領域采用AI技術可以極大地減少人力的投入，幫助企業(yè)降本增效，為健康內容保駕護航。

騰訊安全高級應用研究員周維聰

各式各樣的場景產生的信息歸根結底以音、視、圖、文的形式呈現(xiàn)，而內容風控產品就以音、視、圖、文技術為基礎，向上構建整體的審核能力。內容風控面臨的挑戰(zhàn)與困難有：強對抗，各形式的內容存在大量對抗變異、多模態(tài)結合；不同業(yè)務場景上的標準不同，需要能靈活響應不同場景的策略；有些業(yè)務場景復雜，存在長尾問題；時效性，能對新增風險快速響應。

騰訊安全高級應用研究員周維聰老師在演講中詳細介紹了圖像視頻風控、音頻風控、文本風控的具體實現(xiàn)之路。周維聰老師表示，在內容風控中，各模塊之間的適配銜接需要優(yōu)化，對于噪音、背景音、遠場下的ASR準確提升等疑難問題要重點解決。多模態(tài)技術的應用探索可以提升各類審核效果，同時需要對抗生成技術的應用，增強對對抗樣本的審核能力。

至此，騰訊云Techo Hub技術巡回北京站圓滿結束。接下來，活動還將走進成都、杭州、上海，為更多開發(fā)者帶來學習、交流的機會！

 

【51CTO原創(chuàng)稿件，合作站點轉載請注明原文作者和出處為51CTO.com】