自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

探秘?cái)?shù)字媒體領(lǐng)域的云端技術(shù)創(chuàng)新與實(shí)踐--Techo Hub技術(shù)巡回長(zhǎng)沙站干貨分享

原創(chuàng)
云計(jì)算
6月26日下午,以“數(shù)字媒體領(lǐng)域的云端技術(shù)創(chuàng)新與實(shí)踐”為主題的Techo Hub技術(shù)巡回第三站在長(zhǎng)沙開(kāi)啟。

【51CTO.com原創(chuàng)稿件】6月26日下午,以“數(shù)字媒體領(lǐng)域的云端技術(shù)創(chuàng)新與實(shí)踐”為主題的2021 騰訊云Techo Hub技術(shù)巡回活動(dòng)第三站在長(zhǎng)沙盛大開(kāi)啟。 湖南融鏈科技有限公司CEO李穎悟老師,湖南知名數(shù)字媒體芒果TV 技術(shù)總監(jiān)潘建波老師,與多位騰訊云專(zhuān)家,共同探討了數(shù)字媒體背后的創(chuàng)新技術(shù),重點(diǎn)分享了 GPU 云服務(wù)器、云原生數(shù)據(jù)庫(kù)、云開(kāi)發(fā)、大數(shù)據(jù)、音視頻等技術(shù)的解析和實(shí)踐。

基于區(qū)塊鏈和分布式存儲(chǔ)的視頻存證系統(tǒng)

2019年,中共中央總書(shū)記習(xí)近平在中央政治局第十八次集體學(xué)習(xí)時(shí)強(qiáng)調(diào),把區(qū)塊鏈作為核心技術(shù)自主創(chuàng)新的重要突破口,加快推動(dòng)區(qū)塊鏈技術(shù)和產(chǎn)業(yè)創(chuàng)新發(fā)展。在 “十四五”規(guī)劃中,明確提到“培育壯大人工智能、大數(shù)據(jù)、區(qū)塊鏈、云計(jì)算、網(wǎng)絡(luò)安全等新興數(shù)字產(chǎn)業(yè)”,首次將區(qū)塊鏈納入到五年規(guī)劃中。

湖南融鏈科技有限公司CEO、騰訊云TVP李穎悟老師將區(qū)塊鏈技術(shù)的優(yōu)勢(shì)總結(jié)為四點(diǎn):(1)區(qū)塊鏈的去中心化技術(shù),降低了信任背書(shū)的難度,能組織更多的供應(yīng)鏈參與方,補(bǔ)充和共同維護(hù)更多的商品數(shù)據(jù),提高用戶(hù)的信任度;(2)區(qū)塊鏈技術(shù)的不可篡改、時(shí)間戳等特性,讓交易可追溯,當(dāng)供應(yīng)鏈數(shù)據(jù)被篡改時(shí),可實(shí)現(xiàn)有效追責(zé),保證商品信息透明真實(shí),根除假冒偽劣問(wèn)題;(3)供應(yīng)鏈各方共同維護(hù)數(shù)據(jù)源,并且是公開(kāi)透明的,確保參與各方及時(shí)發(fā)現(xiàn)運(yùn)行過(guò)程中的問(wèn)題,快速找到對(duì)應(yīng)的解決辦法,有助于提升供應(yīng)鏈管理效率;(4)區(qū)塊鏈在匿名的基礎(chǔ)上,還通過(guò)多種加密、驗(yàn)證方式等多種技術(shù)手段,有效地保護(hù)用戶(hù)的個(gè)人隱私,提高其信任感。因此,區(qū)塊鏈技術(shù)將在食品溯源、物流與供應(yīng)鏈、版權(quán)存證、智慧城市與公共服務(wù)等領(lǐng)域大放異彩。

湖南融鏈科技有限公司CEO、騰訊云TVP李穎悟老師

湖南融鏈科技有限公司(以下簡(jiǎn)稱(chēng)湖南融鏈科技)利用區(qū)塊鏈技術(shù)打造了茶產(chǎn)業(yè)平臺(tái),將茶園的種植、培管、采收、運(yùn)輸、加工、倉(cāng)儲(chǔ)等整個(gè)環(huán)節(jié)都遷移到區(qū)塊鏈上,打通了茶園、茶廠和消費(fèi)者的數(shù)據(jù)鏈,解決了茶的品質(zhì)溯源以及銷(xiāo)售問(wèn)題。在茶園、茶廠和消費(fèi)者的數(shù)據(jù)鏈中涉及流媒體(監(jiān)控錄像)保存的問(wèn)題,由于視頻量大、數(shù)據(jù)多,如果采用傳統(tǒng)的中心化存儲(chǔ)的方案,會(huì)存在信任問(wèn)題,數(shù)據(jù)也有可能會(huì)改變或者丟失,而如果將視頻全部放在區(qū)塊鏈上,整個(gè)區(qū)塊鏈系統(tǒng)的管理就需要達(dá)到共識(shí),這一過(guò)程效率低下,如何解決視頻存儲(chǔ)就成了一個(gè)難題。

[[408151]]

活動(dòng)現(xiàn)場(chǎng)

湖南融鏈科技的解決方法是以分布式存儲(chǔ)的形式將數(shù)據(jù)存儲(chǔ)在服務(wù)器上,將區(qū)塊鏈技術(shù)與分布式存儲(chǔ)完美地結(jié)合在一起。包括通過(guò)IPFS實(shí)現(xiàn)基于視頻內(nèi)容的尋址;通過(guò)開(kāi)源系統(tǒng)實(shí)現(xiàn)內(nèi)容可證明和去中心化永續(xù)存儲(chǔ);將視頻內(nèi)容CID上到聯(lián)名鏈存證和可回溯。
 

異構(gòu)計(jì)算在數(shù)字媒體的應(yīng)用

數(shù)據(jù)猛增的時(shí)代,對(duì)計(jì)算速度提出了更高的要求,傳統(tǒng)CPU架構(gòu)已經(jīng)無(wú)法滿(mǎn)足數(shù)據(jù)計(jì)算的需求。比如在深度學(xué)習(xí)訓(xùn)練/推理,科學(xué)計(jì)算等場(chǎng)景中,需要強(qiáng)大的浮點(diǎn)運(yùn)算能力的支持,通用CPU擅長(zhǎng)處理邏輯復(fù)雜的事務(wù)性任務(wù),因此不能應(yīng)對(duì)這些浮點(diǎn)運(yùn)算需求的場(chǎng)景。GPU依托并行計(jì)算架構(gòu),具備非常強(qiáng)的浮點(diǎn)運(yùn)算能力,數(shù)據(jù)吞吐量大,在高性能計(jì)算場(chǎng)景中變得不可替代。在視頻轉(zhuǎn)碼場(chǎng)景中,GPU 集成了專(zhuān)用的視頻編解碼硬件單元,相比 CPU 提供了更快的視頻處理速度和密度,是目前網(wǎng)絡(luò)視頻流高并發(fā)與低延時(shí)等場(chǎng)景下的優(yōu)先選擇。在圖形圖像處理領(lǐng)域,隨著渲染、云游戲、協(xié)同設(shè)計(jì)等場(chǎng)景上云,GPU的需求也非常迫切。因此,GPU服務(wù)器市場(chǎng)增長(zhǎng)迅速。



騰訊云計(jì)算高級(jí)解決方案架構(gòu)師王璐介紹說(shuō),騰訊云 GPU 云服務(wù)器是提供GPU算力的彈性計(jì)算服務(wù),具有超強(qiáng)的并行計(jì)算能力,作為IaaS層的尖兵利器,服務(wù)于人工智能深度學(xué)習(xí)訓(xùn)練/推理、科學(xué)計(jì)算、圖形圖像處理、視頻編解碼等場(chǎng)景。

騰訊云GPU服務(wù)器實(shí)例規(guī)格

騰訊云的GPU服務(wù)器產(chǎn)品,只需要在騰訊云上進(jìn)行購(gòu)買(mǎi),就可實(shí)現(xiàn)驅(qū)動(dòng)自動(dòng)化安裝,同時(shí)可以一站式選擇CUDA、cuDNN安裝,非常方便。騰訊云GPU服務(wù)器產(chǎn)品也提供了多種使用途徑,如TI-ONE+TI-EMS,TI-ONE平臺(tái)可以調(diào)用到GPU云服務(wù)器,從最底層平臺(tái)進(jìn)行購(gòu)買(mǎi);TI-EMS則是針對(duì)模型進(jìn)行推理使用,在模型訓(xùn)練完后可以在平臺(tái)上自動(dòng)部署自己的計(jì)算資源。

[[408152]]

騰訊云計(jì)算高級(jí)解決方案架構(gòu)師王璐

在云游戲行業(yè),騰訊云不僅提供IaaS層計(jì)算資源,還提供PaaS層計(jì)算資源,騰訊云GPU服務(wù)器在云游戲行業(yè)有著重要的應(yīng)用。王璐老師詳細(xì)介紹了vGPU、黑石2.0、SG1,以及安卓云游戲解決方案。通過(guò)這些解決方案可以看出,騰訊云GPU產(chǎn)品支持了多種接入途徑,也適用于多種使用場(chǎng)景,無(wú)論是圖形渲染還是AI訓(xùn)練/推理,都可以滿(mǎn)足不同層次的需求。

騰訊云云原生數(shù)據(jù)庫(kù)TDSQL-C

對(duì)于傳統(tǒng)數(shù)據(jù)庫(kù)來(lái)說(shuō),可用性和可靠性二者難以兼顧。云原生數(shù)據(jù)庫(kù)是存在于云上的,可以隨時(shí)隨地從多前端訪問(wèn),由于集群部署在云上,因此單點(diǎn)失敗對(duì)服務(wù)的影響很小。云原生數(shù)據(jù)庫(kù)與底層的云計(jì)算基礎(chǔ)設(shè)施分離,可以靈活及時(shí)地調(diào)動(dòng)資源進(jìn)行擴(kuò)容和縮容,從容應(yīng)對(duì)流量激增帶來(lái)的壓力,以及流量低谷期因資源過(guò)剩造成的浪費(fèi)。也正是因?yàn)槟軌蜢`活擴(kuò)縮容,云原生數(shù)據(jù)庫(kù)也具備很強(qiáng)的可遷移性。因此,云原生數(shù)據(jù)庫(kù)成為了互聯(lián)網(wǎng)和游戲等行業(yè)的最佳選擇。

騰訊云數(shù)據(jù)庫(kù)專(zhuān)家工程師竇賢明介紹說(shuō),騰訊云原生數(shù)據(jù)庫(kù) TDSQL-C是騰訊云自研的新一代高性能高可用的企業(yè)級(jí)分布式云數(shù)據(jù)庫(kù)。融合了傳統(tǒng)數(shù)據(jù)庫(kù)、云計(jì)算與新硬件技術(shù)的優(yōu)勢(shì),100%兼容 MySQL 和 PostgreSQL,實(shí)現(xiàn)了超百萬(wàn)級(jí) QPS 的高吞吐,128TB 海量分布式智能存儲(chǔ),保障數(shù)據(jù)安全可靠。


騰訊云數(shù)據(jù)庫(kù)專(zhuān)家工程師竇賢明

竇賢明老師通過(guò)微信小程序前端、內(nèi)容電商平臺(tái)、實(shí)時(shí)報(bào)表類(lèi)業(yè)務(wù)三個(gè)詳細(xì)的案例,深入介紹了騰訊云原生數(shù)據(jù)庫(kù)的極致彈性。

云創(chuàng)多媒體引擎--助力企業(yè)內(nèi)容生產(chǎn)工業(yè)化

由于疫情的爆發(fā)與防控,大量線下業(yè)務(wù)無(wú)法正常開(kāi)展,企業(yè)相關(guān)業(yè)務(wù)與直播能力結(jié)合日趨緊密,加上用戶(hù)觀看直播的習(xí)慣逐漸養(yǎng)成,多家企業(yè)逐漸投入到直播大潮中,探索并占據(jù)新的市場(chǎng)。

直播、短視頻等成為了主要的媒體形式,內(nèi)容消費(fèi)成為主流,內(nèi)容生產(chǎn)工具成為剛需。在這種情況下,很多團(tuán)隊(duì)都面臨著缺乏剪輯能力及媒體素材管理能力、缺乏將業(yè)務(wù)直接在云端完成視頻采集、編輯、合成、發(fā)布全鏈路流程的能力,他們渴望擁有一整套云端服務(wù),提供實(shí)時(shí)直播剪輯、錄制等高效功能和強(qiáng)大穩(wěn)定的云端媒資管理,同時(shí)可以高效管理文件和在線剪輯。 騰訊云的云創(chuàng)多媒體引擎,可以同時(shí)解決以上所有問(wèn)題,為企業(yè)提供在線視頻創(chuàng)作工具,主要包含智能媒資庫(kù)、在線視頻編輯和直播剪輯等核心功能,融入大量 AI 輔助編輯的功能,并提供可被集成的 PaaS 交付模式和一鍵換膚的 SaaS 模式,滿(mǎn)足現(xiàn)今直播領(lǐng)域的多樣化需求。

騰訊云高級(jí)產(chǎn)品經(jīng)理郭磊,在活動(dòng)現(xiàn)場(chǎng)與現(xiàn)場(chǎng)觀眾詳細(xì)分享了云創(chuàng)多媒體引擎的三個(gè)核心能力:可以基于模板工具規(guī)模化、快速地進(jìn)行線上內(nèi)容生產(chǎn);可以基于線上的協(xié)同能力,整體提升線上內(nèi)容生產(chǎn)流轉(zhuǎn)過(guò)程的工作效率;可以基于直播的分發(fā)能力,覆蓋針對(duì)內(nèi)容最終在應(yīng)用環(huán)節(jié)的需求。

騰訊云創(chuàng)多媒體引擎主要提供兩種接入方式:標(biāo)準(zhǔn)的SaaS模式和SaaS API模式。標(biāo)準(zhǔn)的SaaS模式是即買(mǎi)即用的模式,在云創(chuàng)多媒體引擎官方平臺(tái)注冊(cè)會(huì)員,就可以使用云創(chuàng)多媒體引擎的全部能力。騰訊云還提供了更加契合企業(yè)應(yīng)用的場(chǎng)景,客戶(hù)可以自定義域名和LOGO,當(dāng)客戶(hù)完成域名自定義后,將域名嵌入到自己的內(nèi)容中,不會(huì)有平臺(tái)跳轉(zhuǎn)的感受,使用起來(lái)更輕、更快、更方便。

SaaS API的模式,是基于API的接入能力、組建化的能力,使用戶(hù)可以進(jìn)行自主研發(fā),在自己的平臺(tái)上搭建原創(chuàng)的功能模塊,然后在自己的平臺(tái)上進(jìn)行開(kāi)發(fā)和搭建。 總之,對(duì)于沒(méi)有平臺(tái)的客戶(hù)或者只希望購(gòu)買(mǎi)且快速使用的客戶(hù)比較適合使用標(biāo)準(zhǔn)的SaaS模式,有一定開(kāi)發(fā)能力和一定自定義要求的客戶(hù),則可以通過(guò)SaaS API的模式去接入。

云創(chuàng)多媒體引擎旨在助力客戶(hù)構(gòu)建自己的內(nèi)容生產(chǎn)和消費(fèi)平臺(tái),其中模板化視頻生產(chǎn)全面提升了企業(yè)內(nèi)容視頻化效率,實(shí)現(xiàn)了內(nèi)容極速上云,并且支持多人異地協(xié)同創(chuàng)作,這樣多產(chǎn)品組合極大助力了內(nèi)容生產(chǎn)及消費(fèi)。

云原生一體化平臺(tái)助力數(shù)字媒體行業(yè)發(fā)展新思路

疫情助推下,線上業(yè)務(wù)發(fā)展如火如荼,微信小程序借助微信自身強(qiáng)大的渠道能力也迎來(lái)了爆發(fā)式的增長(zhǎng)。在小程序開(kāi)發(fā)過(guò)程中,不可避免地會(huì)遇到一些難題。如實(shí)時(shí)抽獎(jiǎng)的功能,整個(gè)功能需求看似非常簡(jiǎn)單,似乎兩個(gè)人配合幾天就可以完成:前端開(kāi)發(fā)完成交互UI、后端開(kāi)發(fā)實(shí)現(xiàn)抽獎(jiǎng)接口API。但是如何防止羊毛黨薅羊毛?秒殺抽獎(jiǎng)高流量情況下,如何應(yīng)對(duì)高并發(fā)?如何保障百萬(wàn)用戶(hù)互動(dòng)的實(shí)時(shí)性?接口如果被壓垮,如何保護(hù)其他業(yè)務(wù)不受損?硬件發(fā)生故障如何處理?

騰訊云高級(jí)產(chǎn)品經(jīng)理張斯靜表示,這些問(wèn)題看似簡(jiǎn)單,但卻需要長(zhǎng)時(shí)間的技術(shù)投入和積累才能解決。她所在的團(tuán)隊(duì)是要將解決這些問(wèn)題的能力服務(wù)化,讓所有開(kāi)發(fā)者可以低成本的使用這些能力去解決問(wèn)題,實(shí)現(xiàn)業(yè)務(wù)的發(fā)展,而無(wú)需關(guān)心其中的原理,從而實(shí)現(xiàn)降本增效。

為此,騰訊云云開(kāi)發(fā)團(tuán)隊(duì)和微信團(tuán)隊(duì)共同打造了云原生一體化平臺(tái),即云開(kāi)發(fā)和云托管。 云開(kāi)發(fā)(Tencent CloudBase,TCB)是騰訊云提供的云原生一體化開(kāi)發(fā)環(huán)境和工具平臺(tái),為開(kāi)發(fā)者提供高可用、自動(dòng)彈性擴(kuò)縮的后端云服務(wù),包含計(jì)算、存儲(chǔ)、托管等 Serverless 化能力,可用于云端一體化開(kāi)發(fā)多種終端應(yīng)用(小程序、公眾號(hào)、Web 應(yīng)用、Flutter 客戶(hù)端等),幫助開(kāi)發(fā)者統(tǒng)一構(gòu)建和管理后端服務(wù)和云資源,避免了應(yīng)用開(kāi)發(fā)過(guò)程中繁瑣的服務(wù)器搭建及運(yùn)維,開(kāi)發(fā)者可以專(zhuān)注于業(yè)務(wù)邏輯的實(shí)現(xiàn),開(kāi)發(fā)門(mén)檻更低,效率更高。

云開(kāi)發(fā)CloudBase產(chǎn)品架構(gòu)

騰訊云微信云托管于6月21日正式上線,是新一代云原生應(yīng)用引擎,主打托管通用能力。云托管更加貼近傳統(tǒng)后端開(kāi)發(fā)者的習(xí)慣,可以無(wú)縫使用傳統(tǒng)的開(kāi)發(fā)聯(lián)合技術(shù)棧,包括Spring Cloud/Dubbo、Java等常見(jiàn)工具。云托管集中了安全防刷、域名備案、監(jiān)控告警、日志管理、CI/CD、多環(huán)境管理、MySQL、灰度發(fā)布、公網(wǎng)訪問(wèn)等功能,用戶(hù)可以專(zhuān)注于自己的業(yè)務(wù)開(kāi)發(fā),把一切技術(shù)開(kāi)發(fā)能力交給云托管。

微信云托管產(chǎn)品架構(gòu)

在傳統(tǒng)開(kāi)發(fā)模式下,如果小程序需要調(diào)用后端API必須要經(jīng)過(guò)四步:用戶(hù)端的小程序調(diào)用WX.Login獲取CODE,后端服務(wù)器用CODE和微信服務(wù)器進(jìn)行交互,換取微信用戶(hù)獨(dú)有的標(biāo)識(shí)發(fā)送給小程序本地存儲(chǔ),實(shí)現(xiàn)一次完整的調(diào)用。如果是云開(kāi)發(fā)或者云托管的模式,由于云開(kāi)發(fā)和云托管與微信服務(wù)器之間是通過(guò)微信私有鏈路進(jìn)行調(diào)用,而不是公網(wǎng)通信,具有天然的可信賴(lài)性和安全性、可靠性,所以就可以省去這些煩瑣的交換步驟,直接一步到位,獲取用戶(hù)的OpenID或用戶(hù)信息,不再需要進(jìn)行鑒權(quán)。

此外,對(duì)于運(yùn)行在云原生服務(wù)器上的應(yīng)用,可以無(wú)痛遷移到云開(kāi)發(fā)或云托管上。對(duì)于前端來(lái)說(shuō),僅需改造一行代碼(原接口 wx.request 改為新接wx.cloud.callContainer);對(duì)于后端來(lái)說(shuō),對(duì)于已經(jīng)容器化的應(yīng)用無(wú)需改造,因?yàn)樵仆泄芗嫒軰native生態(tài)。對(duì)于未容器化的應(yīng)用,只需要增加Dockerfile,就可以實(shí)現(xiàn)把傳統(tǒng)應(yīng)用變成容器化的應(yīng)用。云托管提供了各種模板,幫助用戶(hù)進(jìn)行快速改造。

最后,張斯靜老師通過(guò)騰訊游戲、直享直播、蒙牛創(chuàng)造營(yíng)、微信支付等案例,進(jìn)一步闡述了云開(kāi)發(fā)、云托管平臺(tái)的強(qiáng)大實(shí)力。

ES在騰訊直播業(yè)務(wù)中的應(yīng)用及成本優(yōu)化

用戶(hù)搜索和日志管理是數(shù)字媒體重要的服務(wù)。Elasticsearch 是一種流行的開(kāi)源搜索和分析引擎,適用于日志分析、實(shí)時(shí)應(yīng)用程序監(jiān)控、點(diǎn)擊流分析等使用案例。一款優(yōu)秀的Elasticsearch Service可以幫助用戶(hù)快速部署、輕松管理、按需擴(kuò)展集群,簡(jiǎn)化復(fù)雜運(yùn)維操作,快速構(gòu)建日志分析、異常監(jiān)控、網(wǎng)站搜索等各類(lèi)業(yè)務(wù)。

眾所周知,無(wú)論是直播還是在線會(huì)議,經(jīng)常會(huì)出現(xiàn)網(wǎng)絡(luò)問(wèn)題,導(dǎo)致發(fā)生丟包、網(wǎng)絡(luò)延遲等現(xiàn)象,同時(shí)CPU占有率也會(huì)增加,而直播問(wèn)題的出現(xiàn)就會(huì)遭到客戶(hù)的投訴,因此,騰訊的直播業(yè)務(wù)需要一套直播質(zhì)量分析系統(tǒng)來(lái)幫助客戶(hù)快速定位問(wèn)題所在。

騰訊云專(zhuān)家工程師張彬介紹說(shuō),過(guò)去,騰訊的直播業(yè)務(wù)沒(méi)有采用ElasticSearch架構(gòu),是基于自研的數(shù)據(jù)存儲(chǔ)引擎開(kāi)發(fā)的數(shù)據(jù)存儲(chǔ)和搜索功能,包括APP質(zhì)量數(shù)據(jù)上報(bào)后,通過(guò)上報(bào)接口機(jī),將數(shù)據(jù)傳入Kafka中,通過(guò)Kafka接入到自研l(wèi)ucene數(shù)據(jù)存儲(chǔ)引擎,而后進(jìn)行數(shù)據(jù)查詢(xún),通過(guò)多維分析的角度來(lái)快速定位問(wèn)題。

但是,這套系統(tǒng)在疫情期間流量暴漲時(shí)期承擔(dān)了眾多壓力,遇到了諸多問(wèn)題,例如高吞吐的情況下難以保證可用性;寫(xiě)入慢,數(shù)據(jù)堆積,導(dǎo)致數(shù)據(jù)同步延遲高,平均查詢(xún)延遲達(dá)不到要求;系統(tǒng)擴(kuò)展性差,需要大量人工完成運(yùn)維工作;易用性不高,無(wú)法實(shí)現(xiàn)快速切換,自運(yùn)維能力不強(qiáng)。

為了幫助騰訊直播業(yè)務(wù)解決以上難題,騰訊云幫助其切換到騰訊云ElasticSearch架構(gòu)。但是,云直播的監(jiān)控系統(tǒng)數(shù)量較大,單集群平均寫(xiě)入速度1000w/s,業(yè)務(wù)至少保留近半年數(shù)據(jù)可供查詢(xún),按照業(yè)務(wù)需求計(jì)算后需要大約1500臺(tái)物理機(jī),遠(yuǎn)遠(yuǎn)超出業(yè)務(wù)成本預(yù)算。如何在滿(mǎn)足業(yè)務(wù)需求的同時(shí)降低成本?

張彬老師介紹了一系列存儲(chǔ)成本和計(jì)算成本優(yōu)化的方案:根據(jù)數(shù)據(jù)的訪問(wèn)頻率進(jìn)行冷熱分離,從而形成數(shù)據(jù)的分層;監(jiān)控?cái)?shù)據(jù)精度,根據(jù)數(shù)據(jù)精度進(jìn)行預(yù)合,提高計(jì)算速度;讀時(shí)建模,依托Schema on Read功能對(duì)于偏分析及數(shù)據(jù)結(jié)構(gòu)不固定的場(chǎng)景,只存儲(chǔ)源數(shù)據(jù),讀時(shí)建立動(dòng)態(tài)字段;通過(guò)優(yōu)化源數(shù)據(jù)壓縮算法,在性能和壓縮率中找到平衡點(diǎn);結(jié)合大數(shù)據(jù)生態(tài),整合大數(shù)據(jù)平臺(tái)的海量數(shù)據(jù)存儲(chǔ)能力,完成不同數(shù)據(jù)需求。

在直播用戶(hù)行為分析系統(tǒng)中,大部分需要選取多種維度做分析查詢(xún),這會(huì)導(dǎo)致堆內(nèi)存使用率很高,磁盤(pán)使用率卻比較低。因此,騰訊云打造了計(jì)算優(yōu)化方案,借助堆外內(nèi)存,釋放堆內(nèi)存。最后優(yōu)化的結(jié)果是內(nèi)存開(kāi)銷(xiāo)、數(shù)據(jù)管理能力、GC優(yōu)勢(shì)明顯,性能持平略有優(yōu)勢(shì)。

張彬老師表示,騰訊云的直播業(yè)務(wù)在過(guò)去可能一個(gè)ID需要1500臺(tái)機(jī)器來(lái)做支撐,通過(guò)存儲(chǔ)和計(jì)算的優(yōu)化,最后在云端只需要100-200臺(tái)機(jī)器即可完成,大大降低了成本。

[[408153]]

活動(dòng)現(xiàn)場(chǎng)

芒果TV在線業(yè)務(wù)微服務(wù)架構(gòu)演進(jìn)

芒果TV在經(jīng)過(guò)第一代的煙囪式、第二代多煙囪式、第三代面向服務(wù)式、第四代共享服務(wù)式的服務(wù)組織架構(gòu)演進(jìn)過(guò)程中,遇到了各種各樣的問(wèn)題。因此,芒果TV漸漸明確了微服務(wù)化改造的目標(biāo):一是打造高可用、高性能、可伸縮、可擴(kuò)展、安全的應(yīng)用,以拆分和服務(wù)化為基礎(chǔ),將海量用戶(hù)產(chǎn)生的大規(guī)模的訪問(wèn)流量進(jìn)行分解,采用分而治之的方法。二是實(shí)現(xiàn)基礎(chǔ)服務(wù)共享化,降低成本、提高效率,通過(guò)對(duì)基礎(chǔ)服務(wù)、業(yè)務(wù)服務(wù)、基礎(chǔ)平臺(tái)、基礎(chǔ)組件等系統(tǒng)改造,實(shí)現(xiàn)服務(wù)的多次復(fù)用,同時(shí)通過(guò)服務(wù)大面積應(yīng)用降低技術(shù)成本。

在微服務(wù)改造過(guò)程中,芒果TV面臨著一些難題,一是代碼結(jié)構(gòu)老化,封裝無(wú)人維護(hù),無(wú)法緊跟變化。針對(duì)這種困難,只有重構(gòu),而如何改又是一個(gè)新的問(wèn)題。第二個(gè)難題是重復(fù)開(kāi)發(fā),同一類(lèi)型的服務(wù)出現(xiàn)了N套服務(wù)在部署。三是配置和代碼耦合,開(kāi)啟一個(gè)開(kāi)關(guān)需要上線,配置一個(gè)變量需要上線,頻繁的配置變更上線。四是服務(wù)監(jiān)控不完善,調(diào)用鏈監(jiān)控缺失,上線經(jīng)常會(huì)因?yàn)楦鞣N問(wèn)題產(chǎn)生波動(dòng)抖動(dòng)。五是上線擴(kuò)容、資源分配等事情全靠運(yùn)維,遇到突發(fā)流量就會(huì)宕機(jī),且資源使用率不合理。六是需求多,變化快,大量人力集中在聚合請(qǐng)求方面。各種業(yè)務(wù)接入各種域名,業(yè)務(wù)代理混亂,流控管理缺失,降級(jí)靠更新。

芒果TV 技術(shù)副總監(jiān)潘建波

據(jù)芒果TV 技術(shù)副總監(jiān)潘建波介紹,為了解決這些難題,芒果TV的微服務(wù)架構(gòu)采用了如下的分層。

微服務(wù)架構(gòu)分層

芒果TV的微服務(wù)網(wǎng)關(guān)有幾個(gè)核心功能:API生命周期管理、便捷調(diào)試工具、版本管理、流量控制、簽名密鑰、API的編排與聚合,協(xié)議轉(zhuǎn)換。

芒果TV的微服務(wù)框架與治理采用的是Dubbo服務(wù),其底層服務(wù)是容器化的部署方案。

微服務(wù)框架與治理

潘建波老師還詳細(xì)介紹了芒果TV微服務(wù)應(yīng)用整體架構(gòu)。

芒果TV微服務(wù)應(yīng)用整體架構(gòu)

關(guān)于微服務(wù)化,潘建波老師表達(dá)了自己的想法:不能為了微服務(wù)而微服務(wù),不要在沒(méi)有DevOps或云服務(wù)的情況下微服務(wù)化,不要為了拆分服務(wù)而微服務(wù),也不要將微服務(wù)轉(zhuǎn)變?yōu)镾OA。

開(kāi)發(fā)者說(shuō)

最后,作為此次長(zhǎng)沙站活動(dòng)的一個(gè)特色,在“Techo Ted 開(kāi)發(fā)者說(shuō)”環(huán)節(jié),湖南長(zhǎng)城科技有限公司架構(gòu)師聶芳華,分享了自己在開(kāi)發(fā)實(shí)踐中的心得。在他看來(lái),作為流媒體服務(wù)器,騰訊云服務(wù)器帶來(lái)了極低的延遲。作為遠(yuǎn)程辦公電腦和測(cè)試服務(wù)器,則為個(gè)人帶來(lái)了極大的便利。

至此,騰訊云Techo Hub技術(shù)巡回活動(dòng)已經(jīng)走過(guò)了三站,受到了來(lái)自深圳、西安、長(zhǎng)沙的廣大開(kāi)發(fā)者們的好評(píng)。接下來(lái),活動(dòng)還將走進(jìn)武漢、北京、成都、杭州、上海,為更多的開(kāi)發(fā)者帶來(lái)學(xué)習(xí)、交流的機(jī)會(huì)! 

【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】

 

責(zé)任編輯:趙立京 來(lái)源: 51CTO
相關(guān)推薦

2021-06-22 18:07:01

Techo Hub騰訊云數(shù)字媒體

2021-07-09 17:15:31

數(shù)字媒體數(shù)據(jù)庫(kù)云原生

2022-01-10 18:02:17

云計(jì)算騰訊云Techo Hub

2021-10-18 21:32:10

Techo HubMongoDB騰訊

2022-01-20 11:40:06

騰訊云Techo Hub騰訊分布式數(shù)據(jù)庫(kù)

2021-04-14 11:07:26

騰訊云Techo Hub深圳

2021-10-28 11:22:35

騰訊云Techo Hub文創(chuàng)

2021-07-20 11:21:13

騰訊云Techo Hub武漢

2021-09-16 10:45:21

騰訊云Techo Hub北京

2021-07-27 18:09:27

騰訊云Techo Hub云原生

2021-04-19 15:46:05

云計(jì)算騰訊云Techo Hub

2021-05-13 14:12:08

騰訊Techo Hub計(jì)算

2021-05-24 09:58:52

騰訊云工業(yè)互聯(lián)網(wǎng)人工智能

2021-09-07 10:11:10

Techo Hub技術(shù)巡回音視頻

2021-11-27 18:48:24

騰訊云Techo Hub成都

2012-10-08 09:42:41

2023-08-11 10:35:53

T·Club技術(shù)音視頻

2021-08-06 14:32:21

Techo Hub技術(shù)巡回云原生

2021-09-16 11:55:34

騰訊云Techo Hub北京

2024-10-21 08:43:16

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)