騰訊云:大數(shù)據(jù)如何助力業(yè)務(wù)“心中有數(shù)“?
9月28日,由人民郵電出版社主辦,《大數(shù)據(jù)》雜志、數(shù)創(chuàng)匯承辦的中國國際大數(shù)據(jù)大會(huì)在北京召開,現(xiàn)場嘉賓們圍繞大數(shù)據(jù)政策、標(biāo)準(zhǔn)、市場、技術(shù)、產(chǎn)品、應(yīng)用、安全、交易等大數(shù)據(jù)產(chǎn)業(yè)熱點(diǎn),進(jìn)行了精彩碰撞。騰訊云數(shù)據(jù)產(chǎn)品副總經(jīng)理劉煜宏現(xiàn)場也為大家分享了騰訊云大數(shù)據(jù)產(chǎn)品數(shù)智方略如何幫助企業(yè)決策者做到“心中有數(shù)”。
騰訊云數(shù)據(jù)產(chǎn)品副總經(jīng)理劉煜宏現(xiàn)場精彩分享
對(duì)于數(shù)據(jù)而言,規(guī)模就代表著能力
在劉煜宏看來,數(shù)據(jù)不僅是連接器,可以連接所有的人和應(yīng)用,數(shù)據(jù)更是一種資產(chǎn),而騰訊經(jīng)過QQ、微信、QQ空間、騰訊視頻、騰訊瀏覽器等海量業(yè)務(wù)的錘煉,在服務(wù)億萬用戶的過程中,積累了豐富的數(shù)據(jù)分析和數(shù)據(jù)處理經(jīng)驗(yàn)。“每天有數(shù)以億計(jì)的用戶使用我們的社交、游戲、文學(xué)、娛樂、視頻、聽歌等等產(chǎn)品,這些用戶每天貢獻(xiàn)幾萬億條數(shù)據(jù)。我們通過對(duì)這么龐大數(shù)據(jù)不斷的挖掘分析,然后去找到用戶的需求,找到我們的問題,去改進(jìn)我們的產(chǎn)品。”
騰訊云數(shù)智方略整個(gè)平臺(tái)集群規(guī)模超過2萬臺(tái),存儲(chǔ)的數(shù)據(jù)量超過280PB,每天數(shù)據(jù)處理量超過20P,每天作業(yè)數(shù)200多萬,我們每天在平臺(tái)上面啟動(dòng)的容器數(shù)超過1.5億,每天采集的數(shù)據(jù)達(dá)到6.2萬億條,平均每秒7000多萬條,高峰的時(shí)候甚至每秒好幾億條。
基于以上十幾年的數(shù)據(jù)分析積累,從2009年我們***個(gè)內(nèi)部Hadoop大數(shù)據(jù)集群上線以來,騰訊大數(shù)據(jù)分別經(jīng)歷了離線計(jì)算、實(shí)時(shí)計(jì)算階段,如今我們進(jìn)入機(jī)器學(xué)習(xí)階段。
數(shù)智方略,大數(shù)據(jù)處理速度比傳統(tǒng)Hadoop提升780倍
劉煜宏介紹道,騰訊云的數(shù)智方略是一站式、全流程的大數(shù)據(jù)服務(wù)平臺(tái),包含3層46個(gè)產(chǎn)品組件,產(chǎn)品組件數(shù)量還在不斷的豐富中。
其中數(shù)智基于騰訊多年海量數(shù)據(jù)處理經(jīng)驗(yàn),結(jié)合開源Hadoop生態(tài)和自研組件服務(wù),為客戶提供了從采集、存儲(chǔ)、計(jì)算、挖掘到可視化的一站式數(shù)據(jù)處理服務(wù),其中更囊括了騰訊自研的機(jī)器學(xué)習(xí)引擎。用戶可以按需部署大數(shù)據(jù)處理服務(wù)以實(shí)現(xiàn)企業(yè)的業(yè)務(wù)需求,例如:數(shù)據(jù)提取、處理分析、報(bào)表展示、客戶畫像、機(jī)器學(xué)習(xí)等大數(shù)據(jù)應(yīng)用,以提高企業(yè)在大數(shù)據(jù)背景下的核心競爭力。
劉煜宏重點(diǎn)介紹了數(shù)智平臺(tái)的高性能并行計(jì)算模塊,“它是分布式機(jī)器學(xué)習(xí)的框架,我們給它起了一個(gè)很好聽的名字叫天使,這是我們跟北京大學(xué)、香港科技大學(xué)三方聯(lián)合研發(fā)的一個(gè)系統(tǒng),2015年投入使用,它可以支持10億級(jí)數(shù)據(jù)的訓(xùn)練,它在我們內(nèi)部已經(jīng)支持了很多的業(yè)務(wù),比如騰訊視頻、廣點(diǎn)通、微信等。”
數(shù)智基礎(chǔ)平臺(tái)雖然來源于社區(qū),但是騰訊云對(duì)產(chǎn)品做了深度改造,尤其是數(shù)據(jù)安全方面,不僅構(gòu)建了開放的API,也在今年首批通過大數(shù)據(jù)產(chǎn)品基礎(chǔ)能力認(rèn)證,9月初騰訊云再次通過了大數(shù)據(jù)產(chǎn)品的性能認(rèn)證。
方略提供開放通用的數(shù)據(jù)應(yīng)用及分析服務(wù),包含了用戶洞察分析、區(qū)域人流分析、云搜、文智自然語言處理、機(jī)智機(jī)器學(xué)習(xí)、開放通用推薦等。
用戶洞察分析,可以結(jié)合企業(yè)已有用戶群體,通過數(shù)據(jù)挖掘和關(guān)系鏈的分析,幫助找到***甚至上億的潛在用戶群體。
區(qū)域人流分析,可以實(shí)時(shí)了解區(qū)域人流動(dòng)態(tài),精準(zhǔn)評(píng)估擁擠等級(jí)。
輿情分析可以通過社交熱詞、人群畫像等,幫助企業(yè)的商業(yè)決策有的放矢。
優(yōu)圖人臉識(shí)別的底層能力是圖像識(shí)別技術(shù),我們積累了非常龐大的人臉模型數(shù)據(jù)庫,準(zhǔn)確率可以達(dá)到99.65%。
數(shù)智方略還針對(duì)游戲和移動(dòng)行業(yè)提供了idata游戲大數(shù)據(jù)平臺(tái)、移動(dòng)分析、移動(dòng)運(yùn)營、移動(dòng)PUSH等大數(shù)據(jù)服務(wù)。
劉煜宏現(xiàn)場展現(xiàn)了騰訊云數(shù)智方略和傳統(tǒng)Hadoop的數(shù)據(jù)處理處理對(duì)比,結(jié)果顯示,對(duì)于10億用戶畫像數(shù)據(jù)分析,數(shù)智平臺(tái)大數(shù)據(jù)處理速度比傳統(tǒng)Hadoop提升780倍。在對(duì)微信每天160億級(jí)別的多維分析場景中,數(shù)智能夠做到6秒返回結(jié)果。
在案例分享環(huán)節(jié),劉煜宏介紹了與上海同濟(jì)城市規(guī)劃設(shè)計(jì)院合作開發(fā)的針對(duì)上海迪士尼周邊區(qū)域的效益分析應(yīng)用,通過區(qū)域人流分析和用戶畫像了解區(qū)域盈利能力。在騰訊與廣東省旅游局共同打造的“旅游+互聯(lián)網(wǎng)”服務(wù)云項(xiàng)目中,騰訊云大數(shù)據(jù)解決方案可以幫助分析匯總節(jié)假日廣東省旅游熱點(diǎn)地區(qū),包括旅游資源配套資源供給、出行方式、社交輿情等,為優(yōu)化旅游資源使用,提升游客體驗(yàn)提供輔助決策。
“榕樹計(jì)劃”:與合作伙伴共建云上大數(shù)據(jù)生態(tài)
為了與大數(shù)據(jù)產(chǎn)業(yè)鏈各方合作伙伴構(gòu)建大數(shù)據(jù)生態(tài),騰訊云數(shù)智方略推出了“榕樹計(jì)劃”,針對(duì)旅游、公共安全、城市規(guī)劃、生命科學(xué)、金融五大重點(diǎn)行業(yè),優(yōu)先選擇50家大數(shù)據(jù)行業(yè)合作伙伴,聯(lián)合發(fā)布行業(yè)解決方案,并提供市場、銷售、培訓(xùn)、產(chǎn)品技術(shù)的相應(yīng)支持。同時(shí)將重點(diǎn)扶植100家大數(shù)據(jù)行業(yè)客戶,提供一對(duì)一專屬大數(shù)據(jù)架構(gòu)師支持服務(wù)及30分鐘快速響應(yīng)的技術(shù)支持綠色通道。