獲得計算冠軍,騰訊云發(fā)動大數(shù)據變革
在數(shù)據排序領域,往往呈現(xiàn)出顛覆性的提速,在前年百度奪冠時候,100TB排序的最短時間是716秒,更早前Hadoop的紀錄是4222秒。
Sort Benchmark在全球具有計算奧運會之稱,騰訊云的勝出,對于當前國內云計算市場、企業(yè)大數(shù)據應用究竟意味著什么?
技術準備:運算速度大幅提升,平臺投入不斷加強
關注大數(shù)據和計算機的小伙伴對Sort Benchmark并不會陌生。這家專門從事排序基準評估的非盈利機構,每年都會舉辦一次排序基準評估比賽,吸引了包括亞馬遜、Apache Spark、Hadoop、騰訊、百度在內的世界上大型網絡科技公司和***學術機構參賽,以評估各自軟硬件系統(tǒng)架構能力及***研究成果,可以說是全球計算界的***賽事。
Sort Benchmark的排序競賽一共包含4項比賽,其中Gray Sort和Minute Sort主要評測計算系統(tǒng)的規(guī)模和效率,在4項比賽中含金量***。每一項比賽又分通用目的排序(Daytona)和專用目的排序(Indy)兩個類別。騰訊云的數(shù)智分布式計算平臺,全部奪得上述4個子項的冠軍并創(chuàng)造了新的世界紀錄,大幅刷新了去年阿里云的成績。
排序競賽中,100TB數(shù)據的排序比賽的規(guī)則最簡單,也最能直觀地看出平臺的運算能力。100TB數(shù)據排序,就是把1萬億條無規(guī)律的100字節(jié)記錄,嚴格按照從小到大的順序排好。這直接考驗分布式系統(tǒng)中存儲、調度、通信等各個子系統(tǒng)的性能,反映一個平臺的整體計算能力。
在這場跑數(shù)據的奧運會上,騰訊云和阿里云是近年的新秀。這幾年來,騰訊云和阿里云都在倡導大數(shù)據計算,投入都十分巨大。在本次比賽中,騰訊云數(shù)智在架構和軟件方面下了十足的功夫,同時在硬件上投入512臺IBM的Open POWER服務器和邁絡思的100Gb互聯(lián)技術,可謂軟硬兼修。
市場變化:成也數(shù)據,敗也數(shù)據,云計算已成為剛需
現(xiàn)在的競爭,已經是數(shù)據的競爭,數(shù)據處理速度的背后,關系到業(yè)務洞察能力的高低。對云計算平臺來說,在Sort Benchmark上爭排名高低,不僅關乎平臺整體形象,更與業(yè)務的開展和效益的提升息息相關。一方面,沒了計算速度,云服務就成了空中樓閣、無本之木;另一方面,速度帶來的效益,遠不止我們想象的那么簡單,往往一秒之差,企業(yè)的經營結果就高下立判。
當下企業(yè)的經營,對大規(guī)模生產的依賴度已經有所降低,而對精準營銷和主動營銷的需求不斷強化。大數(shù)據分析水平的高低,在很大程度上決定企業(yè)的盈利能力。
依靠云計算和大數(shù)據,可以幫企業(yè)實現(xiàn)以前不可能實現(xiàn)的目標。首先,通過分析用戶行為信息對其精準畫像,開展差別化營銷,激發(fā)潛在消費,使營銷更加精準。其次,依靠大數(shù)據對各因素之間相關性的計算,進行用戶消費行為的預測,使營銷更加主動,貫徹“用戶終身價值管理”理念。***,也是最重要的,云計算可以幫助企業(yè)打造新的盈利模式,這類情況,在金融、快消等領域有很多案例。
比如,近兩年春節(jié)紅得發(fā)紫的微信和QQ的“紅包”,微信在2016年除夕經受住了1秒鐘收發(fā)40多萬個紅包的***流量沖擊,全球QQ用戶則在那天晚上“刷”了1894億次。
全民搶紅包的幕后,云計算是當之無愧的英雄。為保證紅包的正常收發(fā),騰訊云在廣州和上海兩地的云機房上做了分流,設置了容災系統(tǒng),開發(fā)列表系統(tǒng)用來處理用戶搶、拆、發(fā)、查紅包的數(shù)據,并整合DNS Pod輸出了跨域流量調度方案,這些技術在云計算行業(yè)史上都是***次。
除了讓微信和QQ經受了“紅包大戰(zhàn)”高峰值、大流量的考驗,騰訊云更是助力其成功打造了一個以紅包為紐帶的盈利模式,要知道,用戶使用紅包,一般就會綁定銀行卡,而綁定銀行卡之后,很多業(yè)務和盈利也就有了想象空間。
受益于云計算的不止微信和QQ。市場研究公司Gartner稱,公有云能為企業(yè)平均降下14%的成本。經過這幾年的市場啟蒙,企業(yè)對大數(shù)據作用的認識已經被喚醒,云服務逐漸取代了企業(yè)自建的服務系統(tǒng),企業(yè)剛需不斷催生了大數(shù)據和云服務市場的開發(fā)。Gartner的數(shù)據顯示,全球公共云服務市場規(guī)模今年有望達到2040億美元,較2015年的1750億美元增長16.5%,而且這種兩位數(shù)的發(fā)展勢頭將會持續(xù)到2017年。
使用進展:數(shù)智讓企業(yè)數(shù)據真正跑起來
就目前來看, 大數(shù)據的收集已經不是難事。一方面,數(shù)據不一定要是文字和數(shù)字,圖片、聲音、視頻甚至地理位置等非結構化的信息都能被加以利用。另一方面,數(shù)據的獲取渠道已經無處不在,很多時候甚至不容易被人察覺。比如一些APP可以通過WIFI、射頻技術(RFID)和藍牙所獲取用戶位置信息。海量的數(shù)據不斷積累,并且在以幾何級數(shù)增長。
但是數(shù)據收集起來之后,又面臨一個問題,也是傳統(tǒng)IT一直沒有很好解決的一塊問題——企業(yè)數(shù)據的利用率很低。為了避免數(shù)據的浪費,騰訊云特地為企業(yè)開發(fā)了“數(shù)智分布式計算平臺”。數(shù)智包含3層46個產品組件,是在騰訊多年海量數(shù)據處理經驗之上,結合開源Hadoop生態(tài)和自研組件服務,對外提供的可靠、安全、易用的大數(shù)據處理平臺。為客戶提供了從采集、存儲、計算、挖掘到可視化的一站式數(shù)據處理服務。
此次創(chuàng)下Sort Benchmark四項新紀錄,可以看做是數(shù)智在國際大賽上的牛刀小試。國內實踐方面,在10億用戶畫像數(shù)據分析,量級約為10TB的count、sum和group計算中,數(shù)智平臺能夠將傳統(tǒng)Hadoop長達20分鐘的計算時長縮短到秒級,大數(shù)據處理速度提升高達780倍。數(shù)智在對微信每天160億級別的多維分析場景中,能夠做到6秒返回結果。
基于此,數(shù)智的應用領域已經在擴展。廣東省旅游部門通過數(shù)智,結合騰訊覆蓋全國10億的人群畫像能力,及日調用量超過400億騰訊位置大數(shù)據服務,成功地對景區(qū)進行實時客流量監(jiān)控及預測,并推動了旅游產品服務的精準營銷。
數(shù)智的廣泛運用,也反映了騰訊在大數(shù)據上的步伐在加速。今年8月,騰訊云與大數(shù)據分析平臺廠商,永洪科技達成戰(zhàn)略合作,永洪科技旗下500多家合作伙伴、2000多家企業(yè)客戶(包括中國移動、中國電信、華為集團、中信銀行等)和4萬多個付費用戶將成為騰訊云進一步發(fā)展的基礎。此外,騰訊云和同程旅游、人民日報的合作正在扎實推進。
毫無疑問,云計算、大數(shù)據和人工智能將在多方面重塑企業(yè)的經營和管理,企業(yè)對數(shù)據存儲和利用的能力將成為核心競爭力。除了騰訊、阿里在布局大數(shù)據和云計算之外,通訊企業(yè)和其他諸多互聯(lián)網公司都紛紛卷入競爭,誰都不想錯過了這次技術革新的機會。
不管愿意還是不愿意,企業(yè)未來在互聯(lián)網上的業(yè)務成功將高度依賴云計算,這是行業(yè)趨勢,也是歷史的必然。