騰訊云拿下計算奧運(yùn)冠軍,中國云走向世界
去年在寫《中國云力量》這本書的時候,其實有很多備選的書名,那么為什么***選了這個名字呢?因為,這其中也有一層對中國云崛起的期待,云計算最早是SUN公司提出來了,之后被AWS發(fā)揚(yáng)光大,過去中國的云計算距離***的云一直存在差距。
田溯寧在為《中國云力量》所做的序言中提到,“云計算的變革核心不僅僅是商業(yè)模式和公司經(jīng)營的變革,更是整個人類社會的變革。”那么,在這場相當(dāng)于工業(yè)革命一樣的變革當(dāng)中,中國的云計算公司能夠表現(xiàn)出何種價值?
我們知道,云計算是一個技術(shù)驅(qū)動的行業(yè),只有在技術(shù)的舞臺上,持續(xù)的站在***,才能說中國的云計算真正到了走向世界的一天。
還記得2014年的Sort Benchmark,中國的百度***在這項計算界的奧運(yùn)會上奪取其中兩個項目的冠軍,而去年,阿里云則在四個項目中打破全部4項世界紀(jì)錄。
今年的Sort Benchmark,來自中國的騰訊云,則再次刷新了這四項世界紀(jì)錄,展現(xiàn)了中國云計算的技術(shù)能力。從這個角度看中國的云計算在技術(shù)上的沉淀開始釋放光芒,中國的云計算力量也在覺醒中,做好了***世界的準(zhǔn)備。
計算賽事的***殿堂
首先要強(qiáng)調(diào)的是Sort Benchmark。這是一個專門從事排序基準(zhǔn)評估的非盈利機(jī)構(gòu),該機(jī)構(gòu)每年都會舉辦一次排序基準(zhǔn)評估比賽,很多公司和學(xué)術(shù)機(jī)構(gòu)都會帶著他們***的研究成果來參加這個比賽,以評估他們的研究成果。
在2007之前,該機(jī)構(gòu)的排序基準(zhǔn)評估比賽的主辦和管理主要都是由Jim Gray負(fù)責(zé)主辦和管理的排序基準(zhǔn)評估比賽。這位1998年圖靈獎的獲得者,***傳奇色彩,他于2007年1月28日早上獨自乘船離開San Francisco Bay,去一個叫Farallon小島灑他母親的骨灰,不幸在外海失蹤。
傳奇的人已離我們遠(yuǎn)去,而傳奇的賽事卻每年都在煥發(fā)新的青春色彩。每年一度的Sort Benchmark,都被譽(yù)為計算界的奧運(yùn)會。云計算領(lǐng)域大名鼎鼎的AWS就曾在該項比賽中奪取過多項冠軍。還有大數(shù)據(jù)領(lǐng)域著名的Hadoop和Apache Spark都是過去幾年這項比賽中的冠軍得主??梢哉f,Sort Benchmark就是今天計算賽事的***殿堂。
據(jù)了解,這項賽事包括四項比賽,今年的騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊參加的是含金量***的GraySort和MinuteSort兩項排序競賽,重點評測大規(guī)模分布式系統(tǒng)的軟硬件架構(gòu)能力及平臺的計算效率,以上兩項比賽均包括Indy(專用目的排序)和Daytona(通用目的排序)兩個子項。騰訊云奪得上述四個子項的冠軍,總體將去年的紀(jì)錄提高2倍到5倍。
在我看來,Sort Benchmark是通過排序競賽考量一家公司或機(jī)構(gòu)大規(guī)模計算能力的綜合實力,不僅全面評測分布式系統(tǒng)軟件架構(gòu)能力,比如海量數(shù)據(jù)分布式存儲、計算任務(wù)切片調(diào)度、節(jié)點通信協(xié)調(diào)同步、數(shù)據(jù)計算監(jiān)控容災(zāi)等性能,也評測了硬件架構(gòu)能力,比如服務(wù)器硬件選配、網(wǎng)絡(luò)架構(gòu)調(diào)優(yōu)、IDC規(guī)劃建設(shè)能力等。所以,這項比賽中的勝出,也等于在側(cè)面驗證了騰訊云在云計算和大數(shù)據(jù)上的整體技術(shù)能力。
騰訊云做到了哪些新突破?
毫無疑問,本屆Sort Benchmark的***贏家是騰訊云的大數(shù)據(jù)聯(lián)合團(tuán)隊。這是由騰訊云存儲產(chǎn)品中心、騰訊數(shù)據(jù)平臺部組成的比賽團(tuán)隊,在大數(shù)據(jù)技術(shù)和應(yīng)用管理上有非常豐富的實踐經(jīng)驗。
首先,從Sort Benchmark官網(wǎng)顯示的數(shù)據(jù)上看,在這次競賽中,騰訊云數(shù)智分布式計算平臺,奪得Sort Benchmark大賽GraySort和MinuteSort的冠軍,總共創(chuàng)造四項世界紀(jì)錄,將去年冠軍阿里云的紀(jì)錄整體提高2倍到5倍。
那么,GraySort和MinuteSort兩項比賽的冠軍到底意味著什么?
***,GraySort比拼的是完成100TB的數(shù)據(jù)排序的耗時,主要評測的是系統(tǒng)對大規(guī)模數(shù)據(jù)的處理能力。騰訊云用時98.8秒完成100TB的數(shù)據(jù)排序,即每分鐘完成60.7TB的數(shù)據(jù)排序,去年阿里云的紀(jì)錄為18.2TB/分鐘。
第二,MinuteSort競賽,比拼的是1分鐘內(nèi)的排序數(shù)量,主要評測的是系統(tǒng)的效率。騰訊云的成績?yōu)?分鐘完成55TB的排序,去年阿里云的紀(jì)錄是11TB,騰訊云將這一數(shù)據(jù)量提升5倍。
通過比較Sort Benchmark官網(wǎng)公布的數(shù)據(jù)可見,騰訊云的單機(jī)性能比去年強(qiáng)大許多,但整體集群的配備和阿里云的配備差異不大。但是如果是對運(yùn)營成本了解的業(yè)內(nèi)人士可以計算出,騰訊云512臺機(jī)器的整體TCO成本比去年的3377臺機(jī)器低;同時從比較直觀的指標(biāo)如內(nèi)存、網(wǎng)絡(luò)、順序讀寫IO等整體看與去年的差異不大。今年排序比賽成績的提升是實實在在的,并非由硬件堆砌出來。
其次,今年的比賽其實不完全是一成不變的競賽。因為比賽要求的提交時間,突然宣布提前了一個月,這應(yīng)該是很多參賽團(tuán)隊沒預(yù)料到的。但這也恰恰突出了各團(tuán)隊在技術(shù)積累的重要性。
那么從技術(shù)積累的角度,騰訊在大數(shù)據(jù)技術(shù)的探索上可以說一直走在業(yè)界前列。我們知道,騰訊的用戶和產(chǎn)品數(shù)量都比較多,數(shù)據(jù)量巨大,數(shù)據(jù)分析的復(fù)雜度高,對底層技術(shù)平臺的要求自然很高。以春晚搖一搖發(fā)紅包為例,其***的并發(fā)請求量是搶火車票的一百多倍,要處理的問題不僅是海量并發(fā)請求,還有資源推送、紅包收發(fā)和金融級的安全防護(hù)等等,這些都考驗著騰訊對于大數(shù)據(jù)處理能力的技術(shù)沉淀。所以,面對Sort Benchmark突發(fā)性的需求,騰訊云才能做到了不慌不忙。
據(jù)悉,為了參加本次競賽,騰訊云數(shù)智從現(xiàn)網(wǎng)調(diào)配了512臺用于實時計算服務(wù)的服務(wù)器,在網(wǎng)絡(luò)方面采用了邁絡(luò)思的100Gb網(wǎng)絡(luò)技術(shù),騰訊云大數(shù)據(jù)服務(wù)的實時計算平臺能提供單集群上千臺規(guī)模實時流式計算,在數(shù)據(jù)存儲方面,支持多重數(shù)據(jù)備份,萬億數(shù)據(jù)的存儲能力。在任務(wù)調(diào)度方面,支持***任務(wù)的毫秒級的調(diào)用。而且支持故障節(jié)點自動發(fā)現(xiàn),自動剔除,業(yè)務(wù)的自動遷移,關(guān)鍵節(jié)點的主從熱備,故障的秒級切換。
從“三連冠”看中國云崛起
從以上分析可見,騰訊云能以較大優(yōu)勢斬獲Sort Benchmark競賽四個項目的冠軍,絕非偶然。再聯(lián)系去年阿里云和前一年百度的表現(xiàn),我們可以判斷,中國云計算已經(jīng)在技術(shù)能力上不輸于***云計算公司。連續(xù)的“三連冠”足以驗證中國云的集體性崛起。
這背后的內(nèi)因是互聯(lián)網(wǎng)公司們通過自身業(yè)務(wù)的擴(kuò)展,在多個不同的應(yīng)用場景上的創(chuàng)新,讓支撐業(yè)務(wù)的云計算技術(shù)得到了極大程度的升級。可以說這是中國在互聯(lián)網(wǎng)時代,換來的***的財富。
我認(rèn)為中國云的崛起將有兩個較大的意義。
***,云計算是分享經(jīng)濟(jì)的基礎(chǔ),是互聯(lián)網(wǎng)商業(yè)模式的基石。有了騰訊和阿里等公司以自身業(yè)務(wù)作為試煉場,才有了今天騰訊云和阿里云技術(shù)的成熟的發(fā)展。而這些技術(shù)未來都會開放給中國的創(chuàng)業(yè)者,中國的企業(yè)。
以Sort Benchmark上大放異彩的騰訊云數(shù)智平臺為例,它是一套一站式的大數(shù)據(jù)處理平臺,使用數(shù)智可讓技術(shù)團(tuán)隊可以專注于代碼層的開發(fā),而無需關(guān)注集群和組件的性能和穩(wěn)定性,極大的降低了大數(shù)據(jù)的使用門檻。在數(shù)智平臺上提供了業(yè)界最豐富的數(shù)據(jù)開發(fā)套件,用戶可以一站式的完成從數(shù)據(jù)清洗、數(shù)據(jù)建模與分析、可視化呈現(xiàn)、數(shù)據(jù)治理等一系列操作,支持實時流式數(shù)據(jù)、離線數(shù)據(jù)的導(dǎo)入與導(dǎo)出。
而騰訊云數(shù)智的開放,則能夠讓社會各界享有與騰訊同級的大數(shù)據(jù)處理能力。對于企業(yè)而言,可以在大幅降低人力成本、快速將大數(shù)據(jù)平臺落地的同時,享有高穩(wěn)定、高性能、高安全的大數(shù)據(jù)平臺。對于開發(fā)者而言,無需將時間精力投入到集群的搭建、改進(jìn)社區(qū)版本穩(wěn)定性等問題上,從而全力投入進(jìn)業(yè)務(wù)層與代碼層中。換句話說,騰訊云Sort Benchmark上實現(xiàn)的速度與效率,未來企業(yè)都可以借助騰訊云來獲取到。
第二,云計算技術(shù)是創(chuàng)新的溫床,它讓計算的成本不斷的降低。有了騰訊云和阿里云不輸于***云計算的技術(shù)能力,讓云計算真正成為中國創(chuàng)新的驅(qū)動力,進(jìn)一步讓互聯(lián)網(wǎng)+、工業(yè)制造4.0更快的成為現(xiàn)實。
仍然以騰訊云為例,騰訊云已經(jīng)對外開放了一系列AI產(chǎn)品,如萬象優(yōu)圖、人臉識別、語音識別、智能客服等服務(wù)。比如微眾銀行已經(jīng)將優(yōu)圖的人臉識別技術(shù)運(yùn)用到開戶流程中,在保證安全性的前提下,極大的提升了開戶效率并顯著降低成本。可見,企業(yè)和開發(fā)者可以有效的借助騰訊云開放的騰訊大數(shù)據(jù)和AI能力,來快速分析其存儲的非結(jié)構(gòu)化數(shù)據(jù),實現(xiàn)業(yè)務(wù)的創(chuàng)新。
總體而言,云計算代表了底層創(chuàng)新技術(shù)的驅(qū)動力。一個國家在云計算上的技術(shù)沉淀換來的覺醒,會促使社會全面創(chuàng)新的啟動,和產(chǎn)業(yè)流程的優(yōu)化。百度、阿里云和騰訊云,三年之間將Sort Benchmark的紀(jì)錄每年都進(jìn)行了一次大幅度的提升,也意味著中國云力量的崛起已成定局。