全球科技公司開計算奧運會 阿里云破了四個世界紀錄!
作者:佚名
10月28日,Sort Benchmark在官方網(wǎng)站公布了2015年排序競賽的最終成績。阿里云用不到7分鐘(377秒)就完成了100TB的數(shù)據(jù)排序,打破了Apache Spark的紀錄23.4分鐘。Sort Benchmark是全球科技公司的計算奧運會,更早之前Hadoop的記錄是72分鐘。
10月28日,Sort Benchmark在官方網(wǎng)站公布了2015年排序競賽的最終成績。阿里云用不到7分鐘(377秒)就完成了100TB的數(shù)據(jù)排序,打破了Apache Spark的紀錄23.4分鐘。Sort Benchmark是全球科技公司的計算奧運會,更早之前Hadoop的記錄是72分鐘。
Sort Benchmark的排序競賽包含4項比賽,其中GraySort和MinuteSort主要評測計算系統(tǒng)的規(guī)模和效率,是4項比賽中含金量***的兩項。每一項比賽又分通用目的排序(Daytona)和專用目的排序(Indy)兩個類別。阿里云飛天分布式計算系統(tǒng),在這兩項重量級比賽中打破了全部4項世界紀錄。
GraySort評測的是超大規(guī)模數(shù)據(jù)量排序的速度。飛天用了377秒對100TB數(shù)據(jù)完成排序,也就是說1分鐘能夠完成15.9TB的數(shù)據(jù)排序。去年Apache Spark成績?yōu)?.35TB/分鐘。MinuteSort評測的是系統(tǒng)在1分鐘內(nèi)能夠完成排序的數(shù)據(jù)量。飛天用1分鐘完成了對7.7TB數(shù)據(jù)的排序,去年冠軍三星為3.7TB。
阿里云***架構師唐洪表示,排序是最基礎的計算問題。100TB排序,是把1萬億條無規(guī)律的100字節(jié)紀錄,嚴格按照從小到大的順序排序,考驗分布式系統(tǒng)中存儲、調(diào)度、通信等各個子系統(tǒng)的性能,能夠反映出一個平臺的整體計算能力。GraySort和MinuteSort這兩項比賽,充分證明了阿里云在計算方面的核心能力。“未來視頻、音頻數(shù)據(jù)、生物數(shù)據(jù)等非結構化數(shù)據(jù)將爆發(fā)式增長,我們需要在最短的時間、用最小的資源計算準確。面對大數(shù)據(jù),如何算得快、算得準、算得起?這是未來云計算的核心能力。”
全球大數(shù)據(jù)計算性能變遷史
Sort Benchmark是一個專門從事排序基準評估的非盈利機構,該機構每年都會舉辦一次國際***排序基準評估比賽,被認為是計算界的奧運會。全球***公司和學術機構都會帶著他們***的研究成果來參加,以評估他們的研究成果。
世界排序大賽官網(wǎng)公布的結果:http://sortbenchmark.org/
責任編輯:鳶瑋
來源:
阿里云