世界頂級(jí)的數(shù)據(jù)密集型處理系統(tǒng)揭秘
譯文【51CTO快譯】前不久在德國舉行的國際超級(jí)計(jì)算大會(huì)（ISC）宣布了世界頂級(jí)的數(shù)據(jù)密集型處理系統(tǒng)?？茖W(xué)技術(shù)計(jì)算應(yīng)用領(lǐng)域處理大數(shù)據(jù)問題的頂級(jí)超級(jí)計(jì)算機(jī)榜單名為Graph 500，每年更新兩次；一次是在ISC，另一次是在一年一度的超級(jí)計(jì)算大會(huì)（Supercomputing Conference），2012年這屆大會(huì)于鹽湖城舉行。
這份榜單始于2010年的ISC，對(duì)應(yīng)于注重處理速度這個(gè)結(jié)果的Top500。Graph 500基準(zhǔn)測(cè)試評(píng)估計(jì)算機(jī)在處理數(shù)據(jù)密集型分析應(yīng)用時(shí)的性能，并且評(píng)估計(jì)算機(jī)的通信功能和計(jì)算性能。
這一挑戰(zhàn)賽的名稱來源于它所解決的問題的根源，名為“圖形類”運(yùn)算——這些算法是許多應(yīng)用中分析工作負(fù)載的核心部分，比如網(wǎng)絡(luò)安全、醫(yī)療信息學(xué)和數(shù)據(jù)強(qiáng)化等應(yīng)用。
按照Graph 500小組（該小組得到了世界各地50余位高性能計(jì)算專家的支持）的官員說法，數(shù)據(jù)密集型超級(jí)計(jì)算機(jī)應(yīng)用對(duì)高性能計(jì)算工作負(fù)載來說越來越重要，但是不適合為3D物理模擬而設(shè)計(jì)的平臺(tái)。
他們聲稱，“目前的基準(zhǔn)測(cè)試和性能指標(biāo)無法提供關(guān)于超級(jí)計(jì)算系統(tǒng)適合數(shù)據(jù)密集型應(yīng)用情況的有用信息。為了指導(dǎo)廠商設(shè)計(jì)旨在支持這類應(yīng)用、幫助采購的硬件架構(gòu)和軟件系統(tǒng)，就需要一套新的基準(zhǔn)測(cè)試。圖形算法是許多分析工作負(fù)載的一個(gè)核心部分。”
由于起源于高性能計(jì)算領(lǐng)域，又與Top500榜單有著關(guān)系，Graph 500榜單上的系統(tǒng)并非企業(yè)系統(tǒng)，與注重性能的Top 500榜單有幾個(gè)相似之處，因?yàn)樵O(shè)計(jì)時(shí)注重速度的許多超級(jí)計(jì)算機(jī)也具有相當(dāng)強(qiáng)大的一些圖形處理功能。
兩款數(shù)據(jù)密集型系統(tǒng)并列第一，絕對(duì)遙遙領(lǐng)先于榜單上的其他系統(tǒng)。雖然Graph 500仍處于初期階段（與歷史悠久的Top500榜單相比），但我們預(yù)計(jì)更多的團(tuán)隊(duì)會(huì)提交系統(tǒng)，以便拿仍在完善中的Graph 500基準(zhǔn)測(cè)試進(jìn)行對(duì)照。
不妨先介紹兩款頂級(jí)系統(tǒng)，它們?cè)跔?zhēng)奪世界上功能最強(qiáng)大的數(shù)據(jù)密集型系統(tǒng)這個(gè)頭銜中打成平手。
第一名：米拉（阿爾貢國家實(shí)驗(yàn)室）
除了在今年的Top500超級(jí)計(jì)算機(jī)榜單上名列第三外，米拉（Mira）超級(jí)計(jì)算機(jī)還在Graph 500奪得頭把交椅。
Graph 500的目的是想看看超級(jí)計(jì)算機(jī)能夠?yàn)槊芗€性代數(shù)（計(jì)算密集型浮點(diǎn)）運(yùn)算提供多高的性能。阿爾貢國家實(shí)驗(yàn)室稱，米拉主要是為了為這類運(yùn)算提供超高性能而設(shè)計(jì)的，因?yàn)檫@類運(yùn)算與科學(xué)和工程應(yīng)用高度關(guān)聯(lián)。
計(jì)算機(jī)經(jīng)常用來解決小的圖形問題（比如說，為運(yùn)貨卡車車隊(duì)規(guī)劃最佳路線）。然而，圖形問題會(huì)變得非常棘手，因?yàn)樗鼈儠?huì)擴(kuò)展到更龐大的數(shù)據(jù)集（設(shè)想一下估計(jì)氣候?qū)π〉貐^(qū)內(nèi)城市經(jīng)濟(jì)的影響和評(píng)估氣候?qū)θ珖鞘薪?jīng)濟(jì)的影響之間的區(qū)別）。
管理阿爾貢領(lǐng)導(dǎo)力計(jì)算中心應(yīng)用性能工程團(tuán)隊(duì)的Kalyan Kumaran說：“要是有在這幾種運(yùn)算方面性能超群的超級(jí)計(jì)算機(jī)，那么這一類非常有用的計(jì)算技術(shù)就可以運(yùn)用到更廣泛的領(lǐng)域。米拉所能處理的問題類型要比大規(guī)模科學(xué)模擬廣泛得多。”
IBM藍(lán)色基因/Q系統(tǒng)位于阿爾貢領(lǐng)導(dǎo)力計(jì)算中心（ACLF），它每秒能夠處理1016次運(yùn)算。阿爾貢國家實(shí)驗(yàn)室稱，其目的是一旦完全投入運(yùn)行，讓米拉每年能夠處理50多億個(gè)計(jì)算小時(shí)。
Vesta是米拉的測(cè)試和開發(fā)系統(tǒng)，它在Graph 500榜單上名列第6。米拉在阿爾貢國家實(shí)驗(yàn)室的前身：IBM藍(lán)色基因/P則排名第16。
并列第一名：紅杉（勞倫斯利物莫爾國家實(shí)驗(yàn)室）
近期關(guān)于紅杉（Sequoia）的重大新聞是它如今是世界上速度最快的超級(jí)計(jì)算機(jī)，在Top500榜單上力壓群雄。然而，勞倫斯利物莫爾國家實(shí)驗(yàn)室強(qiáng)調(diào)，該超級(jí)計(jì)算機(jī)不僅僅是為了追求速度而制造的，還是為處理實(shí)際環(huán)境的數(shù)據(jù)密集型應(yīng)用而制造的。
米拉位于阿爾貢領(lǐng)導(dǎo)力計(jì)算中心（ALCF），而紅杉位于勞倫斯利物莫爾國家實(shí)驗(yàn)室，各自都達(dá)到了超過3500 GTEPS的分?jǐn)?shù)。GTEPS指每秒訪問的10億邊緣。
勞倫斯利物莫爾國家實(shí)驗(yàn)室有多款超級(jí)計(jì)算機(jī)入圍今年的Graph500榜單，包括使用固態(tài)硬盤存儲(chǔ)陣列來保存圖形的幾款超級(jí)計(jì)算機(jī)。利維坦（Leviathan）這款系統(tǒng)有一個(gè)含40核心的節(jié)點(diǎn)、1TB內(nèi)存和12TB閃存，它是該實(shí)驗(yàn)室的另一款明星級(jí)大數(shù)據(jù)超級(jí)計(jì)算機(jī)。
美國核安全局管理員Thomas D’Agostino告訴勞倫斯利物莫爾Independent網(wǎng)站，“雖然紅杉也許是速度最快的，但是它提供的底層計(jì)算功能卻讓我們對(duì)本國的核威懾力量更有信心，因?yàn)榘凑諚l約協(xié)議，武器儲(chǔ)備有所改變，這是奧巴馬政府核安全議程的一部分。紅杉還代表了美國在高性能計(jì)算領(lǐng)域繼續(xù)扮演領(lǐng)導(dǎo)地位，這是促進(jìn)高質(zhì)量工作和經(jīng)濟(jì)繁榮的技術(shù)創(chuàng)新的關(guān)鍵所在。
紅杉有望讓研究人員更全面地認(rèn)識(shí)武器性能，特別是材料在極端壓力和溫度下的流體動(dòng)力學(xué)和特性。尤其是，該系統(tǒng)將讓整套高度解決的不確定性量化運(yùn)算能夠支持延長(zhǎng)老化武器系統(tǒng)壽命的工作。
第三名：與IBM開發(fā)工程部門共同設(shè)計(jì)的Darpa Trial Subset
系統(tǒng)規(guī)格和性能方面遠(yuǎn)不如另外兩款系統(tǒng)（節(jié)點(diǎn)數(shù)量分別是32768個(gè)和區(qū)區(qū)1024個(gè)）的是與IBM開發(fā)工程部門共同設(shè)計(jì)的一款國防高級(jí)研究計(jì)劃局（DARPA）系統(tǒng)，名列第二，僅次于兩家國家實(shí)驗(yàn)室打成平手的兩個(gè)系統(tǒng)。
我們無法得知這款系統(tǒng)的詳細(xì)信息，只知道它是Power 775，這是時(shí)鐘頻率在3.836 GHz左右的Power7 8C。
IBM開發(fā)工程部門有許多另外的系統(tǒng)，提交今年Top500考慮審查，包括兩款iDataPLex系統(tǒng)，一款名列第175位（有10128個(gè)核心），另一款名列第213位，有7248個(gè)核心。
雖然有關(guān)這款大數(shù)據(jù)系統(tǒng)的詳細(xì)信息寥寥無幾，但我們完全可以設(shè)想IBM計(jì)算機(jī)旨在快速處理數(shù)據(jù)密集型軍事和國防應(yīng)用。至于排名第三的那個(gè)系統(tǒng)，我們倒是知道有關(guān)它的一些詳細(xì)信息，不過該系統(tǒng)位于美國境外。
第四名：Oakleaf（東京大學(xué)）
富士通的Oakleaf-FX系統(tǒng)位于東京大學(xué)信息技術(shù)中心，它被認(rèn)為是功能最強(qiáng)大的數(shù)據(jù)密集型超級(jí)計(jì)算機(jī)之一。
Oakleaf-FX是富士通公司的PRIMEHPC FX10超級(jí)計(jì)算機(jī)之一，它是為峰值浮點(diǎn)運(yùn)算性能而設(shè)計(jì)的，同時(shí)也非常注重能效，據(jù)說整個(gè)系統(tǒng)的功耗只有140萬瓦。
東京大學(xué)現(xiàn)在使用這臺(tái)超級(jí)計(jì)算機(jī)處理許多數(shù)據(jù)密集型科研項(xiàng)目，包括生物學(xué)、材料學(xué)和航空航天等眾多領(lǐng)域的科研項(xiàng)目。該大學(xué)去年表示，它之所以選擇這臺(tái)超級(jí)計(jì)算機(jī)，是因?yàn)樗c富士通公司的K超級(jí)計(jì)算機(jī)兼容，而K超級(jí)計(jì)算機(jī)在Top500榜單上名列第二。
東京大學(xué)IT中心超級(jí)計(jì)算部門主任中島研吾博士說：“PRIMEHPC FX10超級(jí)計(jì)算機(jī)系統(tǒng)（Oakleaf-FX）將有助于促進(jìn)學(xué)術(shù)界和工業(yè)界的用戶在各種類型的研究開發(fā)工作中取得進(jìn)展。Oakleaf-FX將用于東京大學(xué)研究生院的高性能計(jì)算教育計(jì)劃，旨在培養(yǎng)未來的計(jì)算科學(xué)家。Oakleaf-FX的性質(zhì)決定了它的優(yōu)先事項(xiàng)將放在大規(guī)模任務(wù)上。”
東京大學(xué)還擁有Graph 500榜單上的第四名：在東京工業(yè)大學(xué)全球科學(xué)信息計(jì)算中心有一個(gè)惠普集群平臺(tái)。這個(gè)系統(tǒng)是一臺(tái)性能強(qiáng)勁的數(shù)據(jù)處理系統(tǒng)，得益于1366個(gè)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)都有三塊英偉達(dá)特斯拉（Tesla）卡的配置。
想了解榜單的更多信息，包括前十強(qiáng)——包括位于阿爾貢國家實(shí)驗(yàn)室、布魯克黑文國家實(shí)驗(yàn)室和勞倫斯伯克利國家實(shí)驗(yàn)室的更多“藍(lán)色基因”和超級(jí)計(jì)算機(jī)，不妨瀏覽主榜單（http://www.graph500.org/results_june_2012）。
【編輯推薦】
