Oracle表態(tài):絕不放棄Lustre文件系統(tǒng)
自從去年Oracle收購(gòu)Sun之后,Lustre文件系統(tǒng)的命運(yùn)就出現(xiàn)了不確定性。事實(shí)上,這種不確定性還得回溯到收購(gòu)之前很久。為結(jié)束猜測(cè),Oracle借近日召開的2010超級(jí)計(jì)算大會(huì)重申了對(duì)Lustre的承諾。
Oracle存儲(chǔ)高級(jí)產(chǎn)品經(jīng)理Jason Schaffer表示,“Oracle不會(huì)讓Lustre有本質(zhì)上的改變,我們對(duì)Lustre和社區(qū)以及高性能計(jì)算(HPC)市場(chǎng)將給予堅(jiān)定的承諾。”
當(dāng)然,Lustre是一個(gè)高性能開源文件系統(tǒng),通常在高性能計(jì)算環(huán)境中使用。它基于Linux,由Oracle設(shè)計(jì)、開發(fā)和維護(hù),許多開源社區(qū)的個(gè)人和公司也參與其中。它的基本設(shè)計(jì)是通過(guò)大規(guī)模并行來(lái)實(shí)現(xiàn)I/O性能,提供遠(yuǎn)遠(yuǎn)超出傳統(tǒng)文件系統(tǒng)限制的規(guī)模。據(jù)Schaffer表示,Lustre可擴(kuò)展到數(shù)十PB、每秒數(shù)百Gb和數(shù)千客戶端,可靠部署到許多群集環(huán)境中。
Schaffer稱,“Lustre是世界上***的并行文件系統(tǒng),我們將繼續(xù)投資它的研發(fā)。”
他強(qiáng)調(diào)Oracle并沒(méi)改變Sun的策略,而是大大推動(dòng)它。那是什么策略?對(duì)于Oracle來(lái)說(shuō),就是領(lǐng)導(dǎo)Lustre開源社區(qū),并繼續(xù)在這方面投資以支持對(duì)HPC的大量使用。
他指出了這樣的事實(shí),在剛剛發(fā)布全世界最快的超級(jí)計(jì)算機(jī)TOP500名單上,前100名系統(tǒng)中有61個(gè)都利用了Lustre。
Schaffer稱,中國(guó)***的高性能計(jì)算系統(tǒng)也采用了Lustre。
他還談?wù)摿宋挥谥袊?guó)天津的國(guó)家超級(jí)計(jì)算機(jī)中心開發(fā)的天河1號(hào)A系統(tǒng)。天河1號(hào)A以其2.57 petaflops的性能摘得的Linpack測(cè)試性能TOP500榜首。它具有29376GB的內(nèi)存,采用了NVIDIA圖形處理器(GPU)和英特爾至強(qiáng)5600系列處理器。它采用一種定制互連,據(jù)說(shuō)能夠處理大約2倍的InfiniBand高速數(shù)據(jù)。這項(xiàng)功能削減了集群內(nèi)延遲,并是天河1號(hào)A位居榜首的關(guān)鍵因素之一。
Schaffer表示:“大多數(shù)被Lustre所吸引的客戶都是對(duì)規(guī)模與/或性能感興趣的,Lustre的競(jìng)爭(zhēng)力要么在于規(guī)模出眾,要么在于性能出眾。”
他說(shuō),雖然科學(xué)和學(xué)術(shù)界用戶是最突出的,但也有大量的商業(yè)客戶,尤其在石油和天然氣、媒體和娛樂(lè)領(lǐng)域。
分析師見(jiàn)解
以上是來(lái)自甲骨文官方觀點(diǎn),下面看看分析師有何見(jiàn)解。
StorageIO 的分析師Greg Schulz 表示,“Lustre之所以在高性能計(jì)算領(lǐng)域內(nèi)成功,是因?yàn)樗轻槍?duì)那些需要讀寫大型數(shù)據(jù)集、或者文件要求并行訪問(wèn)文件的環(huán)境或者場(chǎng)景,相比之下,大多數(shù)通用的橫向擴(kuò)展NAS解決方案都是針對(duì)小型文件的并發(fā)訪問(wèn)。同樣地,大多數(shù)通用或者橫向擴(kuò)展型NAS包括很多集群文件系統(tǒng)解決方案,具有例如快照和復(fù)制等特性來(lái)管理小型文件,在這方面,Lustre具有一定的優(yōu)勢(shì),能夠安全保存和提供來(lái)自對(duì)象存儲(chǔ)目標(biāo)和對(duì)象存儲(chǔ)服務(wù)器的并行高吞吐讀寫操作。”
是因?yàn)檫@樣的環(huán)境或場(chǎng)景需要讀取或?qū)懭敕浅4蟮臄?shù)據(jù)集,或文件要求并行存取通用文件,以及針對(duì)小文件進(jìn)行并發(fā)訪問(wèn)的向外擴(kuò)展NAS解決方案。同樣的,大部分包括許多集群的通用或向外擴(kuò)展NAS文件系統(tǒng)解決方案都具有很多功能,比如用于管理小文件的快照、復(fù)制。Lustre在對(duì)象存儲(chǔ)服務(wù)器(OST)總有一個(gè)主要的租戶,能夠安全地存儲(chǔ)和提供高吞吐量實(shí)現(xiàn)多個(gè)對(duì)象存儲(chǔ)目標(biāo)的并行讀取和寫入。”
因此,Schulz稱,很少有用戶會(huì)嘗試讓Lustre做不符合設(shè)計(jì)初衷的事情(例如圍繞Lustre的常見(jiàn)應(yīng)用)。Schulz表示,Lustre在支持研發(fā)、勘探、仿真或者其他要求并行處理大型數(shù)據(jù)集工作負(fù)載的很多商用環(huán)境中找到了自己的一席之地。另一方面,在面對(duì)來(lái)自戴爾、EMC、IBM、BlueArc、NetApp和OracleZFS的通用NAS解決方案時(shí),Lustre通常并不是最合適的。換句話說(shuō),雖然這些都是文件服務(wù)系統(tǒng),但是Lustre和其他類似方法(例如Panasas PanFS)更多地應(yīng)用于特定的垂直應(yīng)用環(huán)境中,而更多通用系統(tǒng)則在其他領(lǐng)域發(fā)揮他們的作用。
Schulz表示,“這就是對(duì)于手頭的工作要利用正確的工具和技術(shù)來(lái)處理。”
他認(rèn)為L(zhǎng)ustre前景光明,但它還將會(huì)停留在高性能計(jì)算這一重點(diǎn)領(lǐng)域,除非有人可以創(chuàng)新地將其定位于更多通用的應(yīng)用程序——甚至是需要這種進(jìn)程的仍在發(fā)展中的云。
【編輯推薦】