Linux集群計(jì)算已經(jīng)改變了高性能計(jì)算領(lǐng)域的組成結(jié)構(gòu)：低價(jià)的Linux集群系統(tǒng)正在取代那些昂貴的、傳統(tǒng)意義上的超級(jí)計(jì)算機(jī)，開始被應(yīng)用于解決那些更富挑戰(zhàn)性的高性能計(jì)算問題。

　　為了充分發(fā)揮Linux集群系統(tǒng)的潛在性能，我們需要一種新的存儲(chǔ)機(jī)制，基于對象的集群存儲(chǔ)技術(shù)應(yīng)運(yùn)而生?；趯ο蟮募捍鎯?chǔ)技術(shù)是一種新存儲(chǔ)系統(tǒng)的基礎(chǔ)，無論是在存儲(chǔ)容量還是在存取性能方面，它都有著良好的可擴(kuò)展性。這些使得該技術(shù)可以滿足功能強(qiáng)大的Linux集群系統(tǒng)對存儲(chǔ)方面的需求。

　　近年來，在科學(xué)研究和工程計(jì)算等領(lǐng)域，高性能集群計(jì)算技術(shù)的卓越成就大家有目共睹。高性能集群技術(shù)已逐漸占據(jù)了高性能計(jì)算的主導(dǎo)地位，這一點(diǎn)從2003 年11月公布的世界高性能計(jì)算機(jī)排行榜中體現(xiàn)無疑。在該排行榜前500臺(tái)的超級(jí)計(jì)算機(jī)里，有208臺(tái)采用了集群系統(tǒng)，集群系統(tǒng)已是當(dāng)前高性能計(jì)算機(jī)***的體系結(jié)構(gòu)。

　　現(xiàn)在，這種流行趨勢正由科學(xué)工程計(jì)算領(lǐng)域向商用領(lǐng)域蔓延。地質(zhì)學(xué)家們正致力于研究更強(qiáng)大的地震分析技術(shù)，以獲取地球結(jié)構(gòu)更精細(xì)的圖片，從而用來指導(dǎo)油田的鉆探和開發(fā)；制藥公司正在海量的基因庫中努力尋求對人類疾病更深入的理解和認(rèn)識(shí)，從而可以開發(fā)出更有效的藥物或治療方法；而我們熟知的一些門戶網(wǎng)站，如Yahoo和Google，則需要對因特網(wǎng)上浩如煙海的數(shù)據(jù)進(jìn)行檢索和分類，從而提供給世界各地的人們使用。所有這些領(lǐng)域，都成為Linux集群計(jì)算系統(tǒng)大顯身手的地方。同時(shí)，不得不看到，Linux集群計(jì)算的廣泛應(yīng)用也帶來了新的挑戰(zhàn)。

　　對共享存儲(chǔ)性能的需求不斷增長

　　除了對高性能計(jì)算方面的需求外，上述各商業(yè)應(yīng)用還有著一個(gè)共同的特點(diǎn)：它們都需要高性能的I/O支持。確保集群系統(tǒng)得到高效使用的必備條件是，它可以對 TB（1TB＝1000GB，1GB＝1000MB）量級(jí)的共享數(shù)據(jù)進(jìn)行快速訪問。沒有這一點(diǎn)，集群系統(tǒng)的性能將會(huì)大幅降低。為了簡化應(yīng)用系統(tǒng)的開發(fā)和維護(hù)，這些共享數(shù)據(jù)必須對計(jì)算集群上的所有進(jìn)程都可用。隨著集群系統(tǒng)的規(guī)模越來越大、節(jié)點(diǎn)越來越多，為實(shí)現(xiàn)各個(gè)節(jié)點(diǎn)對共享數(shù)據(jù)的高效訪問，對存儲(chǔ)系統(tǒng)的要求也越來越高，傳統(tǒng)的、基于網(wǎng)絡(luò)的存儲(chǔ)系統(tǒng)已經(jīng)不能提供滿足這種共享訪問所必需的性能。

　　例如，在動(dòng)畫生成應(yīng)用中（這方面最早和最有名的例子是電影《泰坦尼克號(hào)》的特效生成，它使用了一個(gè)包含160個(gè)節(jié)點(diǎn)的Linux集群系統(tǒng)），需要將場景生成任務(wù)分發(fā)到上百個(gè)計(jì)算節(jié)點(diǎn)上，其中每個(gè)節(jié)點(diǎn)負(fù)責(zé)生成最終場景中一個(gè)單獨(dú)的部分。共享的場景和人物信息，以及每一幀的渲染指令必須能夠?yàn)槊恳粋€(gè)參與計(jì)算的節(jié)點(diǎn)所訪問，而每個(gè)節(jié)點(diǎn)計(jì)算一幀會(huì)產(chǎn)生大約 50MB的輸出。***各個(gè)單獨(dú)的幀依次組合，得到完整的一幅畫面。這樣的流程是許多集群計(jì)算應(yīng)用過程中常見的數(shù)據(jù)訪問情形。

　　傳統(tǒng)的共享存儲(chǔ)方法的缺點(diǎn)

　　集群計(jì)算的開發(fā)者們自然地采用了能夠被集群系統(tǒng)中所有節(jié)點(diǎn)訪問的共享存儲(chǔ)系統(tǒng)。讓我們先來簡單審視一下現(xiàn)有的這種共享存儲(chǔ)系統(tǒng)。

　　首先是文件服務(wù)器。它將磁盤陣列（RAID）直接連接到網(wǎng)絡(luò)系統(tǒng)中的服務(wù)器上，這種形式的網(wǎng)絡(luò)存儲(chǔ)結(jié)構(gòu)稱為DAS（Direct Attached Storage）。這種結(jié)構(gòu)中，各類存儲(chǔ)設(shè)備通過IDE或SCSI等I/O總線與文件服務(wù)器相連。集群節(jié)點(diǎn)的數(shù)據(jù)訪問必須通過文件服務(wù)器，然后經(jīng)過I/O 總線訪問相應(yīng)的存儲(chǔ)設(shè)備。當(dāng)連結(jié)節(jié)點(diǎn)數(shù)增多時(shí)，I/O總線將會(huì)成為一個(gè)潛在的瓶頸，因此這種存儲(chǔ)方式只適用于小規(guī)模的集群系統(tǒng)，大一些的集群需要更具擴(kuò)展性的存儲(chǔ)系統(tǒng)。

　　存儲(chǔ)區(qū)域網(wǎng)（SAN，Storage-Area Networks）和優(yōu)化后的直接網(wǎng)絡(luò)存儲(chǔ)，或者網(wǎng)絡(luò)附加存儲(chǔ)（NAS，Network-Attached Storage）結(jié)構(gòu)被用于中等規(guī)模的集群系統(tǒng)。SAN是一種類似于普通局域網(wǎng)的高速存儲(chǔ)網(wǎng)絡(luò)，通常由RAID陣列連接光纖通道組成。SAN和集群節(jié)點(diǎn)的數(shù)據(jù)通信通常是由SCSI命令，而不是網(wǎng)絡(luò)協(xié)議實(shí)現(xiàn)（如圖1所示）。

　　在NAS存儲(chǔ)結(jié)構(gòu)中，存儲(chǔ)系統(tǒng)不再通過I/O總線附屬于某個(gè)特定的服務(wù)器或客戶機(jī)，而是通過網(wǎng)絡(luò)接口與網(wǎng)絡(luò)直接相連，集群節(jié)點(diǎn)通過網(wǎng)絡(luò)協(xié)議（如TCP/IP）對共享數(shù)據(jù)進(jìn)行訪問（如圖2所示）。

　　然而，當(dāng)集群變得龐大時(shí)，這些結(jié)構(gòu)都存在著嚴(yán)重的缺陷。面對眾多集群計(jì)算應(yīng)用系統(tǒng)的高并發(fā)性和單節(jié)點(diǎn)高吞吐需求，無論是SAN還是NAS結(jié)構(gòu)都顯得力不從心。由于這兩方面的局限，在實(shí)際應(yīng)用中，人們不得不采用數(shù)據(jù)“搬家”的策略。首先將數(shù)據(jù)從共享存儲(chǔ)系統(tǒng)搬到計(jì)算節(jié)點(diǎn)上進(jìn)行處理，處理結(jié)束后，再將計(jì)算結(jié)果從計(jì)算節(jié)點(diǎn)搬回共享存儲(chǔ)系統(tǒng)。在大規(guī)模的集群系統(tǒng)上，很多應(yīng)用程序?yàn)榱诉@樣的搬家需要花費(fèi)幾個(gè)小時(shí)甚至更多時(shí)間。

　　一個(gè)新興的標(biāo)準(zhǔn)：基于對象的存儲(chǔ)

　　對眾多的集群計(jì)算用戶來說，一種基于對象的存儲(chǔ)技術(shù)正作為構(gòu)建大規(guī)模存儲(chǔ)系統(tǒng)的基礎(chǔ)而悄然興起。它利用現(xiàn)有的處理技術(shù)、網(wǎng)絡(luò)技術(shù)和存儲(chǔ)組件，可以通過一種簡單便利的方式來獲得***的可擴(kuò)展性和高吞吐量。

　　這種體系結(jié)構(gòu)的核心是對象，對象是容納了應(yīng)用數(shù)據(jù)和一個(gè)可擴(kuò)展的存儲(chǔ)屬性的基本容器。傳統(tǒng)的文件被分解為一系列存儲(chǔ)對象，并分發(fā)到一個(gè)或多個(gè)“智能磁盤”上，這種磁盤被稱為基于對象的存儲(chǔ)設(shè)備（OSD，Object-based Storage Devices）。每一個(gè)OSD具備本地處理功能、用于數(shù)據(jù)和屬性緩存的本地內(nèi)存和本地的網(wǎng)絡(luò)連接。OSD構(gòu)成了分布式存儲(chǔ)結(jié)構(gòu)的核心，它將許多傳統(tǒng)的存儲(chǔ)分配行為從文件系統(tǒng)層轉(zhuǎn)移，從而解決了當(dāng)前存儲(chǔ)系統(tǒng)的一個(gè)瓶頸問題。

　　對象屬性包括了安全信息和使用狀況統(tǒng)計(jì)信息，這些信息被用于基于安全認(rèn)證的訪問、服務(wù)質(zhì)量控制，以及為實(shí)現(xiàn)OSD間負(fù)載均衡所需的數(shù)據(jù)動(dòng)態(tài)分配。對象存儲(chǔ)技術(shù)采用了和集群計(jì)算系統(tǒng)類似的可擴(kuò)展結(jié)構(gòu)，當(dāng)存儲(chǔ)容量增加時(shí)，它提供的均衡模型能夠保證網(wǎng)絡(luò)帶寬和處理能力也同步增長，從而確保系統(tǒng)的可擴(kuò)展性。

　　存儲(chǔ)網(wǎng)絡(luò)工業(yè)協(xié)會(huì)（SNIA）和T10 標(biāo)準(zhǔn)技術(shù)委員會(huì)中的聯(lián)合技術(shù)小組正在制定一個(gè)關(guān)于OSD的標(biāo)準(zhǔn)。標(biāo)準(zhǔn)包括了一個(gè)針對iSCSI協(xié)議的命令集，它在原有的SCSI命令集中增添了對象擴(kuò)展功能。同時(shí)，對象規(guī)范和命令集的制定促使了一種新的智能存儲(chǔ)設(shè)備的出現(xiàn)，這種智能存儲(chǔ)設(shè)備可以集成到基于IP的、高性能、大規(guī)模并行存儲(chǔ)環(huán)境中去。目前多個(gè)業(yè)內(nèi)領(lǐng)先的存儲(chǔ)設(shè)備公司都參與了這項(xiàng)工作，其中包括EMC、惠普、IBM、Intel、希捷及Veritas軟件公司等。

共享存儲(chǔ)的實(shí)現(xiàn)

　　對象存儲(chǔ)結(jié)構(gòu)提供了新一代網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的基礎(chǔ)。在新興的應(yīng)用中，它和一種可擴(kuò)展的、為應(yīng)用程序提供文件系統(tǒng)接口的元數(shù)據(jù)管理層結(jié)合在一起。這一層負(fù)責(zé)管理諸如目錄隸屬關(guān)系和文件所有權(quán)限這樣的信息。它同樣負(fù)責(zé)將跨OSD的存儲(chǔ)對象（每個(gè)存儲(chǔ)對象是文件的一部分）聯(lián)接成一個(gè)文件，以確保數(shù)據(jù)的可靠和可用。集群節(jié)點(diǎn)向這一層提出請求，例如打開或關(guān)閉文件，通過認(rèn)證后，接受它能夠訪問OSD所必需的信息，此后集群節(jié)點(diǎn)可以直接對文件進(jìn)行讀寫操作，而和元數(shù)據(jù)管理層無關(guān)。

　　對象存儲(chǔ)結(jié)構(gòu)作為可擴(kuò)展集群文件系統(tǒng)的一部分被實(shí)現(xiàn)后，就能夠?yàn)閿?shù)以百計(jì)的客戶端提供高容量的總帶寬。簡而言之，對象存儲(chǔ)技術(shù)可以為高性能Linux集群系統(tǒng)提供高性價(jià)比的共享存儲(chǔ)。