混合云存儲的特點、架構(gòu)及其實施途徑
隨著服務(wù)器虛擬化的廣泛應(yīng)用,云計算技術(shù)已經(jīng)成為效用計算的下一個發(fā)展方向,在云計算時代,我們能夠像使用電力資源一樣消費計算資源,并且按需付費。云存儲的應(yīng)用則脫胎于Amazon的S3服務(wù)(SimpleStorageService),而且很快就被其他服務(wù)運營商所效仿。然而,較差的性能以及出于對安全問題的擔憂始終籠罩著云存儲,讓它的眾多優(yōu)點黯然失色,同時也阻礙了這項技術(shù)進入主流的企業(yè)級市場。云存儲最早的一批用戶主要是創(chuàng)業(yè)型公司、開發(fā)團隊以及消費類用戶。不過,“云存儲”自身也在不斷發(fā)展,并且有望成為數(shù)據(jù)中心應(yīng)用的一個有效補充。
天性保守的企業(yè)IT管理者認為使用公有云存儲風險太大。但是,這種傳統(tǒng)的認識正在悄然改變,并非是因為人們改變了對公有云存儲安全問題的看法,而是因為內(nèi)部私有云存儲的出現(xiàn)。私有云提供了將企業(yè)關(guān)鍵數(shù)據(jù)應(yīng)用安全地擴展到外部公有云存儲服務(wù)的解決方案。隨著云計算及相關(guān)技術(shù)熱潮的來臨,客戶的關(guān)注度不斷提高、各種分析預(yù)測和新聞報道也大量涌現(xiàn),這一切都顯示出云計算市場已經(jīng)步入重要的轉(zhuǎn)折階段,不久之后我們就能見到,企業(yè)客戶采納云存儲的步伐會越來越快。
云存儲的定義對于廠商來說,把他們的技術(shù)與熱門的云計算應(yīng)用捆綁在一起,提高關(guān)注度,無疑是巨大的誘惑。而將原有產(chǎn)品簡單的重新命名為“云XX”則是常見的手段。但通常情況下,我們不能簡單地把傳統(tǒng)的SAN和NAS設(shè)備看做云存儲,因為它們提供的是共享模式的存儲資源。“SAN實際上并不具備云存儲的特點--動態(tài)性、彈性與靈活性。云存儲可以隨時、隨地的隨需訪問,而SAN系統(tǒng)則通過Zoning分區(qū),使用WWN(worldwidenames)地址。本質(zhì)上SAN的應(yīng)用是靜態(tài)的。”ESG高級分析師TerriMcClure說。傳統(tǒng)的垂直擴展模式的SAN和NAS產(chǎn)品更是如此。而有些采用Scale-out橫向擴展架構(gòu)的block協(xié)議存儲設(shè)備,如3PAR公司的InServStorageServer,可以實現(xiàn)自動優(yōu)化和負載均衡,在SAN層面實現(xiàn)負載的動態(tài)分配;橫向擴展的NAS產(chǎn)品也大同小異。不過,即使能夠橫向擴展,SAN和NAS也并不適合做大規(guī)模公有云存儲應(yīng)用。
真正的云存儲產(chǎn)品應(yīng)該具備如下特點:
- 通過網(wǎng)絡(luò)訪問
- 可共享
- 以服務(wù)的形式銷售,并且按需付費
- 具有非常大的彈性,容量可以動態(tài)縮減或者按需增長
- 系統(tǒng)規(guī)??梢园葱钄U展或者縮減
目前,云存儲主要用于保存非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)是增長速度最快、最多也是最難管理的數(shù)據(jù)類型.云存儲技術(shù)并不適合結(jié)構(gòu)化數(shù)據(jù)應(yīng)用,比如數(shù)據(jù)庫。因此,結(jié)構(gòu)化數(shù)據(jù)應(yīng)用的主要平臺還是傳統(tǒng)的企業(yè)級存儲設(shè)備。
云存儲的好處對于非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用來說,使用云存儲的好處顯而易見--存儲的總體成本更低。云存儲屬于一種服務(wù),因此不需要采購、管理和維護存儲硬件設(shè)備。根據(jù)服務(wù)類型的不同,云存儲即使不能完全消除成本,也能夠大幅降低數(shù)據(jù)中心的成本和存儲管理員的負擔。使用云存儲服務(wù)還可以避免昂貴的技術(shù)升級開銷,這種技術(shù)升級一般3至5年就要進行一次,有的是為了獲得***的技術(shù),有的只是為了給舊存儲設(shè)備購買代價不菲的維保服務(wù)。
為了滿足預(yù)期的數(shù)據(jù)增長量以及處理應(yīng)用峰值的要求,傳統(tǒng)存儲系統(tǒng)往往需要預(yù)留大量的空間資源。云存儲應(yīng)用通過削減這部分閑置的空間資源,通常能夠達到接近100%的存儲資源利用率。除了降低存儲的總成本之外,云存儲的可擴展性,以及從基本應(yīng)用到峰值負載的線性處理能力,都是其引人注目的特點。
公有云存儲目前,公共云存儲服務(wù)商的數(shù)量在快速增長,包括AT&T、Amazon、IronMountain、Microsoft、Nirvanix、RackspaceHosting等許多公司。他們使用的存儲架構(gòu)通常由低成本的存儲節(jié)點附加直連的消費級硬盤組成,通過基于對象的存儲堆棧管理進行跨節(jié)點的數(shù)據(jù)內(nèi)容分發(fā)。對云存儲的數(shù)據(jù)訪問一般使用Internet協(xié)議,常見的協(xié)議是REST(RepresentationalStateTransfer),少數(shù)情況下會使用SOAP(SimpleObjectAccessProtocol)。在云存儲上,每個數(shù)據(jù)對象至少同時在兩個節(jié)點上保存,以獲得***的可恢復(fù)性和冗余度。云存儲服務(wù)的基本收費模式一般以“X美元/GB/月”為單位進行計算,各服務(wù)商的收費模式略有差異,也許會有一些附加費用,包括按數(shù)據(jù)傳輸量計費以及網(wǎng)絡(luò)接入費用。
海量的多租戶安全應(yīng)用是公有云存儲設(shè)計的基礎(chǔ)。在云存儲平臺中,每個客戶的數(shù)據(jù)以及所進行的訪問都是相互隔離的。公有云存儲上可存放的數(shù)據(jù)類型非常廣泛,從靜態(tài)的非核心應(yīng)用數(shù)據(jù)、需要在線保存的歸檔數(shù)據(jù)、到備份數(shù)據(jù)和容災(zāi)數(shù)據(jù)等等。而對那些隨時會發(fā)生改變的活動數(shù)據(jù),云存儲并不適合。企業(yè)用戶對云存儲應(yīng)用最主要的擔心是安全問題,其次是性能問題?!?/p>
私有云存儲私有云存儲系統(tǒng)通常運行在企業(yè)數(shù)據(jù)中心內(nèi)部的專用硬件設(shè)施上,它不但具有同公有云存儲一樣的優(yōu)點,還能夠解決安全性以及性能這兩個最關(guān)鍵的問題。私有云存儲的用戶(租戶)通常只有一個,即使是大型企業(yè),也僅僅是利用多租戶的特性,將不同部門或分支機構(gòu)的訪問進行隔離。與公有云存儲相比,私有云存儲系統(tǒng)對擴展性的要求不高,因此私有云存儲引擎的后端連接的很可能是傳統(tǒng)的存儲硬件設(shè)備。有個恰當?shù)睦涌梢哉f明這一點,HP的CloudStart平臺就是由HPBladeSystemMatrix刀片服務(wù)器、HPStorageWorksEVA系列磁盤陣列以及CloudServiceAutomation(CSA)軟件整合而成的私有云存儲架構(gòu)。HP的CloudStart本身不是私有云存儲,因為它缺乏一個關(guān)鍵的元素,即“以服務(wù)為基礎(chǔ)”;不過,HP自己或他的合作伙伴都可以使用這套基礎(chǔ)設(shè)施,這些企業(yè)甚至可以把CloudStart當做一個具備完善管理功能,隨用即付費的云存儲產(chǎn)品提供給客戶?!?/p>
另一個私有云存儲的例子是HDS的CloudServiceforPrivateFileTiering(面向私有文件層的云服務(wù)),一個源自HCP(HitachiContentPlatform日立內(nèi)容平臺)產(chǎn)品的私有云存儲系統(tǒng)。HDS的私有云存儲設(shè)施放在客戶的數(shù)據(jù)中心里,但它歸Hitachi所有,并由Hitachi負責管理。除了初始安裝費用之外,用戶只需按照使用的空間支付費用。類似的產(chǎn)品還有Nirvanix公司的hNode,同樣在企業(yè)數(shù)據(jù)中心提供私有云服務(wù)。hNode也能提供完善的管理功能并采用隨用即付費的銷售模式。Nirvanix的技術(shù)架構(gòu)叫做SDN(StorageDeliveryNetwork),跟HDS的很相似。
混合云存儲模型雖然私有云存儲的出現(xiàn)化解了用戶對公有云應(yīng)用性能和安全性方面的擔憂,但是對于非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用來說,私有云的必要性不大。首先,私有云存儲系統(tǒng)在設(shè)計上并沒有利用已有的存儲設(shè)施。事實上,構(gòu)建它有一定的前提,需要數(shù)據(jù)中心的場地、電力、機架空間以及冷卻系統(tǒng)。私有云存儲運行在專用的硬件平臺之上,因此也不可能擴展到像公有云存儲那么大的規(guī)模。大多數(shù)的非結(jié)構(gòu)化數(shù)據(jù)是靜態(tài)不變的,很少使用,因此沒有必要在數(shù)據(jù)中心本地部署前置設(shè)備或私有云?! ?/p>
因為這個原因,混合云存儲應(yīng)運而生?;旌显频男问揭话阋詡鹘y(tǒng)存儲系統(tǒng)或私有云存儲為主,公有云存儲作為補充。然而,一個理想的混合云存儲平臺必須滿足幾個關(guān)鍵的條件:首先,混合云存儲的整體表現(xiàn)必須均衡,除了會產(chǎn)生一點網(wǎng)絡(luò)延遲之外,訪問公有云上的數(shù)據(jù)應(yīng)該是無縫透明的。此外,數(shù)據(jù)遷移的機制必須保證活動的和經(jīng)常訪問的數(shù)據(jù)能夠快速被訪問,而靜態(tài)數(shù)據(jù)則被推向云存儲。因此,混合云一定要有智能的引擎,用來定義數(shù)據(jù)的移動策略,即何時推向云,以及何時從云端遷移回來。
#p#
實施混合云存儲,主要通過三個途徑:
- 利用云存儲軟件,將本地存儲和公有云存儲整合在一起
- 使用云存儲網(wǎng)關(guān)設(shè)備
- 通過應(yīng)用程序集成
- 基于軟件的混合云存儲架構(gòu)
目前,在不使用網(wǎng)關(guān)設(shè)備,用戶也不能自己動手集成的情況下實現(xiàn)混合云存儲只有一種可能,就是通過在私有云和公有云存儲上運行一套軟件,將兩個存儲系統(tǒng)結(jié)合在一起,構(gòu)成一個單一的非對稱存儲云。相關(guān)技術(shù)的標準化工作正在積極地制定過程中,比如SNIA(StorageNetworkingIndustryAssociation)定義的CDMI(CloudDataManagementInterface)。如果缺乏統(tǒng)一的技術(shù)標準,集成這種非對稱的云存儲是無法實現(xiàn)的。因此,我們看到,云軟件廠商把他們的產(chǎn)品銷售給硬件制造商以及服務(wù)運營商的產(chǎn)業(yè)模式是創(chuàng)造混合云的必要前提。同時,還有些云存儲廠商把他們的硬件堆疊打包并以私有云存儲的名義推向市場,這種產(chǎn)品一般可以跟他們的公有云存儲服務(wù)方便地進行集成。
后一種類型的典型代表是Nirvanix.直到不久之前,Nirvanix還只能提供純粹的公有云存儲服務(wù),但在該公司發(fā)布hNode私有云存儲產(chǎn)品之后,用戶現(xiàn)在既可以在企業(yè)內(nèi)部使用Nirvanix的云存儲系統(tǒng),又可以根據(jù)需要補充NirvanixStorageDeliveryNetwork公有云存儲。
Rackspace公司此前提供基于云文件系統(tǒng)(CloudFiles)的公有云存儲服務(wù),現(xiàn)在,它把自己的CloudFiles轉(zhuǎn)為開源項目,并創(chuàng)建了OpenStack.org以推進該項目的標準化進程。Rackspace試圖建立用戶端到服務(wù)運營商之間的混合云架構(gòu),就像他們之前提供的公有云存儲服務(wù)一樣。
以前,構(gòu)建一套云存儲服務(wù)平臺只有兩種選擇:要么自己開發(fā)解決方案;要么使用開源的云存儲軟件,比如Luster或MogileFS,但使用開源產(chǎn)品的同時也必須接受它的特性和局限性。最近1、2年,商業(yè)化的云存儲軟件越來越多,相關(guān)廠商也都把企業(yè)級用戶和運營服務(wù)商作為目標客戶。
在目前可用的商業(yè)化產(chǎn)品之中,EMC的Atmos是最突出的一個。Atmos是一個以軟件為核心,支持硬件跨平臺,基于對象的堆疊存儲系統(tǒng)。它的結(jié)構(gòu)包括三層松散耦合的服務(wù)進程:表示層提供客戶端接口,包括REST、SOAP和傳統(tǒng)的文件系統(tǒng)協(xié)議;元數(shù)據(jù)管理層決定數(shù)據(jù)對象保存在哪個存儲節(jié)點,以及數(shù)據(jù)冗余保護和分布的策略;最下面的存儲層是存儲節(jié)點的接口。Atmos可以運行在專用的硬件或VMware虛擬機之上。作為一個使用scale-out橫向擴展架構(gòu)的系統(tǒng),通過簡單的增加存儲節(jié)點,***可以擴展到PB級的存儲規(guī)模。EMC通常向企業(yè)級用戶和運營服務(wù)商推銷Atmos,在客戶端部署的前置系統(tǒng)能夠同Atmos云服務(wù)相互綁定。
EMC***的客戶是AT&T.AT&T的SynapticStorage是虛擬的私有云。然而,作為混合云存儲,它的模式與其他公司的產(chǎn)品差別很大。SynapticStorage運行在AT&T自己的數(shù)據(jù)中心內(nèi),客戶卻可以通過AT&T的MPLS網(wǎng)絡(luò)訪問該系統(tǒng)。通過這種方式,AT&T將私有云的安全性和高性能與公有云的經(jīng)濟性和擴展性很好的結(jié)合在一起。
除了EMC的Atmos,還有幾種云存儲軟件產(chǎn)品值得我們介紹。Caringo公司的CAStorContentStorageSoftware軟件是一個定位于CAS(contentaddressablestorage)內(nèi)容尋址應(yīng)用的云存儲產(chǎn)品解決方案。Cleversafe公司的云存儲平臺則利用IDA(informationdispersalalgorithms)算法將數(shù)據(jù)切片,并分散保存在云存儲平臺的多個節(jié)點上,這樣可以降低數(shù)據(jù)復(fù)本的需求。Cleversafe宣稱與那些為了保證冗余度而必須在存儲節(jié)點上保存多份數(shù)據(jù)拷貝的產(chǎn)品相比,他能做到更高的存儲資源利用率。
混合云存儲網(wǎng)關(guān)云存儲網(wǎng)關(guān)位于企業(yè)內(nèi)部的存儲系統(tǒng)與公有云存儲之間。它的主要功能是將傳統(tǒng)的存儲協(xié)議轉(zhuǎn)換成專用的云存儲協(xié)議和API.以前,公有云存儲只有在和應(yīng)用定制集成之后才能被訪問。現(xiàn)在,通過云存儲網(wǎng)關(guān),企業(yè)內(nèi)部存儲上的數(shù)據(jù)就可以遷移到公有云存儲上,反向亦然,這通常取決于策略引擎的設(shè)置。
各廠商提供的云存儲網(wǎng)關(guān)之間的差別主要體現(xiàn)在幾個方面,首先要看產(chǎn)品是基于block協(xié)議還是基于文件協(xié)議,這決定了它們在企業(yè)數(shù)據(jù)中心的角色,是塊存儲設(shè)備還是NAS裝置。數(shù)據(jù)去重和壓縮功能是云存儲網(wǎng)關(guān)的關(guān)鍵特性,因為這兩種功能對云存儲的使用成本影響非常大,而且傳輸過程中和云存儲端的數(shù)據(jù)加密是非常必要的。有些網(wǎng)關(guān)對備份和歸檔應(yīng)用做了特殊的設(shè)計和優(yōu)化,有些則與MicrosoftExchange和SharePoint之類的應(yīng)用緊密集成,還有的產(chǎn)品被設(shè)計成交易處理型的存儲結(jié)構(gòu)中的一層,作為企業(yè)內(nèi)部存儲的補充。
與應(yīng)用集成的混合云存儲所有的公有云存儲服務(wù)都提供API,以便私有云存儲軟件和云存儲網(wǎng)關(guān)與其進行互聯(lián)。但這些API也可以直接被應(yīng)用程序調(diào)用,實現(xiàn)應(yīng)用程序與公有云存儲的集成。云存儲API能夠幫助企業(yè)內(nèi)部應(yīng)用或商業(yè)應(yīng)用系統(tǒng)通過REST接口充分利用公有云存儲的資源。
舉個例子,備份軟件廠商已經(jīng)開始在他們的備份產(chǎn)品套件中提供對公有云的支持。比如Symantec的NetBackup和BackupExec,以及CommVault的Simpana備份軟件都可以同公有云存儲集成。
企業(yè)級客戶的態(tài)度--樂于接受云存儲過去,企業(yè)級用戶在很大程度上是遠離云存儲應(yīng)用的。不過,隨著私有云存儲的出現(xiàn),以及企業(yè)內(nèi)部存儲應(yīng)用逐步附加了安全集成公有/混合云存儲的功能,企業(yè)安全地將現(xiàn)有存儲應(yīng)用擴展到云存儲之上已經(jīng)變得越來越現(xiàn)實。
最近云存儲被熱炒,不過主要是在消費、移動應(yīng)用領(lǐng)域,以及像Google、Dropbox之類的公共云服務(wù)。根據(jù)Gartner的估計,即使再過5年,主流的企業(yè)級用戶也不可能完全采用云存儲。但在此期間,企業(yè)級用戶很可能策略性地增加一些混合云存儲作為他們現(xiàn)有存儲設(shè)施的補充。