傳統(tǒng)存儲(chǔ)在面對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)時(shí)，在存儲(chǔ)、分享與容災(zāi)上面臨很大的挑戰(zhàn)，主要表現(xiàn)在以下幾個(gè)方面：傳統(tǒng)存儲(chǔ)并非為非結(jié)構(gòu)化內(nèi)容設(shè)計(jì)或優(yōu)化、成本過高、并非PB級(jí)的擴(kuò)展、不支持永遠(yuǎn)在線、專有的一體機(jī)設(shè)備等等，非結(jié)構(gòu)化數(shù)據(jù)以每年60%～80%的速率增長(zhǎng)，從而可擴(kuò)展性變成了最迫切的需求。

對(duì)象存儲(chǔ)是無層次結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)方法，通常用于云中。不同于其他數(shù)據(jù)存儲(chǔ)方法，基于對(duì)象的存儲(chǔ)不使用目錄樹。各個(gè)單獨(dú)的數(shù)據(jù)（對(duì)象）單元存在于存儲(chǔ)池中的同一級(jí)別。每個(gè)對(duì)象都有唯一的識(shí)別名稱，供應(yīng)用進(jìn)行檢索。

[[213386]]

我們一下探討塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)幾種方式的對(duì)比，以及對(duì)象存儲(chǔ)Cleversafe的技術(shù)原理及應(yīng)用。

1、塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)幾種方式的對(duì)比？

塊存儲(chǔ)指在一個(gè)RAID（獨(dú)立磁盤冗余陣列）集中，一個(gè)控制器加入一組磁盤驅(qū)動(dòng)器，然后提供固定大小的RAID塊作為L(zhǎng)UN（邏輯單元號(hào)）的卷。

接著塊存儲(chǔ)會(huì)采用映射的方式將這幾個(gè)邏輯盤映射給主機(jī)，主機(jī)上面的操作系統(tǒng)會(huì)識(shí)別到有5塊硬盤，但是操作系統(tǒng)是區(qū)分不出到底是邏輯還是物理的，它一概就認(rèn)為只是5塊裸的物理硬盤而已，跟直接拿一塊物理硬盤掛載到操作系統(tǒng)沒有區(qū)別的，至少操作系統(tǒng)感知上沒有區(qū)別。

此種方式下，操作系統(tǒng)還需要對(duì)掛載的裸硬盤進(jìn)行分區(qū)、格式化后，才能使用，與平常主機(jī)內(nèi)置硬盤的方式完全無異。

優(yōu)點(diǎn)：

1、 這種方式的好處當(dāng)然是因?yàn)橥ㄟ^了Raid與LVM等手段，對(duì)數(shù)據(jù)提供了保護(hù)。

2、 另外也可以將多塊廉價(jià)的硬盤組合起來，成為一個(gè)大容量的邏輯盤對(duì)外提供服務(wù)，提高了容量。

3、 寫入數(shù)據(jù)的時(shí)候，由于是多塊磁盤組合出來的邏輯盤，所以幾塊磁盤可以并行寫入的，提升了讀寫效率。

4、 很多時(shí)候塊存儲(chǔ)采用SAN架構(gòu)組網(wǎng)，傳輸速率以及封裝協(xié)議的原因，使得傳輸速度與讀寫速率得到提升。

缺點(diǎn)：

1、采用SAN架構(gòu)組網(wǎng)時(shí)，需要額外為主機(jī)購(gòu)買光纖通道卡，還要買光纖交換機(jī)，造價(jià)成本高。

2、主機(jī)之間的數(shù)據(jù)無法共享，在服務(wù)器不做集群的情況下，塊存儲(chǔ)裸盤映射給主機(jī)，再格式化使用后，對(duì)于主機(jī)來說相當(dāng)于本地盤，那么主機(jī)A的本地盤根本不能給主機(jī)B去使用，無法共享數(shù)據(jù)。

3、不利于不同操作系統(tǒng)主機(jī)間的數(shù)據(jù)共享：另外一個(gè)原因是因?yàn)椴僮飨到y(tǒng)使用不同的文件系統(tǒng)，格式化完之后，不同文件系統(tǒng)間的數(shù)據(jù)是共享不了的。例如一臺(tái)裝了WIN7/XP，文件系統(tǒng)是FAT32/NTFS，而Linux是EXT4，EXT4是無法識(shí)別NTFS的文件系統(tǒng)的。就像一只NTFS格式的U盤，插進(jìn)Linux的筆記本，根本無法識(shí)別出來。所以不利于文件共享。

文件存儲(chǔ)：為了克服塊存儲(chǔ)文件無法共享的問題，所以有了文件存儲(chǔ)。文件存儲(chǔ)也有軟硬一體化的設(shè)備，但是其實(shí)普通拿一臺(tái)服務(wù)器/筆記本，只要裝上合適的操作系統(tǒng)與軟件，就可以架設(shè)FTP與NFS服務(wù)了，架上該類服務(wù)之后的服務(wù)器，就是文件存儲(chǔ)的一種了。

主機(jī)A可以直接對(duì)文件存儲(chǔ)進(jìn)行文件的上傳下載，與塊存儲(chǔ)不同，主機(jī)A是不需要再對(duì)文件存儲(chǔ)進(jìn)行格式化的，因?yàn)槲募芾砉δ芤呀?jīng)由文件存儲(chǔ)自己搞定了。

優(yōu)點(diǎn)：

1、造價(jià)交低：隨便一臺(tái)機(jī)器就可以了，另外普通以太網(wǎng)就可以，根本不需要專用的SAN網(wǎng)絡(luò)，所以造價(jià)低。

2、方便文件共享：例如主機(jī)A（WIN7，NTFS文件系統(tǒng)），主機(jī)B（Linux，EXT4文件系統(tǒng)），想互拷一部電影，本來不行。加了個(gè)主機(jī)C（NFS服務(wù)器），然后可以先A拷到C，再C拷到B就OK了。

缺點(diǎn)：

讀寫速率低，傳輸速率慢：以太網(wǎng)，上傳下載速度較慢，另外所有讀寫都要1臺(tái)服務(wù)器里面的硬盤來承擔(dān)，相比起磁盤陣列動(dòng)不動(dòng)就幾十上百塊硬盤同時(shí)讀寫，速率慢了許多。

企業(yè)級(jí)的NAS存儲(chǔ)采用RAID技術(shù)提升了數(shù)據(jù)的可靠性和讀寫速率，同時(shí)采用萬兆光纖接口提升了網(wǎng)絡(luò)傳輸速率，適合于中小規(guī)模的醫(yī)院用于PACS系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)的存取，當(dāng)數(shù)據(jù)量達(dá)到PB級(jí)別時(shí)NAS機(jī)頭會(huì)出現(xiàn)瓶頸。下圖是塊存儲(chǔ)與文件存儲(chǔ)的對(duì)比圖：

對(duì)象存儲(chǔ)：內(nèi)置大容量硬盤的分布式服務(wù)器是對(duì)象存儲(chǔ)的典型設(shè)備，對(duì)象存儲(chǔ)最常用的方案，就是多臺(tái)服務(wù)器內(nèi)置大容量硬盤，再裝上對(duì)象存儲(chǔ)軟件，然后再額外配置幾臺(tái)服務(wù)作為管理節(jié)點(diǎn)，安裝上對(duì)象存儲(chǔ)管理軟件。管理節(jié)點(diǎn)可以管理其他服務(wù)器對(duì)外提供讀寫訪問功能。

之所以出現(xiàn)了對(duì)象存儲(chǔ)這種東西，是為了克服塊存儲(chǔ)與文件存儲(chǔ)各自的缺點(diǎn)，發(fā)揚(yáng)它倆各自的優(yōu)點(diǎn)。簡(jiǎn)單來說塊存儲(chǔ)讀寫快，不利于共享，文件存儲(chǔ)讀寫慢，利于共享。能否實(shí)現(xiàn)即讀寫快又利 于共享的目的呢？于是就有了對(duì)象存儲(chǔ)。

首先，一個(gè)文件包含了屬性（術(shù)語叫metadata，元數(shù)據(jù)，例如該文件的大小、修改時(shí)間、存儲(chǔ)路徑等）以及內(nèi)容（以下簡(jiǎn)稱數(shù)據(jù)）。

以往像FAT32這種文件系統(tǒng)，是直接將一份文件的數(shù)據(jù)與metadata一起存儲(chǔ)的，存儲(chǔ)過程先將文件按照文件系統(tǒng)的最小塊大小來打散（如4M的文件，假設(shè)文件系統(tǒng)要求一個(gè)塊4K，那么就將文件打散成為1000個(gè)小塊），再寫進(jìn)硬盤里面，過程中沒有區(qū)分?jǐn)?shù)據(jù)/metadata的。而每個(gè)塊***會(huì)告知你下一個(gè)要讀取的塊的地址，然后一直這樣順序地按圖索驥，***完成整份文件的所有塊的讀取。

這種情況下讀寫速率很慢，因?yàn)榫退隳阌?00個(gè)機(jī)械手臂在讀寫，但是由于你只有讀取到***個(gè)塊，才能知道下一個(gè)塊在哪里，其實(shí)相當(dāng)于只能有1個(gè)機(jī)械手臂在實(shí)際工作。

而對(duì)象存儲(chǔ)則將元數(shù)據(jù)獨(dú)立了出來，控制節(jié)點(diǎn)叫元數(shù)據(jù)服務(wù)器（服務(wù)器+對(duì)象存儲(chǔ)管理軟件），里面主要負(fù)責(zé)存儲(chǔ)對(duì)象的屬性（主要是對(duì)象的數(shù)據(jù)被打散存放到了那幾臺(tái)分布式服務(wù)器中的信息），而其他負(fù)責(zé)存儲(chǔ)數(shù)據(jù)的分布式服務(wù)器叫做OSD，主要負(fù)責(zé)存儲(chǔ)文件的數(shù)據(jù)部分。當(dāng)用戶訪問對(duì)象，會(huì)先訪問元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)服務(wù)器只負(fù)責(zé)反饋對(duì)象存儲(chǔ)在哪些OSD，假設(shè)反饋文件A存儲(chǔ)在B、C、D三臺(tái)OSD，那么用戶就會(huì)再次直接訪問3臺(tái)OSD服務(wù)器去讀取數(shù)據(jù)。

這時(shí)候由于是3臺(tái)OSD同時(shí)對(duì)外傳輸數(shù)據(jù)，所以傳輸?shù)乃俣染图涌炝?。?dāng)OSD服務(wù)器數(shù)量越多，這種讀寫速度的提升就越大，通過此種方式，實(shí)現(xiàn)了讀寫快的目的。

另一方面，對(duì)象存儲(chǔ)軟件是有專門的文件系統(tǒng)的，所以O(shè)SD對(duì)外又相當(dāng)于文件服務(wù)器，那么就不存在文件共享方面的困難了，也解決了文件共享方面的問題。

所以對(duì)象存儲(chǔ)的出現(xiàn)，很好地結(jié)合了塊存儲(chǔ)與文件存儲(chǔ)的優(yōu)點(diǎn)。

為什么對(duì)象存儲(chǔ)兼具塊存儲(chǔ)與文件存儲(chǔ)的好處，還要使用塊存儲(chǔ)或文件存儲(chǔ)呢？

1、有一類應(yīng)用是需要存儲(chǔ)直接裸盤映射的，例如數(shù)據(jù)庫(kù)。因?yàn)閿?shù)據(jù)庫(kù)需要存儲(chǔ)裸盤映射給自己后，再根據(jù)自己的數(shù)據(jù)庫(kù)文件系統(tǒng)來對(duì)裸盤進(jìn)行格式化的，所以是不能夠采用其他已經(jīng)被格式化為某種文件系統(tǒng)的存儲(chǔ)的。此類應(yīng)用更適合使用塊存儲(chǔ)。

2、對(duì)象存儲(chǔ)的成本比起普通的文件存儲(chǔ)還是較高，需要購(gòu)買專門的對(duì)象存儲(chǔ)軟件以及大容量硬盤。如果對(duì)數(shù)據(jù)量要求不是海量，只是為了做文件共享的時(shí)候，直接用文件存儲(chǔ)的形式好了，性價(jià)比高。

對(duì)象存儲(chǔ)簡(jiǎn)介：

對(duì)象存儲(chǔ)的出現(xiàn)就是為解決了存儲(chǔ)海量大數(shù)據(jù)的問題。比如存儲(chǔ)萬億的視頻、圖片，照片等。比如進(jìn)行海量的數(shù)據(jù)歸檔，數(shù)據(jù)備份等。對(duì)象存儲(chǔ)可以存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)，然后進(jìn)行大數(shù)據(jù)分析。

對(duì)象存儲(chǔ)其采用key-volume的扁平化存儲(chǔ)架構(gòu)設(shè)計(jì)，使用簡(jiǎn)單，調(diào)用API就能進(jìn)行數(shù)據(jù)存儲(chǔ)和讀取?？梢源鎯?chǔ)海量數(shù)據(jù)，這點(diǎn)傳統(tǒng)存儲(chǔ)和NAS就沒轍。在海量數(shù)據(jù)場(chǎng)景中你只能選擇對(duì)象存儲(chǔ)。如果傳統(tǒng)SAN存儲(chǔ)是跑車，NAS是貨車，那么對(duì)象存儲(chǔ)就是萬億噸海上集裝箱大油輪。

2、對(duì)象存儲(chǔ)Cleversafe與Ceph的對(duì)比優(yōu)勢(shì)？

Ceph并不是開源對(duì)象存儲(chǔ)***的選擇，Ceph是個(gè)統(tǒng)一存儲(chǔ)，有分布式塊，文件，對(duì)象三種存儲(chǔ)接口，比較全，這是它比較受關(guān)注的原因。單獨(dú)來看底層的對(duì)象存儲(chǔ)Rados，在開發(fā)者社區(qū)中口碑并不是很好，存在著諸多問題。

如果是選擇廠商的SDS方案，如果是基于Ceph做的（國(guó)內(nèi)不少?gòu)S商），其實(shí)這個(gè)階段成熟與否還不好說，畢竟這項(xiàng)目社區(qū)里參與者很多，時(shí)間也不長(zhǎng)，所謂成熟也就是有一部分坑能填上吧。前面說的社區(qū)版本迭代跟不跟的問題也還是一樣存在的。

一個(gè)開源項(xiàng)目能不能生產(chǎn)使用很多時(shí)候并不取決于項(xiàng)目本身，同時(shí)使用者對(duì)于整個(gè)生產(chǎn)系統(tǒng)和開源項(xiàng)目的理解占了相當(dāng)大比例。當(dāng)然，也跟項(xiàng)目的階段以及整個(gè)生態(tài)息息相關(guān)。

就使用 Ceph 而言，如果是一些無害環(huán)境，基本上也不會(huì)發(fā)現(xiàn)啥問題。當(dāng)只要是需要保證性能和可用性的情況下，用戶通常都要經(jīng)歷長(zhǎng)時(shí)間的運(yùn)維和解決問題的磨練。特別是眼下 Ceph 迭代較快，問題解決方式有限，很多時(shí)候都要依賴開發(fā)者才能解決。當(dāng)然，如果沒碰到問題當(dāng)然萬事大吉。

好一些的做法是在一些開發(fā)測(cè)試環(huán)境先使用某一個(gè)版本至少半年以上，嘗試在保證一些性能以及數(shù)據(jù)可用性基礎(chǔ)上運(yùn)維。半年之后，自然會(huì)對(duì)這個(gè)問題有更深理解。

我們?nèi)绻褜?duì)象存儲(chǔ)部署在一個(gè)相對(duì)快的局域網(wǎng)環(huán)境內(nèi)，那么這個(gè)對(duì)象存儲(chǔ)也就兼具了NAS的高速基因，這時(shí)，一個(gè)對(duì)象存儲(chǔ)也就在某種程度上，可以演變?yōu)?一個(gè)相對(duì)快速的存儲(chǔ)，這也是為什么ceph可以兼具對(duì)象存儲(chǔ)、塊存儲(chǔ)、文件存儲(chǔ)的原因。當(dāng)然，這種“變味”的對(duì)象存儲(chǔ)也就不具備全國(guó)乃至全球分布式帶來的超高可靠性了。

IBM Cleversafe具有以下特性：

1、可擴(kuò)展性，多家100PB以上的客戶，擴(kuò)展至EB以上的無共享架構(gòu)。

2、安全性，零接觸、運(yùn)營(yíng)商級(jí)別的安全性且內(nèi)置加密功能。

3、可管理性，每名管理員可管理25PB數(shù)據(jù)，零宕機(jī)時(shí)間。

4、可用性，提供9個(gè)9的可靠性，6個(gè)9的可用性。

5、經(jīng)濟(jì)效益，消除復(fù)制、鏡像和DR成本，成本降低80%，軟件解決方案可在任何供應(yīng)商的x86硬件上運(yùn)行。

3、對(duì)象存儲(chǔ)適用的場(chǎng)景有哪些？

對(duì)象存儲(chǔ)主要面對(duì)與非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)需求。對(duì)應(yīng)于郵件，影像，日志文件等的備份，歸檔，存取，NAS場(chǎng)景都非常適合。

醫(yī)療行業(yè)的PACS系統(tǒng)，金融行業(yè)的后督系統(tǒng)，票據(jù)系統(tǒng)，以及未來的雙錄需求，都是對(duì)象存儲(chǔ)可以一展拳腳的領(lǐng)域。

4、對(duì)象存儲(chǔ)Cleversafe與傳統(tǒng)存儲(chǔ)高可用性對(duì)比有哪些優(yōu)勢(shì)？

傳統(tǒng)存儲(chǔ)系統(tǒng)當(dāng)面對(duì)超過PB級(jí)別的存儲(chǔ)需求是，性能會(huì)急速下降，而Cleversafe依據(jù)其特有的優(yōu)化，能夠使得系統(tǒng)得到大規(guī)模擴(kuò)展性的同時(shí)，保證性能。

采用傳統(tǒng)的存儲(chǔ)在RAID6架構(gòu)下1PB的原始數(shù)據(jù)要占用1.2PB的存儲(chǔ)空間，為了實(shí)現(xiàn)數(shù)據(jù)安全做本地鏡像和同城復(fù)本后數(shù)據(jù)要占用3.6PB（1.2*3）的存儲(chǔ)空間，那么膨脹因子就是3倍，采用IBM Cleversafe對(duì)象存儲(chǔ)1PB的原始數(shù)據(jù)要占用1.7PB的存儲(chǔ)空間， Cleversafe對(duì)象存儲(chǔ)使用1.7倍的膨脹因子就可以實(shí)現(xiàn)建設(shè)與RAID6相同或是還要高可靠的存儲(chǔ)系統(tǒng)， Cleversafe對(duì)象存儲(chǔ)占用更少的磁盤，占用更少的機(jī)架，節(jié)約機(jī)房空間，降低了運(yùn)營(yíng)成本，降低了運(yùn)維管理的難度，無需其它軟件就可以實(shí)現(xiàn)高可靠性和高可用性。

5、對(duì)象存儲(chǔ)Cleversafe糾刪碼技術(shù)工作原理分析

IBM Cleversafe對(duì)象存儲(chǔ)使用糾刪碼技術(shù)實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的高可靠和高可用，糾刪碼技術(shù)首先對(duì)原始數(shù)據(jù)進(jìn)行分段（每段4M），之后對(duì)一個(gè)分段進(jìn)行切片，例如一個(gè)分段切7片，之后通過ECC校驗(yàn)算法變換為12片，這樣膨脹因子就是1.7，1PB的原始數(shù)據(jù)就占用了1.7PB的存儲(chǔ)空間，這1.7PB的存儲(chǔ)空間由12個(gè)切片組成，把這12個(gè)切片均勻的部署在多個(gè)站點(diǎn)的每一臺(tái)服務(wù)器中，例如在三個(gè)站點(diǎn)每個(gè)站點(diǎn)部署4臺(tái)服務(wù)器，這樣在這三個(gè)站點(diǎn)中只要有7臺(tái)服務(wù)器是正常運(yùn)行的，數(shù)據(jù)就是完好的可以正常讀取，可以避免服務(wù)器硬件故障或斷電，網(wǎng)絡(luò)故障，甚至1個(gè)站點(diǎn)故障都不會(huì)影響數(shù)據(jù)的可靠性和可用性，任何一個(gè)站點(diǎn)的任意一臺(tái)服務(wù)器硬盤損壞后，只需插入一塊新硬盤而無需做RAID就可以正常使用了。

6、開源存儲(chǔ)GlusterFS適用于哪些非結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)場(chǎng)景？

GlusterFS 作為一種開源分布式存儲(chǔ)組件，具有非常強(qiáng)大的擴(kuò)展能力，同時(shí)也提供了非常豐富的卷類型，能夠輕松實(shí)現(xiàn)PB級(jí)的數(shù)據(jù)存儲(chǔ)。