[[386284]]

 為了解決三副本分布式存儲面臨的性能問題、穩(wěn)定性及可靠性等缺陷，道熵的鐵力士分布式存儲采用雙重RAID保護(hù)機(jī)制,在前文中我們探討了分布式存儲的基本原理，分析了三副本分布式存儲的潛在隱患：

• 性能問題：三副本分布式存儲受到IO分布不均勻和木桶效應(yīng)的影響，導(dǎo)致大延遲和響應(yīng)遲鈍的現(xiàn)象;
• 穩(wěn)定性問題：頻繁的數(shù)據(jù)重建會導(dǎo)致用戶業(yè)務(wù)受到影響、甚至業(yè)務(wù)中斷;
• 數(shù)據(jù)丟失風(fēng)險(xiǎn)：尤其是，當(dāng)硬件老化，或出現(xiàn)大規(guī)模掉電或節(jié)點(diǎn)意外宕機(jī)時(shí)，可能會導(dǎo)致多個(gè)機(jī)械硬盤同時(shí)出現(xiàn)損壞，危及三副本分布式存儲的數(shù)據(jù)安全。

為了解決三副本分布式存儲面臨的性能問題、穩(wěn)定性及可靠性等缺陷，道熵的鐵力士分布式存儲采用雙重RAID保護(hù)機(jī)制，除了繼承網(wǎng)絡(luò)RAID(節(jié)點(diǎn)間副本、跨節(jié)點(diǎn)糾刪碼)和一致性哈希隨機(jī)分布數(shù)據(jù)的特點(diǎn)，鐵力士將磁盤陣列特有的節(jié)點(diǎn)內(nèi)RAID技術(shù)和存儲虛擬化(池化)管理技術(shù), 即Storage Virtualization Manager (SVM)，與分布式技術(shù)相結(jié)合，如圖2所示。

圖 2 OneStack分布式存儲雙重Raid機(jī)制

網(wǎng)絡(luò)Raid技術(shù)

在鐵力士分布式存儲中，每個(gè)數(shù)據(jù)塊按照一致性哈希算法，隨機(jī)選擇兩個(gè)不同存儲節(jié)點(diǎn)來保存數(shù)據(jù)的兩個(gè)副本，保證當(dāng)任何一個(gè)節(jié)點(diǎn)宕機(jī)時(shí)，仍有一個(gè)數(shù)據(jù)副本保證讀寫操作，確保業(yè)務(wù)高可用和數(shù)據(jù)安全。

節(jié)點(diǎn)內(nèi)Raid技術(shù)

在鐵力士分布式存儲的每個(gè)節(jié)點(diǎn)內(nèi)，通過SVM存儲虛擬化技術(shù)實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)的RAID數(shù)據(jù)保護(hù)，RAID級別選擇可以是鏡像，也可以是存儲效率更高的RAID5或6。節(jié)點(diǎn)內(nèi)RAID保護(hù)可抵御單個(gè)或多個(gè)硬盤損壞，故障修復(fù)限制在節(jié)點(diǎn)內(nèi)部，無需觸發(fā)網(wǎng)絡(luò)數(shù)據(jù)重建，有效地避免了網(wǎng)絡(luò)重建風(fēng)暴。

節(jié)點(diǎn)內(nèi)RAID結(jié)合網(wǎng)絡(luò)Raid(跨節(jié)點(diǎn)的副本/EC碼)技術(shù)，鐵力士實(shí)現(xiàn)了雙重RAID數(shù)據(jù)保護(hù)。在三副本架構(gòu)中，一旦同時(shí)出現(xiàn)三塊磁盤故障或受損，數(shù)據(jù)就可能丟失;而在雙重RAID架構(gòu)中，即使每個(gè)節(jié)點(diǎn)同時(shí)出現(xiàn)一塊磁盤故障，數(shù)據(jù)仍然無憂，業(yè)務(wù)仍然持續(xù)。考慮到分布式存儲可能包含數(shù)十個(gè)甚至上百個(gè)存儲節(jié)點(diǎn)，雙重RAID的數(shù)據(jù)可靠性明顯超過三副本架構(gòu)。

存儲虛擬化技術(shù)

鐵力士在每個(gè)存儲節(jié)點(diǎn)運(yùn)行在存儲虛擬化管理軟件(SVM)上，把該節(jié)點(diǎn)的存儲資源整合為一個(gè)統(tǒng)一管理的存儲池，為分布式系統(tǒng)提供vOSD資源。SVM采用寬條帶機(jī)制(見圖3)，將每個(gè)vOSD的工作負(fù)載均勻分布在節(jié)點(diǎn)的每個(gè)磁盤上，大幅提高了單個(gè)vOSD的IOPS能力，可有效抵御三副本分布式存儲中的IO分布不均勻現(xiàn)象。

圖 3 節(jié)點(diǎn)內(nèi)Raid條帶機(jī)制

SVM存儲池由節(jié)點(diǎn)內(nèi)多個(gè)RAID小組構(gòu)成，通過虛擬卷為上層分布式系統(tǒng)提供vOSD存儲服務(wù)。每個(gè)vOSD對應(yīng)于三副本中由物理HDD承載的OSD。由分布式一致性哈希算法分配來的數(shù)據(jù)塊，將寫入SVM存儲池中、由虛擬卷支撐的vOSD，而非直接寫入物理硬盤。SVM 利用寬條帶技術(shù)，將vOSD的工作負(fù)載均勻分布在各個(gè)物理磁盤上：每個(gè)大小為4MB的vOSD 對象數(shù)據(jù)塊，被分割為32KB的數(shù)據(jù)塊，依次被安排在RAID組的邏輯地址空間中;SVM 對各個(gè)RAID小組的邏輯地址空間采取順序?qū)憙?yōu)化策略：首次寫按各個(gè)小組的邏輯地址分配地址空間，按順序?qū)懭霐?shù)據(jù);后續(xù)重寫，則優(yōu)先填滿空閑地址空間，盡可能實(shí)現(xiàn)硬盤順序?qū)ぶ?，最大限度降低機(jī)械硬盤較慢的尋址操作次數(shù)，利用機(jī)械硬盤順序?qū)戄^快的特點(diǎn)來提升IO性能。

二級DRAM+Flash 緩存加速

磁盤陣列中常見的性能加速手段是共享緩存加速，中高端磁盤陣列與低端磁盤陣列的在性能方面的一個(gè)重大區(qū)別，除了控制器個(gè)數(shù)，就是緩存加速的能力。典型的中高端磁盤陣列能支持的共享緩存加速在512GB到1TB上下。鐵力士借鑒了磁盤陣列的設(shè)計(jì)，通過SVM虛擬化實(shí)現(xiàn)DRAM與Flash相結(jié)合的二級緩存加速：通過自適應(yīng)算法，自動識別動態(tài)或靜態(tài)熱數(shù)據(jù)(高頻率讀寫或最近讀寫數(shù)據(jù))，將最熱的數(shù)據(jù)保存在延遲最小的DRAM中，而將次熱的數(shù)據(jù)保存在更大容量、基于Flash的固態(tài)硬盤上;并由于分布式技術(shù)的加持，形成一個(gè)容量巨大的分布式二級緩存系統(tǒng)。與中高端磁盤陣列相比較，鐵力士分布式存儲系統(tǒng)支持?jǐn)?shù)10TB、甚至100TB以上的分布式緩存，相當(dāng)于其10倍、甚至100倍的緩存容量。

數(shù)據(jù)完整性校驗(yàn)與數(shù)據(jù)自修復(fù)

SVM存儲虛擬化管理借鑒了WAFL(NetApp) 、Btrfs(SuSE)、ZFS(Oracle)、Storage Spaces(微軟)等文件系統(tǒng)的先進(jìn)經(jīng)驗(yàn)，對底層存儲的每個(gè)數(shù)據(jù)塊增加一個(gè)256比特的校驗(yàn)碼，并單獨(dú)保存在一對固態(tài)硬盤鏡像中，用于快速實(shí)現(xiàn)在線數(shù)據(jù)完整性校驗(yàn)。一旦校驗(yàn)碼檢查到數(shù)據(jù)受損，通過節(jié)點(diǎn)內(nèi)RAID功能實(shí)現(xiàn)數(shù)據(jù)自修復(fù)。該功能可快速定位硬件故障，并實(shí)現(xiàn)硬件故障自動隔離。

關(guān)于雙重RAID更多信息，請關(guān)注分布式存儲的技術(shù)趨勢(三)：雙重Raid與三副本對比。