[[414310]]

一、引言

我們常常聽到衡量分布式存儲系統(tǒng)好壞的兩個指標：可用性和可靠性指標。

可用性指的是系統(tǒng)服務的可用性。一般按全年可用時間除以全年時間來衡量可用性的好壞，平常我們說的 SLA指標就是可用性指標，這里就不展開細說。

可靠性指標指的是數(shù)據(jù)的可靠性。我們常說的數(shù)據(jù)可靠性11個9，在對象存儲中就意味著存儲一千億個對象大概會有1個文件是不可讀的。由此可見，數(shù)據(jù)可靠性指標給分布式存儲系統(tǒng)帶來的挑戰(zhàn)不言而喻。

本文就重點來分析一下分布式系統(tǒng)的數(shù)據(jù)可靠性的量化模型。

二、背景

三、數(shù)據(jù)可靠性量化

3.1 磁盤年故障率：AFR

AFR：Annualized Failure Rate又稱為硬盤年度失敗概率，一般用來反映一個設備在全年的使用出故障的概率，可以很直觀的理解，AFR越低，系統(tǒng)的可靠性越高，因為AFR與系統(tǒng)的數(shù)據(jù)可靠性強相關；而這個指標通常又是由另一個磁盤質量指標MTBF（Mean Time Before Failure）推算出來，而MTBF各大硬盤廠商都是有出廠指標的，比如說希捷的硬盤出廠的MTBF指標為120W個小時。以下為AFR的計算公式：

但是實際使用當中往往MTBF會低于硬盤出廠指標。Google就根據(jù)他們的線上集群的硬盤情況進行了統(tǒng)計計算AFR如下：

（ 5年內硬盤AFR統(tǒng)計情況 ）

（圖片來自 http://oceanbase.org.cn ）

3.2 副本數(shù)據(jù)復制組：CopySet

副本數(shù)據(jù)復制組CopySet：用通俗的話說就是，包含一個數(shù)據(jù)的所有副本的節(jié)點，也就是一個copyset損壞的情況下，數(shù)據(jù)會丟失。

（單個數(shù)據(jù)隨機復制分組示意圖）

（圖片來自 https://www.dazhuanlan.com ）

如圖2所示，以9塊盤為例，這9塊盤的copyset就是：{1,5,6}，{2,6,8}，如果不做任何特殊處理，數(shù)據(jù)多了之后，數(shù)據(jù)的隨機分布如下：

（海量數(shù)據(jù)隨機分布示意圖）

（圖片來自 https://www.dazhuanlan.com ）

最大CopySet：如上圖所示，12個數(shù)據(jù)的多副本隨機打散到9塊盤上，從上圖中任決意挑3塊盤都可以挑出包含某個數(shù)據(jù)的三個副本，就相當于從n個元素中取出k個元素的組合數(shù)量為：

最大的CopySet配置下一旦有三塊磁盤壞了，丟數(shù)據(jù)的概率是100%。另外一種情況，數(shù)據(jù)的分布是有規(guī)律的，比如一塊盤上的數(shù)據(jù)只會在另外一塊盤上備份，如下圖所示，在這種情況下數(shù)據(jù)覆蓋的CopySet只有（1，5，7）、（2，4，9）、（3，6，8）也就是說這種情況下CopySet為3。我們不難理解，9塊盤的最小CopySet為3。也就是N/R。

（磁盤粒度冗余分布示意圖）

因此，CopySet數(shù)量S符合以下：

既然CopySet數(shù)據(jù)可以最小為N/R，能不能把CopySet數(shù)量調到最小，答案當然是不行的，因為，一方面如果CopySet調到最小，當有一個盤壞了后，只有其它2塊盤進行這塊盤的恢復操作，這樣數(shù)據(jù)的恢復時間又變長了，恢復時間變長也會影響數(shù)據(jù)的可靠性；而且一旦命中了CopySet中的一個，則丟失的數(shù)據(jù)量規(guī)模非常大。因此，分布式系統(tǒng)中的CopySet的量和恢復速度RecoveryTime是一個均衡整個系統(tǒng)數(shù)據(jù)可靠性和集群可用性的參數(shù)。

文獻【1】Copysets: Reducing the Frequency of Data Loss in Cloud Storage提供了一種分布式系統(tǒng)的CopySet Replication的選擇策略，在分布式存儲系統(tǒng)當中比如對象存儲和文件存儲當中，還有一種方式可以根據(jù)系統(tǒng)的可靠性和可用性進行調整系統(tǒng)CopySets的數(shù)量，就是在隨機放置情況下，使用小文件合并成大文件的存儲策略，可以通過控制大文件的大小從而控制每個磁盤上大文件的數(shù)量，比如100G一個文件，8T盤上的最大文件存儲數(shù)量也就是8T/100G = 80個文件，也就是說一個8T的盤的數(shù)據(jù)最多打散到了80塊其它的盤上，對于集群盤遠大于80的系統(tǒng)顯然也能夠很好的控制一個數(shù)據(jù)盤的數(shù)據(jù)打散程度。

因此，在磁盤上的分片是隨機打散的情況下，CopySets數(shù)量可以量化為以下公式：

其中，P為磁盤的容量，B為分片大小，N為系統(tǒng)磁盤的數(shù)據(jù)，R為副本數(shù)。80%為使用率。

3.3 數(shù)據(jù)恢復時間：Recovery Time

數(shù)據(jù)恢復時間對數(shù)據(jù)可靠性影響很大，這個很好理解，因此縮短數(shù)據(jù)恢復時間可以有效降低數(shù)據(jù)丟失的風險。前面已經(jīng)介紹數(shù)據(jù)恢復時間和磁盤上數(shù)據(jù)打散程度強相關，同時數(shù)據(jù)恢復時間也與服務本身的可用性相關。

比如磁盤帶寬為200MB/s，假設留給恢復可用的帶寬為20%就是40MB/s，磁盤容量為P，使用率為80%，B為BlockSize大小，則恢復速度可按以下方式計算：

四、可靠性模型推導

4.1 磁盤故障與泊松分布

泊松分布：泊松分布其實是二項分布的極限情況，泊松分布公式如下：

（圖片來自 知乎 ）

其中，t為時間周期（小時為單位），n為故障的盤的塊數(shù)，N為整個集群的盤的數(shù)量，為單位時間1小時內出故障的磁盤平均數(shù)。

從3.1節(jié)我們已經(jīng)介紹過了磁盤一年之內出故障的概率為AFR，那么單位時間1個小時的時間周期磁盤出故障的概率為FIT（Failures in Time）：

那么N塊盤的集群在單位時間1小時內出故障的盤的數(shù)量為FIT*N，換句話說，也就是單位時間1小時內出故障的磁盤平均數(shù)。因此可以得到：

4.2 系統(tǒng)全年可靠性計算推導

由4.1我們得到磁盤故障是符合泊松分布，N塊盤的集群中在t小時內有n塊盤故障的概率：

接下來我們以3副本為例，來推導一下全年集群沒有數(shù)據(jù)丟失的概率的量化模型，3副本情況下，全年集群沒有數(shù)據(jù)丟失的概率不太好量化，我們可以通過計算全年集群出現(xiàn)數(shù)據(jù)丟失的概率，然后全年集群沒有數(shù)據(jù)丟失的概率就以計算出來：

全年集群出現(xiàn)數(shù)據(jù)丟失的概率：只有在t（1年）的時間內有第一塊磁盤出現(xiàn)故障之后，然后系統(tǒng)進入數(shù)據(jù)恢復階段，在數(shù)據(jù)恢復的時間tr內又有第二塊磁盤出現(xiàn)故障，我們先不考慮數(shù)據(jù)恢復了多少，然后在tr內又有第三塊磁盤出現(xiàn)故障，但是這三個磁盤不一定剛好命中了我們在3.2介紹的copyset復制組如果命中了copyset，那么集群在全年就真的有出現(xiàn)數(shù)據(jù)丟失了。因為全年集群出現(xiàn)數(shù)據(jù)丟失的概率和P1，P2，P3，以及Copyset命中概率Pc相關。

1年時間t內有任意一塊磁盤出現(xiàn)故障的概率為：

上面這塊磁盤出現(xiàn)問題后，需要馬上恢復，在恢復時間tr內有另外一塊盤出現(xiàn)故障概率：

在恢復時間tr內有第三塊任意盤出現(xiàn)故障的概率：

而這三塊出現(xiàn)故障的磁盤剛好命中集群的CopySets的概率為：

因此，不難得到全年集群出現(xiàn)數(shù)據(jù)丟失的概率P：

然后全年集群不出現(xiàn)數(shù)據(jù)丟失的概率1-P就可以計算得到了。

4.3 EC冗余全年可靠性計算推導

EC冗余機制相對于三副本機制是用額外的校驗塊來達到當有一些塊出現(xiàn)故障的情況下數(shù)據(jù)不會丟，按（D,E）數(shù)據(jù)塊進行EC編碼，那么在計算EC冗余下的全年集群數(shù)據(jù)丟失概率的時候，EC模式下的恢復速度tr和三副本肯定是不一樣的，另外，EC模式下的copysets是不一樣的，EC模式是允許E個數(shù)據(jù)塊丟失，而且是在D個數(shù)據(jù)塊有任意的E個數(shù)據(jù)塊丟失數(shù)據(jù)都找不回來了，因此，不難得出，EC模式的全年集群出現(xiàn)數(shù)據(jù)丟失的概率P，以下公式，默認E為4，也就是丟失4個數(shù)據(jù)塊：

相對于三副本模式來說，EC模式的copyset需要考慮在D+E個塊當中丟失其中任意E個塊，則EC模式下的copyset數(shù)為：

五、可靠性模型估算

5.1 量化模型影響因素

5.2 可靠性量化計算

接下來我們把影響可靠性計算的幾個因素根據(jù)生產(chǎn)集群的現(xiàn)狀帶入模型計算可靠性計算：

結合4.2的磁盤故障與可靠性的推導，通過表格中10個case的計算，可以看到：

Case 1,2,3通過擴展磁盤的數(shù)量從48塊盤到804再到3600塊盤，可靠性從11個9提高到接近13個9，然后804塊盤到3600塊盤還是維護在13個9，按理說，集群的規(guī)模增大，增3塊盤的概率會提高，但是由于恢復速度也隨著磁盤的增加而線性增加，因此，可靠性一直在提升，而從804到3600塊盤，可靠性沒有增加，是因為這時候恢復速度已經(jīng)不隨磁盤增加而線性增大，因為在磁盤量很大后，決定恢復速度因素就變?yōu)閱伪P分片個數(shù)。

Case 5,6比較好理解，恢復速度由100M/S變?yōu)?0M/S，可靠性降低2個以上數(shù)量級；

Case 7,8也比較好理解，AFR由0.43提高到1.2再提高到7，可靠性降低了3個數(shù)量級；

Case 9,10比較繞，磁盤數(shù)在100的情況下，Block大小由80G一個提高到100G一個，可靠性降低了，這種情況下是因為恢復速度提高，CopySet也提高，但速度影響更大導致。

Case 11,12也比較繞，由于我們限定了恢復速度不能超過5分鐘（模擬線上，因為系統(tǒng)檢測壞盤，自動踢盤等操作也需要時間），這兩個Case下的CopySet都超級大，所以恢復的并發(fā)度都非常高，但受限于5分鐘限定，所以兩個Case的恢復速度一樣，所以PK CopySet的數(shù)量，Case12的CopySet比Case11的CopySet要小，所以更不容易丟失，所以可靠性更高。

六、總結

• 首先AFR越低越好，AFR是直接決定整個集群磁盤故障引起的數(shù)據(jù)丟失概率的最大因素；

• 其次是恢復速度：在不影響服務可用性指標的前提下，最大限度的提高磁盤故障的恢復帶寬是提高集群數(shù)據(jù)可靠性的另一個重要因素；

• 如果在恢復速度受限的前提下，比如系統(tǒng)架構設計導致的相關發(fā)現(xiàn)壞盤到踢盤到進行數(shù)據(jù)恢復操作啟動為5分鐘，那么可以通過合理降低磁盤數(shù)據(jù)的分散程度降低CopySet，如果系統(tǒng)是按分片粒度或Block粒度，則相應的以提高Block粒度來降低數(shù)據(jù)分散程度的方式來提高數(shù)據(jù)的可靠性。