[[421860]]

本文轉(zhuǎn)載自微信公眾號「奇伢云存儲」，作者奇伢。轉(zhuǎn)載本文請聯(lián)系奇伢云存儲公眾號。

存儲介質(zhì)的進化

很久以前，祖先把甲骨文寫在骨頭之上，骨頭保存持久，但是制作困難，后來把文字寫在竹簡、紙上。

文字是信息，紙張、竹簡、石頭是介質(zhì)，雖然它們比骨頭不易保存，但是制作簡單，更容易擴散。

存儲介質(zhì)在進化，信息形式也在變化!世界萬物的信息在數(shù)字化，數(shù)字化的信息可以存儲到磁學(xué)設(shè)備、光學(xué)設(shè)備、電子設(shè)備上。比如軟盤，光盤，硬盤，磁帶，固態(tài)硬盤，PCIE盤等介質(zhì)上。

物理的介質(zhì)在不斷的變化，有效信息容量越來越大，物理體積越來越小。

世界太危險

存儲的介質(zhì)在變化，體積越來越小，容量越來越大。唯一不變的是：無論多好的介質(zhì)總是會腐朽，只要他存在于現(xiàn)實，東西變壞不以個人意志為轉(zhuǎn)移。

最關(guān)鍵的是：這是個危機四伏的世界!

奇伢見過

背鍋俠：哎呀，我運維操作不當，vim 進去，改了一個字節(jié)。沒事吧?

老板：沒事，你去財務(wù)結(jié)一下工資。

還見過

硬盤：哎呀，上年紀了，我比特反轉(zhuǎn)了，好像瓦特了。

夢見過(新聞見過)：

天災(zāi)，被雷劈了，被水淹。

更可怕的是：總有刁民想害朕。

黑客：我是黑客，為彰顯技術(shù)實力，我要搞壞他。

對于存在盤上的數(shù)據(jù)來說，這么危險，怎么辦?

這么危險，可怎么辦?

它被有意修改，任何介質(zhì)都可能壞。既然改變不了，那么只能忍受它。

存進去是 1 ，取出來是 2。這，你還要嗎?

當然不能要!

那我還有底線嗎?

有!我可以忍受你變壞，但是不能忍受你的假。

就跟愛情一樣，不愛了，直說。著急趕著去找下一個備胎，不要假冒，拜拜就拜拜，下一個更乖。

數(shù)據(jù)壞了就說壞了，別耽誤事!

怎么證明自己是自己

怎么才能證明數(shù)據(jù)好壞呢，要有第三方證人才行。怎么證明你是你?

誰來證明?別人。

我們數(shù)據(jù)也是類似，數(shù)據(jù)存儲的時候，要多存一些見證的東西，能夠證明你好壞的東西。

這個證明叫做校驗碼。然而沒有免費的午餐，這些額外的東西是有代價的。需要更多的存儲空間，需要多余的計算時間。

怎么解決?

自校驗!

奇伢突然來了靈感，創(chuàng)造了一個“伢式算法”，每 8 字節(jié)數(shù)據(jù)對應(yīng)生成 1 個字節(jié)的校驗。

這個 nb 算法就是：p = x % 8 (嘿嘿，其實就是除余算法)：

• 用戶數(shù)據(jù) 1， 1 % 8 = 1，校驗碼則是 1 。
• 用戶數(shù)據(jù) 2， 2 % 8 = 2，校驗碼則是 2 。

現(xiàn)在好了，取到數(shù)據(jù)之后，我會用計算一下校驗碼，校驗碼對不上的數(shù)據(jù)就是壞的。

但你可能發(fā)現(xiàn)了一個秘密，奇伢還是太年輕。不同的數(shù)據(jù)計算的校驗碼太容易重復(fù)了。

1  % 8 = 1 
9  % 8 = 1 
17 % 8 = 1 

這種叫做沖突，并且沖突率肉眼可見的大呀，每 8 個數(shù)字就有循環(huán)重復(fù)。

如果數(shù)據(jù)是 1 變成 9 呢?那你還知道數(shù)據(jù)是壞的嗎?

答案是：不能。

并且還有個問題：冗余數(shù)據(jù)太多了。每 8 個字節(jié)，1個校驗數(shù)據(jù)。那 8T 的數(shù)據(jù)，就有 1T 的校驗數(shù)據(jù)，著實浪費。

更好的算法

怎么選一個好的算法來計算校驗碼?一般決策者會從多個維度考慮：

• 計算速率
• 資源消耗
• 結(jié)果沖突率
• 校驗結(jié)果的冗余度

一個完美的校驗算法應(yīng)該是：計算盡可能快，資源消耗盡可能少，沖突率僅可能小，冗余度要盡可能小。

想的美!

這是一個典型的既讓馬兒跑，又不想讓馬兒吃草的例子。

這些維度都是在相互拉鋸的，想要更快，消耗可能就會多，想要沖突率少，計算出來的校驗值可能冗余占用就大。

奇伢給不了標準答案，具體情況具體分析!不過有些最常見的 crc32 ，md5 等算法可以滿足大部分場景需求。

還記得開源項目下載文件的時候，有個對應(yīng) md5 值嗎?

那就是防串改，校驗文件是否損壞用的。

冗余是唯一的出路

數(shù)據(jù)可以壞，但不可以假，這是和單機存儲引擎的約定。但是數(shù)據(jù)可靠性怎么保證?這個問題依然要解決。

冗余分身是唯一奧秘。

數(shù)據(jù)可靠性是一個系統(tǒng)工程，單點引擎無法徹底解決，單點存儲引擎能保證只給真數(shù)據(jù)不給假數(shù)據(jù)，然后通過分布式的冗余，來保證整個系統(tǒng)數(shù)據(jù)對外的高可靠。

總結(jié)

最后奇伢總結(jié)幾個基本要點：

對于單機引擎來講，數(shù)據(jù)可以壞，但不可給假的數(shù)據(jù)出去，這是底線;

系統(tǒng)的可靠性是系統(tǒng)多組件配合打造的，核心方法是數(shù)據(jù)冗余;

校驗數(shù)據(jù)也要考慮成本和效率;