線索丨小官

       整理丨千山

　　數(shù)據(jù)大爆炸時(shí)代，傳統(tǒng)的集中式存儲(chǔ)已經(jīng)很難滿足大型應(yīng)用的數(shù)據(jù)存儲(chǔ)需求，分布式存儲(chǔ)應(yīng)運(yùn)而生。其中，可供存儲(chǔ)的網(wǎng)絡(luò)服務(wù)甚多，阿里云OSS、七牛云、騰訊云等等，不過(guò)很多公司為了節(jié)約成本，更傾向于開(kāi)源的分布式存儲(chǔ)系統(tǒng)，諸如Ceph、GlusterFS、FastDFS之類。

　　放眼整個(gè)分布式存儲(chǔ)江湖，整體呈現(xiàn)亂戰(zhàn)之象。日前，51CTO技術(shù)交流群中的眾多技術(shù)人員，就當(dāng)前分布式存儲(chǔ)系統(tǒng)尤其是分布式文件系統(tǒng)的發(fā)展展開(kāi)了討論，圍繞其適用場(chǎng)景、選型要素、優(yōu)劣對(duì)比等方面進(jìn)行了深入分析。

“需求決定架構(gòu)”

　　評(píng)價(jià)一個(gè)分布式存儲(chǔ)系統(tǒng)是否優(yōu)秀？你可以列舉出很多標(biāo)準(zhǔn)，比如數(shù)據(jù)的存儲(chǔ)方式、數(shù)據(jù)的讀取速率、數(shù)據(jù)的安全機(jī)制。但歸根結(jié)底，系統(tǒng)并非孤立存在，其選型主要還是取決于業(yè)務(wù)需求。

　　社群討論中,【Signx】提到：“需求決定架構(gòu)”。

　　【Default】也持有類似的觀點(diǎn)：很多公司的存儲(chǔ)架構(gòu)其實(shí)是多種類型混合的，這是根據(jù)具體的業(yè)務(wù)場(chǎng)景、存儲(chǔ)類型進(jìn)行選擇和適配的。比如，有的企業(yè)要存儲(chǔ)大量非結(jié)構(gòu)化數(shù)據(jù)，就可以直接選擇云廠商的對(duì)象存儲(chǔ)，一來(lái)省去了自建成本，二來(lái)無(wú)需考慮后端實(shí)現(xiàn)。不過(guò)，有的公司會(huì)有“上云容易下云難”的顧慮，如果在能力和成本允許范圍內(nèi)，自建系統(tǒng)也是一種選擇。

　　在【洪強(qiáng)】看來(lái)，細(xì)分場(chǎng)景確定的話，技術(shù)方向就相對(duì)固定。就像數(shù)據(jù)庫(kù)對(duì)應(yīng)塊存儲(chǔ)、數(shù)據(jù)共享對(duì)應(yīng)文件存儲(chǔ)、應(yīng)用集成對(duì)應(yīng)對(duì)象存儲(chǔ)。具體到實(shí)踐中，很多廠商都會(huì)基于開(kāi)源分布式存儲(chǔ)系統(tǒng)做自研優(yōu)化。 

分布式文件系統(tǒng)的“爭(zhēng)鋒”

　　目前主流的分布式文件系統(tǒng)有：GFS、HDFS、Ceph、GlusterFS、MooseFS、FastDFS、Lustre、GridFS等。

　　1、GFS(Google File System)

　　這是谷歌為了滿足自身需求而開(kāi)發(fā)的基于Linux的專有分布式文件系統(tǒng)。盡管谷歌披露了部分技術(shù)細(xì)節(jié)，但并不開(kāi)源，使用困難。

　　2、HDFS(Hadoop Distributed File System)

HDFS支持大數(shù)據(jù)批量讀寫，吞吐量高，一直以來(lái)都是大數(shù)據(jù)領(lǐng)域?qū)佟２恢С侄嘤脩舨l(fā)寫相同文件，而且只有 Java SDK
成熟，用于通用業(yè)務(wù)開(kāi)發(fā)肯定不方便。

　　3、Ceph

　　Ceph是近幾年最流行的分布式存儲(chǔ)系統(tǒng)之一，具有高性能、高可靠性和高可擴(kuò)展性，幾乎成為OpenStack等知名開(kāi)源云平臺(tái)社區(qū)的標(biāo)配存儲(chǔ)系統(tǒng)。

　　4、GlusterFS

　　適用于數(shù)據(jù)密集型任務(wù)的開(kāi)源分布式橫向擴(kuò)展文件系統(tǒng)，可以根據(jù)存儲(chǔ)需求快速調(diào)配存儲(chǔ)，內(nèi)含豐富的自動(dòng)故障轉(zhuǎn)移功能，且擯棄集中元數(shù)據(jù)服務(wù)器的思想，采用堆棧式架構(gòu)。

　　5、MooseFS

　　由波蘭公司Gemius SA公司推出，比較輕量級(jí)，用perl編寫，性能相對(duì)較差，最近幾年發(fā)展不多。

　　6、FastDFS

　　由純C語(yǔ)言開(kāi)發(fā)的輕量級(jí)開(kāi)源分布式文件系統(tǒng)，適合以文件為載體的在線服務(wù)。但不支持?jǐn)帱c(diǎn)續(xù)傳，不適合大文件存儲(chǔ)。

　　7、Lustre

　　一種平行分布式文件系統(tǒng)，通常用于大型計(jì)算機(jī)集群和超級(jí)電腦，自英特爾不再維護(hù)后由DDN接手。

　　8、GridFS

　　屬于MongoDB的一個(gè)內(nèi)置功能，提供一組文件操作的API以利用MongoDB存儲(chǔ)文件。

　　由此看來(lái)，分布式文件系統(tǒng)之豐富，已經(jīng)到了“亂花漸欲迷人眼”的地步。那么，這些系統(tǒng)到底適合怎樣的場(chǎng)景，使用體驗(yàn)到底如何？且看開(kāi)發(fā)者們?nèi)缡钦f(shuō)。

面向Ceph

　　其評(píng)價(jià)主要集中于三點(diǎn)：

　　適用場(chǎng)景：適合非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，其對(duì)象存儲(chǔ)特性適合云計(jì)算環(huán)境實(shí)時(shí)訪問(wèn)的虛擬機(jī)鏡像和虛擬機(jī)磁盤。

　　集成：使用存儲(chǔ)設(shè)施提供的直接API訪問(wèn)寫入存儲(chǔ)，對(duì)Winows和Linux都非常友好。

　　擴(kuò)展：可以輕松將新存儲(chǔ)設(shè)備集成到現(xiàn)有存儲(chǔ)產(chǎn)品中來(lái)滿足擴(kuò)容需求。

　　當(dāng)然其缺點(diǎn)也非常鮮明：

　　1、代碼質(zhì)量。這實(shí)際上是個(gè)見(jiàn)仁見(jiàn)智的問(wèn)題，但Ceph發(fā)展至今的確已經(jīng)背負(fù)了過(guò)重的歷史包袱。

　　2、擴(kuò)容過(guò)程并不完美，實(shí)際擴(kuò)容時(shí)，服務(wù)質(zhì)量會(huì)受嚴(yán)重制約。

　　3、有些浪費(fèi)硬件，成本核算時(shí)要考慮更多。

　　4、去中心化設(shè)計(jì)犧牲了不少元數(shù)據(jù)，比如lastacesstime，給未來(lái)的數(shù)據(jù)治理帶來(lái)了壓力。

　　5、運(yùn)維門檻較高，沒(méi)有豐富的分布式系統(tǒng)和存儲(chǔ)系統(tǒng)運(yùn)維經(jīng)驗(yàn)的業(yè)務(wù)開(kāi)發(fā)者很難搞定。 

面向GlusterFS

　　技術(shù)人員的評(píng)價(jià)同樣有褒有貶。優(yōu)點(diǎn)包括：

　　適用場(chǎng)景：適合結(jié)構(gòu)化數(shù)據(jù)，采用傳統(tǒng)的樹(shù)形文件系統(tǒng)，適宜海量大文件存儲(chǔ)以及流式數(shù)據(jù)順序讀寫，尤其適用于近線存儲(chǔ)、數(shù)據(jù)歸檔環(huán)境。

　　集成：遵守POSIX便攜式操作系統(tǒng)接口標(biāo)準(zhǔn)，對(duì)Linux特別友好。但如果要和Windows環(huán)境集成，需要額外步驟。

　　擴(kuò)展：具有很好的可擴(kuò)展性。軟件的結(jié)構(gòu)設(shè)計(jì)良好，易于擴(kuò)展和配置，通過(guò)各個(gè)模塊的靈活搭配以得到針對(duì)性的解決方案。

　　而GlusterFS的缺點(diǎn)，除了公認(rèn)的“對(duì)于小文件的存儲(chǔ)效率和訪問(wèn)性能都表現(xiàn)不佳”這一點(diǎn)外，【接地氣的小蝦米】進(jìn)行了集中吐槽：

　　1、由于沒(méi)有元數(shù)據(jù)服務(wù)器，其訪問(wèn)控制、信息統(tǒng)計(jì)的實(shí)現(xiàn)都特別復(fù)雜。

　　2、有副本的模式下，寫的性能會(huì)下降為單副本的N倍（N=副本因子），因?yàn)樗峭耆綄慛份數(shù)據(jù)的。

　　3、壓力比較大的時(shí)候，ls會(huì)非常之慢，難以忍受。原因是它在客戶端沒(méi)有文件信息的緩存，每次都要去遍歷brick。如果brick有幾百個(gè)，其速度之慢可以想象，所以其宣稱的線性擴(kuò)展性要大打折扣。當(dāng)然如果知道文件名，直接訪問(wèn)則另當(dāng)別論。

　　4、存在一些明顯的bug沒(méi)有修復(fù)。比如AFR副本，許多讀操作基本上也都是落在一個(gè)上，根本無(wú)法實(shí)現(xiàn)其宣稱的副本能夠提高讀性能；對(duì)于stripe模式，多次測(cè)試也沒(méi)有發(fā)現(xiàn)具有提高性能的作用，干脆放棄不用。

面向FastDFS

　　大家的使用體驗(yàn)也不盡相同。

　　【自由】提到，在金融場(chǎng)景中選擇FastDFS，主要用于存儲(chǔ)中小文件以及照片。原因在于：

　　有主備Tracker服務(wù)，提高了系統(tǒng)的可用性。

　　支持在線擴(kuò)容機(jī)制。這一點(diǎn)非常實(shí)用，一旦使用的內(nèi)存不夠，可以不停機(jī)在線擴(kuò)容，降低了特殊情況下對(duì)于業(yè)務(wù)系統(tǒng)的影響。

　　實(shí)現(xiàn)了軟RAID，增強(qiáng)了系統(tǒng)的并發(fā)處理能力和數(shù)據(jù)容錯(cuò)恢復(fù)能力。

　　其缺點(diǎn)則主要集中在以下幾點(diǎn)：

　　1、通過(guò)API下載，存在單點(diǎn)的性能瓶頸。

　　2、不支持?jǐn)帱c(diǎn)續(xù)傳，對(duì)大文件是噩夢(mèng)。

　　3、同步機(jī)制不支持文件正確性校驗(yàn)，降低了系統(tǒng)的可用性。

　　4、不支持POSIX通用接口訪問(wèn)，通用性較低。

　　5、對(duì)跨公網(wǎng)的文件同步存在著比較大的延遲，需要應(yīng)用做相應(yīng)的容錯(cuò)策略。

　　綜上所述，正如有的開(kāi)發(fā)人員所說(shuō)，技術(shù)本身沒(méi)有絕對(duì)的好壞。但在特定的場(chǎng)景下，技術(shù)的適配與否是有評(píng)判標(biāo)準(zhǔn)的?！耙?yàn)樵趫?chǎng)景下，你有了立場(chǎng)，就有了亟待解決的問(wèn)題的優(yōu)先級(jí)，也就一定能按優(yōu)先級(jí)選擇出最適合你的技術(shù)?！?/p>

前浪未死，后浪已來(lái)

　　在分布式文件系統(tǒng)的選型中，我們已經(jīng)可以梳理出一些基本的思路。比如根據(jù)特性，

　　適合做通用文件系統(tǒng)的有：Ceph，Lustre……

　　適合做小文件存儲(chǔ)的文件系統(tǒng)有：Ceph，MooseFS，F(xiàn)astDFS……

　　適合做大文件存儲(chǔ)的文件系統(tǒng)有：HDFS，Ceph，Lustre，GridFS……

　　簡(jiǎn)單易用的文件系統(tǒng)有：MooseFS，F(xiàn)astDFS，GlusterFS……

      不過(guò)稍加回顧，可以發(fā)現(xiàn)，像 GlusterFS、CephFS、HDFS、MooseFS、Lustre這些項(xiàng)目都是在2010年之前出現(xiàn)的，距今都有十多年的發(fā)展史了。在日新月異的技術(shù)更迭中，它們有的再度火起，有的一時(shí)沉寂。

      隨著云原生時(shí)代的到來(lái)，近幾年，分布式存儲(chǔ)系統(tǒng)領(lǐng)域又涌現(xiàn)出了若干新秀：為云環(huán)境設(shè)計(jì)，兼容 POSIX、HDFS和S3協(xié)議的JuiceFS；由OPPO主導(dǎo)開(kāi)發(fā)與運(yùn)營(yíng)的開(kāi)源云原生存儲(chǔ)產(chǎn)品CubeFS……前浪未死，后浪已來(lái)。分布式存儲(chǔ)的江湖中，老將與老將的交鋒鋒芒畢露，新秀與老將的博弈暗流洶涌，幾方割據(jù)的態(tài)勢(shì)也將長(zhǎng)期存在。誰(shuí)主沉浮，我們或可靜心以待。

?

參考鏈接：https://www.zhihu.com/question/435267324