隨著互聯(lián)網(wǎng)類新興業(yè)務(wù)的激增、業(yè)務(wù)數(shù)據(jù)快速增長(zhǎng)，云存儲(chǔ)技術(shù)應(yīng)運(yùn)而生。本文深入剖析了云存儲(chǔ)通用框架、硬件架構(gòu)以及其底層原理這三個(gè)技術(shù)層面的差異性，為云存儲(chǔ)架構(gòu)框架設(shè)計(jì)提供了理論依據(jù)；再結(jié)合細(xì)分行業(yè)及其業(yè)務(wù)應(yīng)用場(chǎng)景的差異性需求，最終確定了滿足企業(yè)需求的云存儲(chǔ)總體架構(gòu)，并詳細(xì)介紹了架構(gòu)設(shè)計(jì)評(píng)估和技術(shù)選型過(guò)程中的一些實(shí)踐經(jīng)驗(yàn)。

【作者】陳萍春，現(xiàn)就職于保險(xiǎn)行業(yè)，擁有多年的系統(tǒng)、存儲(chǔ)以及數(shù)據(jù)備份等運(yùn)維工作經(jīng)驗(yàn)。

1. 概述

隨著互聯(lián)網(wǎng)類新興業(yè)務(wù)的激增、業(yè)務(wù)數(shù)據(jù)快速增長(zhǎng)，使得企業(yè)數(shù)據(jù)中心存儲(chǔ)系統(tǒng)面臨新的挑戰(zhàn)：大數(shù)據(jù)、云計(jì)算等新技術(shù)應(yīng)用帶來(lái)了新的存儲(chǔ)應(yīng)用場(chǎng)景；海量數(shù)據(jù)存儲(chǔ)沖擊著傳統(tǒng)存儲(chǔ)架構(gòu)，性能容量成為瓶頸；存儲(chǔ)系統(tǒng)擴(kuò)容和新建周期長(zhǎng)，無(wú)法滿足業(yè)務(wù)敏捷需求。

云存儲(chǔ)技術(shù)應(yīng)運(yùn)而生，敏捷、資源可彈性部署、按需獲取的特性很好地滿足了數(shù)據(jù)中心海量數(shù)據(jù)和新興業(yè)務(wù)快速上線的存儲(chǔ)需求。

2. 云存儲(chǔ)技術(shù)分析

顧名思義，云存儲(chǔ)是在云計(jì)算基礎(chǔ)上衍生和發(fā)展出來(lái)的，通過(guò)網(wǎng)絡(luò)將大量異構(gòu)存儲(chǔ)設(shè)備構(gòu)成了統(tǒng)一的存儲(chǔ)資源池，在集中式存儲(chǔ)技術(shù)基礎(chǔ)上，融合了分布式存儲(chǔ)、多租戶共享、軟件定義存儲(chǔ)等多種云存儲(chǔ)技術(shù)。

新技術(shù)應(yīng)用都有其兩面性，在設(shè)計(jì)構(gòu)建云存儲(chǔ)架構(gòu)框架之前，有必要詳細(xì)了解和剖析云存儲(chǔ)技術(shù)，這樣才能結(jié)合自身需求做好規(guī)劃。下文將從云存儲(chǔ)通用框架、存儲(chǔ)硬件架構(gòu)以及分布式底層存儲(chǔ)技術(shù)這三方面展開敘述。

2.1 云存儲(chǔ)通用框架

相比于傳統(tǒng)存儲(chǔ)來(lái)說(shuō)，云存儲(chǔ)系統(tǒng)是一種層次化的體系結(jié)構(gòu)，其通用框架可參考圖 1 分為云存儲(chǔ)服務(wù)和云存儲(chǔ)資源池兩種，其中云存儲(chǔ)資源池是云存儲(chǔ)最為核心的部分。

圖 1.云存儲(chǔ)通用框架圖

云存儲(chǔ)資源池又可細(xì)分為數(shù)據(jù)存儲(chǔ)層、存儲(chǔ)抽象層和存儲(chǔ)接口層。數(shù)據(jù)存儲(chǔ)層是云存儲(chǔ)的基礎(chǔ)，由不同類型的硬件設(shè)備組成，提供多種 IO 性能的存儲(chǔ)資源；存儲(chǔ)抽象層實(shí)現(xiàn)了不同類型的存儲(chǔ)設(shè)備的邏輯虛擬化管理，為上層應(yīng)用提供不同存儲(chǔ)資源的抽象，實(shí)現(xiàn)存儲(chǔ)資源的靈活調(diào)配；存儲(chǔ)接口層提供了不同類型的存儲(chǔ)接口，實(shí)現(xiàn)存儲(chǔ)系統(tǒng)與外部應(yīng)用的數(shù)據(jù)傳輸。

云存儲(chǔ)服務(wù)為用戶提供統(tǒng)一的協(xié)議和編程接口，提供云數(shù)據(jù)盤和對(duì)象存儲(chǔ)服務(wù)，是云存儲(chǔ)資源調(diào)度控制的入口，授權(quán)用戶可以公共應(yīng)用接口訪問(wèn)云存儲(chǔ)。

2.2 云存儲(chǔ)硬件架構(gòu)

數(shù)據(jù)存儲(chǔ)層可根據(jù)差異化的需求、細(xì)分行業(yè)以及不同的應(yīng)用場(chǎng)景，部署不同架構(gòu)的數(shù)據(jù)存儲(chǔ)，這也是存儲(chǔ)硬件選型的關(guān)鍵。一般可分為集中式和分布式兩種存儲(chǔ)架構(gòu)，其中分布式存儲(chǔ)中又可以依據(jù)計(jì)算與存儲(chǔ)是否解耦，再細(xì)分為獨(dú)立部署與超融合兩種架構(gòu)，下文將對(duì)這三種架構(gòu)存儲(chǔ)進(jìn)行評(píng)估。

2.2.1 集中式存儲(chǔ)

集中式存儲(chǔ)的代表是傳統(tǒng) SAN 存儲(chǔ)或 NAS 存儲(chǔ)，使用專用硬件和存儲(chǔ)控制器。其架構(gòu)如圖 2 所示，存儲(chǔ)控制器采用雙控或多控互聯(lián)架構(gòu)，包含 RAID 功能和大容量 Cache ?？刂破骱蠖诉B接到磁盤柜，磁盤柜包含了多個(gè) RAID 組，每個(gè) RAID 組又包含多塊磁盤，這就組成了集中式的磁盤陣列。

圖 2.集中式存儲(chǔ)硬件架構(gòu)示意圖

集中式存儲(chǔ)一般提供塊存儲(chǔ)或文件存儲(chǔ)接口服務(wù)，其優(yōu)點(diǎn)可總結(jié)為：

性能：IO 分片粒度小，數(shù)據(jù) IO 傳輸路徑短，表現(xiàn)為低時(shí)延和高 IOPS ；

可靠性高 ：專有硬件和存儲(chǔ)控制器的可靠性高，基于 RAID 和硬件冗余等技術(shù)也較成熟；

數(shù)據(jù)強(qiáng)一致性： 控制器、磁盤間的集中式互聯(lián)架構(gòu)最大限度地保證了數(shù)據(jù)的強(qiáng)一致性。

當(dāng)然傳統(tǒng)集中式存儲(chǔ)也有其劣勢(shì)，這也是分布式架構(gòu)興起的原因，表現(xiàn)在：

擴(kuò)展性差： 集中式存儲(chǔ)是無(wú)法無(wú)限制地?cái)U(kuò)展磁盤柜的，受限于存儲(chǔ)控制器的擴(kuò)展能力；

成本較高： 集中式存儲(chǔ)的高可靠專有硬件也會(huì)帶來(lái)更高的設(shè)備采購(gòu)成本和維保成本。

2.2.2 分布式存儲(chǔ) - 獨(dú)立部署架構(gòu)

分布式存儲(chǔ)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的存儲(chǔ)節(jié)點(diǎn)上，其架構(gòu)如圖 3 所示，分布式存儲(chǔ) - 獨(dú)立部署架構(gòu)由多個(gè)專門的存儲(chǔ)節(jié)點(diǎn)組成，對(duì)外提供各種存儲(chǔ)服務(wù)。

圖 3.分布式存儲(chǔ) -獨(dú)立部署架構(gòu)示意圖

分布式存儲(chǔ)不再依賴于傳統(tǒng)專用硬件，大部分部署在通用服務(wù)器之上，通過(guò)軟件定義的方式來(lái)實(shí)現(xiàn)核心存儲(chǔ)邏輯，其優(yōu)勢(shì)在于：

靈活迭代： 相比于硬件的迭代，軟件版本迭代周期更快更靈活；

硬件成本低： 消除了專有硬件依賴，硬件成本低；

易擴(kuò)展： 分布式架構(gòu)易于橫向擴(kuò)展，性能容量線性擴(kuò)展。

而分布式存儲(chǔ)的劣勢(shì)在于：

復(fù)雜度高： 相比于集中式單體架構(gòu)來(lái)說(shuō)，分布式運(yùn)維復(fù)雜度高；

穩(wěn)定性低： 部分產(chǎn)品技術(shù)成熟度不夠，硬件故障或系統(tǒng)異常場(chǎng)景下，存儲(chǔ)性能易受影響。

2.2.3 分布式存儲(chǔ) - 超融合架構(gòu)

超融合架構(gòu)是一個(gè)包含計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)的整體架構(gòu)解決方案，其存儲(chǔ)本身也是分布式存儲(chǔ)。在超融合形態(tài)中，計(jì)算與存儲(chǔ)是同一軟件堆棧運(yùn)行在通用服務(wù)器中的，其架構(gòu)如圖 4 所示，大多數(shù)超融合產(chǎn)品在其節(jié)點(diǎn)上會(huì)部署控制器虛擬機(jī) CVM ， CVM 會(huì)承擔(dān)存儲(chǔ)服務(wù)功能，而普通的虛擬機(jī)需與 CVM 通信才可訪問(wèn)數(shù)據(jù)存儲(chǔ)。

圖 4.分布式存儲(chǔ) -超融合架構(gòu)示意圖

超融合傾向于計(jì)算層和存儲(chǔ)層可以很好耦合的設(shè)計(jì)理念，除了分布式存儲(chǔ)的優(yōu)點(diǎn)外，其優(yōu)勢(shì)還包括：

降低運(yùn)維復(fù)雜度： 通過(guò)架構(gòu)設(shè)計(jì)、部署、日常運(yùn)維管理的簡(jiǎn)化，單一廠商可提供所有軟硬件的支持。

而分布式存儲(chǔ)的獨(dú)立部署架構(gòu)的優(yōu)勢(shì)在于資源自由調(diào)配、計(jì)算與存儲(chǔ)層可獨(dú)立部署擴(kuò)展。這樣來(lái)看，超融合的劣勢(shì)如下：

新的資源孤島： 無(wú)法與外部做資源共享，會(huì)帶來(lái)資源利用率和統(tǒng)一管理問(wèn)題；

性能問(wèn)題： 計(jì)算與和存儲(chǔ)會(huì)爭(zhēng)搶服務(wù)器硬件資源和網(wǎng)絡(luò)帶寬，性能問(wèn)題會(huì)更明顯；

橫向擴(kuò)展性不足： 性能風(fēng)險(xiǎn)也間接帶來(lái)了無(wú)法大規(guī)模部署的問(wèn)題；

系統(tǒng)內(nèi)部復(fù)雜性： 系統(tǒng)架構(gòu)的簡(jiǎn)化帶來(lái)了更高的內(nèi)部復(fù)雜性。

2.3 分布式底層存儲(chǔ)技術(shù)

相比于集中式存儲(chǔ)，分布式存儲(chǔ)的復(fù)雜性更高，但更適應(yīng)大規(guī)模的云部署場(chǎng)景，有必要深入了解其底層原理。分布式存儲(chǔ)存在著獨(dú)立部署和超融合的硬件架構(gòu)差異，而從邏輯層面來(lái)看，不管是獨(dú)立部署還是超融合架構(gòu)，又主要分為分布式文件系統(tǒng)（ DFS ）和分布式鍵值（ k-v ）存儲(chǔ)這兩種存儲(chǔ)技術(shù)。

2.3.1 分布式文件系統(tǒng)

云存儲(chǔ)技術(shù)的復(fù)雜性還在于存儲(chǔ)虛擬化技術(shù)，它屏蔽了數(shù)據(jù) IO 與底層數(shù)據(jù)存儲(chǔ)的映射與實(shí)現(xiàn)細(xì)節(jié)。如圖 5 所示，分布式文件系統(tǒng)（ DFS ）是一種虛擬文件系統(tǒng)，本身有著文件目錄結(jié)構(gòu)特征。而 DFS 對(duì)外提供的存儲(chǔ)單元?jiǎng)t是由文件組成，這些文件又會(huì)被邏輯分片，再按照多數(shù)據(jù)副本分布算法分布到不同數(shù)據(jù)節(jié)點(diǎn)上。

圖 5.基于 DFS的云存儲(chǔ)底層原理示意圖

基于 DFS 的云存儲(chǔ)邏輯清晰，也有著比較廣的應(yīng)用范圍，比如 GFS 、 HDFS 等典型應(yīng)用，包括一些超融合底層存儲(chǔ)也是基于 DFS 來(lái)實(shí)現(xiàn)的，但也存在著明顯缺陷：

擴(kuò)展性受限： 基于目錄結(jié)構(gòu)的文件系統(tǒng)，會(huì)成為 DFS 大規(guī)模擴(kuò)展的瓶頸；

性能方面： 文件目錄信息可以通過(guò)緩存到內(nèi)存中來(lái)提高定位數(shù)據(jù)的速度，但是當(dāng)文件數(shù)量達(dá)到一定量級(jí)時(shí)，硬件無(wú)法滿足時(shí)，性能會(huì)急劇下降。

2.3.2 分布式鍵值存儲(chǔ)

分布式文件系統(tǒng)的文件目錄管理遵循著 map-reduce 的設(shè)計(jì)思路，化大為小，分而治之，再合并處理，其架構(gòu)中需要元數(shù)據(jù)管理節(jié)點(diǎn)來(lái)協(xié)調(diào)，本質(zhì)上還是一種中心化；分布式鍵值（ k-v ）存儲(chǔ)是一種無(wú)中心化架構(gòu)，解決了主節(jié)點(diǎn)本身的瓶頸，其架構(gòu)設(shè)計(jì)思路則是均衡設(shè)計(jì)，所有節(jié)點(diǎn)的地位都是對(duì)等的，通過(guò)數(shù)據(jù)布局算法均衡分布在不同節(jié)點(diǎn)上。一致性 hash 算法和虛擬節(jié)點(diǎn)是一種通用做法，不同于簡(jiǎn)單散列 hash 將數(shù)據(jù)分布在一條直線上，而是采用首尾相連，將整個(gè)哈希值空間組織成一個(gè)虛擬圓環(huán)。

ceph 是一種典型基于分布式鍵值的存儲(chǔ)系統(tǒng)，其 object 數(shù)據(jù)分布采用的是 crush 算法，是在一致性 hash 算法基礎(chǔ)上，充分考慮多副本、故障域隔離等約束設(shè)計(jì)而來(lái)，其實(shí)現(xiàn)原理如圖 6 所示。

圖 6.基于分布式 KV的云存儲(chǔ)底層原理示意圖

與基于 DFS 的云存儲(chǔ)相比，基于分布式 KV 的云存儲(chǔ)可以支持更好的擴(kuò)展性，但是也存在如下缺陷：

復(fù)雜度高： 基于分布式 KV 的云存儲(chǔ)又增加了一層存儲(chǔ)抽象，系統(tǒng)設(shè)計(jì)和運(yùn)維復(fù)雜度都很高；

性能方面： 寫入延時(shí)增加，多數(shù)據(jù)副本寫入的時(shí)延更高一些；

3. 云存儲(chǔ)架構(gòu)框架設(shè)計(jì)

3.1 總體設(shè)計(jì)原則和方法

云存儲(chǔ)總體設(shè)計(jì)應(yīng)堅(jiān)持以下三項(xiàng)原則：

合適原則： 應(yīng)與具體所處行業(yè)和應(yīng)用場(chǎng)景相適應(yīng)，考慮企業(yè)實(shí)際業(yè)務(wù)應(yīng)用情況，注重成本、收益、風(fēng)險(xiǎn)三方面的平衡；

簡(jiǎn)單原則： 云存儲(chǔ)架構(gòu)框架本身具有很高的復(fù)雜度，架構(gòu)設(shè)計(jì)和實(shí)際落地過(guò)程中更應(yīng)注意循序漸進(jìn)，化繁為簡(jiǎn)；

前瞻性原則： 應(yīng)采用業(yè)界主流云存儲(chǔ)技術(shù)，保持技術(shù)的先進(jìn)性，考慮架構(gòu)的擴(kuò)展能力。

云存儲(chǔ)分析設(shè)計(jì)包括兩種思維方法：

1)自頂向下

自頂向下方法是從云計(jì)算的整體架構(gòu)出發(fā)，逐步求精，去分析設(shè)計(jì)云存儲(chǔ)通用框架及其組成元素。該設(shè)計(jì)分析方法既需要對(duì)問(wèn)題域有清晰的了解，對(duì)行業(yè)未來(lái)一段時(shí)間內(nèi)的應(yīng)用場(chǎng)景有清晰的認(rèn)識(shí)，又需要能把控住求解域，對(duì)云存儲(chǔ)技術(shù)發(fā)展和應(yīng)用有深刻的認(rèn)識(shí)。

2)自底向上

自底向上方法則相反，針對(duì)實(shí)際需要解決的問(wèn)題，去做云存儲(chǔ)產(chǎn)品的技術(shù)選型，逐步搭建云存儲(chǔ)架構(gòu)框架，從具體到抽象。

云存儲(chǔ)架構(gòu)框架設(shè)計(jì)采用哪種方法是需要根據(jù)企業(yè)實(shí)際情況來(lái)定的，自頂向下方法需要更高的技術(shù)把控力，也需要更多的項(xiàng)目預(yù)算，落地前需要謀而后動(dòng)，充分測(cè)試；而自底向上的方法則追求快速應(yīng)用落地，但需要注意技術(shù)應(yīng)用的連貫性，也需要考慮架構(gòu)框架最終目標(biāo)。

而以我司實(shí)際情況來(lái)看，更適合采用自低向上的方法，根據(jù)各種業(yè)務(wù)應(yīng)用場(chǎng)景，去評(píng)估落地適合的云存儲(chǔ)方案，降低試錯(cuò)成本，在不斷的實(shí)踐過(guò)程中，去推進(jìn)云存儲(chǔ)架構(gòu)框架的演進(jìn)。

3.2 需求分析

3.2.1 應(yīng)用場(chǎng)景分析

不同行業(yè)、業(yè)務(wù)場(chǎng)景往往決定了云存儲(chǔ)不同的應(yīng)用場(chǎng)景，傳統(tǒng)行業(yè)和互聯(lián)網(wǎng)行業(yè)之間往往也有著明顯差異：

核心業(yè)務(wù)應(yīng)用場(chǎng)景： 傳統(tǒng)行業(yè)核心業(yè)務(wù)邏輯的變化不頻繁，核心系統(tǒng)的業(yè)務(wù)量增長(zhǎng)是規(guī)律的，可預(yù)估的，系統(tǒng)架構(gòu)穩(wěn)定；而互聯(lián)網(wǎng)行業(yè)來(lái)說(shuō)，業(yè)務(wù)系統(tǒng)追求敏捷迭代，業(yè)務(wù)量起伏變化較大，系統(tǒng)架構(gòu)從簡(jiǎn)單到復(fù)雜，要求彈性伸縮；

互聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用場(chǎng)景： 對(duì)于傳統(tǒng)行業(yè)來(lái)說(shuō)，互聯(lián)網(wǎng)是一種新的業(yè)務(wù)拓展渠道，是業(yè)務(wù)轉(zhuǎn)型的方向，需要逐步試點(diǎn)開放的；

非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景： 非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景也有很大差異，在部分場(chǎng)景下，非結(jié)構(gòu)化數(shù)據(jù)多是系統(tǒng)產(chǎn)生或收集的臨時(shí)數(shù)據(jù)，一次寫入多次讀取，要求 IO 性能穩(wěn)定，如個(gè)人網(wǎng)盤場(chǎng)景；另外一些場(chǎng)景下，非結(jié)構(gòu)化數(shù)據(jù)要求長(zhǎng)期存放，一次寫入很少讀取，逐漸成為冷數(shù)據(jù)，典型的如銀行保險(xiǎn)業(yè)務(wù)雙錄場(chǎng)景；

數(shù)據(jù)災(zāi)備與安全： 無(wú)論是傳統(tǒng)行業(yè)還是互聯(lián)網(wǎng)行業(yè)，都需要考慮業(yè)務(wù)連續(xù)性需求，建立數(shù)據(jù)災(zāi)備體系和敏感數(shù)據(jù)保護(hù)方案。而金融行業(yè)還有著更加嚴(yán)格的國(guó)家法律法規(guī)和金融監(jiān)管部門要求，業(yè)務(wù)系統(tǒng)的 RTO 、 RPO 要求更加明確，重要、敏感數(shù)據(jù)需要安全可控，一般會(huì)審慎選擇云存儲(chǔ)的部署模式。

3.2.2 數(shù)據(jù)存儲(chǔ)需求

• 部署模式

敏感數(shù)據(jù)情況決定了云存儲(chǔ)的部署模式，對(duì)于涉及敏感數(shù)據(jù)較多的系統(tǒng)，一般采用私有部署模式；對(duì)于非敏感數(shù)據(jù)，云存儲(chǔ)的成本往往是一個(gè)是重要的考慮點(diǎn)，公有云部署除了考慮數(shù)據(jù)存儲(chǔ)費(fèi)用外，也還需考慮存儲(chǔ)流量費(fèi)用。

綜合考慮我司的業(yè)務(wù)應(yīng)用場(chǎng)景，云存儲(chǔ)排除了公有云模式，而是采用了私有部署模式。

• 存儲(chǔ)訪問(wèn)接口

存儲(chǔ)訪問(wèn)接口對(duì)應(yīng)的是云存儲(chǔ)的功能需求，對(duì)于我司來(lái)說(shuō)，包括塊存儲(chǔ)、 NAS 存儲(chǔ)接口和對(duì)象存儲(chǔ) S3 接口。塊存儲(chǔ)對(duì)應(yīng)于云服務(wù)器硬盤需求， NAS 存儲(chǔ)對(duì)應(yīng)于多個(gè)云服務(wù)器間的文件共享需求，對(duì)象存儲(chǔ) S3 接口對(duì)應(yīng)于互聯(lián)網(wǎng)類業(yè)務(wù)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和冷數(shù)據(jù)歸檔需求。

• 數(shù)據(jù)存儲(chǔ)分級(jí)

數(shù)據(jù)存儲(chǔ)分級(jí)可以在滿足不同業(yè)務(wù)系統(tǒng)存儲(chǔ)需求的基礎(chǔ)上，降低整體云存儲(chǔ)成本，結(jié)合我司業(yè)務(wù)情況分為：a). 核心業(yè)務(wù)類型系統(tǒng)及其數(shù)據(jù)庫(kù)，需要最高的存儲(chǔ)性能和可靠性；b). 其他輕量級(jí)數(shù)據(jù)庫(kù)，需要較高的存儲(chǔ)性能和可靠性；c). 互聯(lián)網(wǎng)類新業(yè)務(wù)和其他非關(guān)鍵類應(yīng)用，需要一定的存儲(chǔ)性能和較好的擴(kuò)展性；d). 非結(jié)構(gòu)化類型業(yè)務(wù)數(shù)據(jù)，需要較高的擴(kuò)展性，存儲(chǔ)性能要求不高；e). 數(shù)據(jù)備份與歸檔，數(shù)據(jù)存儲(chǔ)冷熱分層；f). 開發(fā)測(cè)試系統(tǒng)，利舊存儲(chǔ)。

3.3 云存儲(chǔ)總體架構(gòu)

從行業(yè)發(fā)展趨勢(shì)和企業(yè) IT 戰(zhàn)略轉(zhuǎn)型方向看，我司傳統(tǒng)業(yè)務(wù)依然處于基礎(chǔ)性的重要地位，這也決定了集中式存儲(chǔ)架構(gòu)將與分布式存儲(chǔ)架構(gòu)長(zhǎng)期并存的狀態(tài)。分布式存儲(chǔ)架構(gòu)主要用于新的線上業(yè)務(wù)場(chǎng)景，集中式 SAN 存儲(chǔ)和 NAS 存儲(chǔ)在傳統(tǒng)業(yè)務(wù)場(chǎng)景依然占據(jù)重要地位。

最終確立了統(tǒng)一納管異構(gòu)存儲(chǔ)資源，提供多種類型數(shù)據(jù)接口、面向海量數(shù)據(jù)場(chǎng)景的云存儲(chǔ)架構(gòu)，如圖 7 所示 . 可通過(guò)引入超融合架構(gòu)來(lái)構(gòu)建私有云 IaaS 平臺(tái)，實(shí)現(xiàn) IT 基礎(chǔ)架構(gòu)云化轉(zhuǎn)型，分別構(gòu)建開發(fā)測(cè)試、互聯(lián)網(wǎng)類新業(yè)務(wù)應(yīng)用等超融合集群。而海量的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)需要通過(guò)分布式對(duì)象存儲(chǔ)來(lái)構(gòu)建可彈性擴(kuò)容的數(shù)據(jù)湖，采用基于策略的數(shù)據(jù)全生命周期管理，提供熱、溫、冷不同資源池，實(shí)現(xiàn)數(shù)據(jù)在不同資源池以及云平臺(tái)間的流動(dòng)和分層。

圖 7.云存儲(chǔ)架構(gòu)示意圖

3.4 架構(gòu)設(shè)計(jì)評(píng)估

云存儲(chǔ)架構(gòu)設(shè)計(jì)是否合理，需要從敏感點(diǎn)、權(quán)衡點(diǎn)以及架構(gòu)風(fēng)險(xiǎn)點(diǎn)這三個(gè)方面去評(píng)估：

• 敏感點(diǎn)

敏感點(diǎn)對(duì)應(yīng)于不同數(shù)據(jù)存儲(chǔ)的共有的一些特性，比如存儲(chǔ)的軟硬件成本、可靠性、存儲(chǔ) IO 性能、架構(gòu)復(fù)雜度、靈活擴(kuò)展能力、資源孤島、故障域隔離和可管理性等屬性；

• 權(quán)衡點(diǎn)

權(quán)衡點(diǎn)則是影響多個(gè)架構(gòu)質(zhì)量屬性的敏感點(diǎn)，需要架構(gòu)師評(píng)估取舍的部分。比如存儲(chǔ)架構(gòu)是集中式還是分布式?jīng)Q定了存儲(chǔ)的架構(gòu)復(fù)雜度和靈活擴(kuò)展能力；存儲(chǔ)的軟硬件成本也很大程度上決定了存儲(chǔ)的可靠性和性能；資源孤島雖然會(huì)造成資源浪費(fèi)，但合理規(guī)劃好，也是故障域隔離的前提。

• 風(fēng)險(xiǎn)點(diǎn)

對(duì)于架構(gòu)師來(lái)說(shuō)，最需要關(guān)注的往往是架構(gòu)中的風(fēng)險(xiǎn)點(diǎn)，是架構(gòu)設(shè)計(jì)成敗的關(guān)鍵。分布式存儲(chǔ)架構(gòu)存在著復(fù)雜度高、新技術(shù)引入風(fēng)險(xiǎn)以及版本迭代速度快等風(fēng)險(xiǎn)點(diǎn)；超融合架構(gòu)還面臨著擴(kuò)展性受限、資源孤島等風(fēng)險(xiǎn)；而傳統(tǒng)存儲(chǔ)架構(gòu)主要風(fēng)險(xiǎn)點(diǎn)在于難以應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)擴(kuò)展，成本較高，與新技術(shù)的適配度也不高。

對(duì)應(yīng)于我司的云存儲(chǔ)架構(gòu)設(shè)計(jì)，傳統(tǒng) SAN 存儲(chǔ)性能穩(wěn)定， IO 延時(shí)低，成本高，不易擴(kuò)展，但適合于核心業(yè)務(wù)場(chǎng)景；NAS 存儲(chǔ)性能不高，但易于使用和文件共享，成本也不高，適合于絕大多數(shù)文件共享訪問(wèn)場(chǎng)景；分布式對(duì)象存儲(chǔ)性能一般，架構(gòu)復(fù)雜度高，但可以靈活擴(kuò)展，支持海量數(shù)據(jù)存儲(chǔ)，成本低，適合于海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和互聯(lián)網(wǎng)業(yè)務(wù)場(chǎng)景；而超融合架構(gòu)可以很好地與計(jì)算資源融合，架構(gòu)簡(jiǎn)單，成本低，雖然有擴(kuò)展性受限和資源孤島問(wèn)題，但結(jié)合公司業(yè)務(wù)和計(jì)算資源配比建立不同超融合集群，可以做好數(shù)據(jù)存儲(chǔ)分級(jí)，隔離不同的故障域。

3.5 技術(shù)選型

按照云存儲(chǔ)架構(gòu)設(shè)計(jì)評(píng)估，我司還需要分別引入分布式對(duì)象存儲(chǔ)和超融合兩種不同硬件架構(gòu)的云存儲(chǔ)方案。結(jié)合云存儲(chǔ)底層存儲(chǔ)技術(shù)的分析，分布式對(duì)象存儲(chǔ)更適宜采用基于分布式鍵值存儲(chǔ)的產(chǎn)品，性能需求不高，擴(kuò)展性更強(qiáng)；超融合則傾向于基于分布式文件系統(tǒng)的產(chǎn)品，邏輯架構(gòu)更加清晰，并不追求超大規(guī)模部署，而小規(guī)模部署下性能更有優(yōu)勢(shì)。

對(duì)于傳統(tǒng)行業(yè)來(lái)說(shuō)，開源云存儲(chǔ)技術(shù)并不能拿來(lái)即用，是不適應(yīng)不同業(yè)務(wù)系統(tǒng)的存儲(chǔ)需求的。要在云存儲(chǔ)這樣的基礎(chǔ)架構(gòu)領(lǐng)域做到技術(shù)自主是非常困難的，也缺乏相應(yīng)的技術(shù)積累、人才隊(duì)伍建設(shè)和研發(fā)資源投入。因此大多數(shù)傳統(tǒng)企業(yè)都需要選擇不同廠商的云存儲(chǔ)產(chǎn)品，做技術(shù)選型也就是在篩選不同廠商產(chǎn)品。

不同廠商的分布式存儲(chǔ)都會(huì)有其清晰的市場(chǎng)定位和優(yōu)勢(shì)場(chǎng)景，其中廠商對(duì)于存儲(chǔ)產(chǎn)品核心技術(shù)的把控能力是最重要的，其次是廠商的售后服務(wù)水平，當(dāng)然還要看產(chǎn)品的定價(jià)水平。對(duì)于我司這樣的中小企業(yè)來(lái)說(shuō)，更傾向于跟隨策略，篩選市場(chǎng)份額前列、有大規(guī)模的同行業(yè)落地案例的廠商產(chǎn)品。

在篩選出了廠商產(chǎn)品之后，技術(shù)層面還需要做好 POC 測(cè)試，來(lái)驗(yàn)證技術(shù)選型。對(duì)于云存儲(chǔ)產(chǎn)品來(lái)說(shuō)，選型測(cè)試還需要考慮以下六點(diǎn)：

• 業(yè)務(wù)應(yīng)用場(chǎng)景

業(yè)務(wù)類型決定了數(shù)據(jù)存儲(chǔ)分級(jí)標(biāo)準(zhǔn)，數(shù)據(jù)類型決定了使用存儲(chǔ)連接方式以及云存儲(chǔ)產(chǎn)品類型等功能需求，數(shù)據(jù)容量則決定了云存儲(chǔ)的擴(kuò)展性能力要求；

• 兼容性

對(duì)于云存儲(chǔ)產(chǎn)品來(lái)說(shuō)，軟硬件的兼容性是一個(gè)重要指標(biāo)，包括通用服務(wù)器選型、設(shè)備微碼驅(qū)動(dòng)版本、操作系統(tǒng)版本、不同虛擬化平臺(tái)等的兼容性；

• IO性能

IO 性能也是云存儲(chǔ)是產(chǎn)品是否適配業(yè)務(wù)應(yīng)用場(chǎng)景的另一個(gè)重要考量點(diǎn)，相比于通用的存儲(chǔ)性能指標(biāo)數(shù)據(jù)，業(yè)務(wù)場(chǎng)景下的測(cè)試更有說(shuō)服力；

• 高可靠性

通過(guò)開展破壞性測(cè)試，來(lái)驗(yàn)證云存儲(chǔ)產(chǎn)品的高可靠性；

• 易管理性

分布式架構(gòu)復(fù)雜度高，云存儲(chǔ)的易管理性關(guān)系到運(yùn)維人員是否能很好地管控云存儲(chǔ)；

• 數(shù)據(jù)保護(hù)和容災(zāi)

數(shù)據(jù)保護(hù)和容災(zāi)會(huì)增加成本，但依然需要考慮數(shù)據(jù)多維度的安全。