?在過(guò)去的20多年時(shí)間里，企業(yè)數(shù)據(jù)中心的IT架構(gòu)經(jīng)歷了封閉式、開放式和混合式三個(gè)發(fā)展階段。現(xiàn)在的混合式架構(gòu)主要指“穩(wěn)態(tài)”和“敏態(tài)”相結(jié)合的混合雙模式IT架構(gòu)。對(duì)于金融行業(yè)，尤其是銀行客戶而言，“穩(wěn)健”依然是整個(gè)企業(yè)平穩(wěn)發(fā)展的基石，任何沒(méi)有建立在穩(wěn)定基礎(chǔ)上的行業(yè)創(chuàng)新，都像是無(wú)根的浮萍。另一方面，互聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)的創(chuàng)新性讓很多金融機(jī)構(gòu)有機(jī)會(huì)通過(guò)差異化業(yè)務(wù)進(jìn)行創(chuàng)新，并獲得更多的用戶的青睞。因此“穩(wěn)態(tài)”和“敏態(tài)”的IT架構(gòu)成為大多數(shù)銀行客戶的選擇。

數(shù)據(jù)是企業(yè)最重要的核心資產(chǎn)，數(shù)據(jù)的存儲(chǔ)任何時(shí)候都是用戶最為關(guān)心的。在“穩(wěn)態(tài)”IT架構(gòu)中，基于SAN架構(gòu)的集中式存儲(chǔ)憑借其高吞吐低延時(shí)的優(yōu)越性能以及突出的穩(wěn)定性和可靠性備受用戶青睞。在“敏態(tài)”架構(gòu)中，分布式存儲(chǔ)憑借其良好的擴(kuò)展性成為主流存儲(chǔ)選擇。那么集中式存儲(chǔ)在以云技術(shù)為基礎(chǔ)的“敏態(tài)”架構(gòu)下是否依然有市場(chǎng)呢？本文將進(jìn)行這一話題的談?wù)摗?/p>

一、集中式和分布式存儲(chǔ)的區(qū)別

集中式存儲(chǔ)和分布式存儲(chǔ)特點(diǎn)顯著分明，集中式存儲(chǔ)具有穩(wěn)定可靠性好，數(shù)據(jù)服務(wù)豐富，有良好的數(shù)據(jù)一致性及存儲(chǔ)容災(zāi)解決方案，接口標(biāo)準(zhǔn)兼容性廣泛，性能強(qiáng)等優(yōu)點(diǎn)。同時(shí)集中式存儲(chǔ)存在著擴(kuò)展性等方面的限制。當(dāng)然隨著技術(shù)的發(fā)展，集中式存儲(chǔ)目前處于第五代存儲(chǔ)階段，存儲(chǔ)性能和時(shí)延提升到了相當(dāng)高的水平，同時(shí)在擴(kuò)展性上主流品牌產(chǎn)品均支持橫向集群擴(kuò)展以應(yīng)對(duì)單一的大規(guī)模應(yīng)用場(chǎng)景。

分布式架構(gòu)的存儲(chǔ)，擴(kuò)展集群規(guī)模大，硬件成本低廉，另一方面也存在著單節(jié)點(diǎn)性能低，延時(shí)高 , 數(shù)據(jù)弱一致性，標(biāo)準(zhǔn)不統(tǒng)一且非常依賴網(wǎng)絡(luò)環(huán)境和帶寬，如果網(wǎng)絡(luò)發(fā)生抖動(dòng)或者故障，都可能會(huì)影響分布式存儲(chǔ)系統(tǒng)運(yùn)行。

分布式存儲(chǔ)和集中式存儲(chǔ)的使用主要區(qū)分可在業(yè)務(wù)類型上，分布式存儲(chǔ)主要的特點(diǎn)在擴(kuò)展性和高并發(fā)下的聚合帶寬上，集中式存儲(chǔ)主要特點(diǎn)在IO處理能力和延遲上，所以需要根據(jù)自身的業(yè)務(wù)特性對(duì)存儲(chǔ)進(jìn)行選擇。數(shù)據(jù)增長(zhǎng)快、復(fù)用要求高、架構(gòu)要求靈活擴(kuò)展的采用分布式存儲(chǔ)。業(yè)務(wù)重要性高、數(shù)據(jù)規(guī)模穩(wěn)定、需求場(chǎng)景相對(duì)單一，對(duì)IO時(shí)延要求高的業(yè)務(wù)采用集中式存儲(chǔ)。  

二、數(shù)據(jù)中心建設(shè)模式的變化

傳統(tǒng)數(shù)據(jù)中心建設(shè)方式采用三層架構(gòu)部署，存儲(chǔ)架構(gòu)為SAN，前端應(yīng)用環(huán)境主要包括兩類：服務(wù)器虛擬化和數(shù)據(jù)庫(kù)應(yīng)用。這兩類主要應(yīng)用對(duì)存儲(chǔ)的要求為低延遲、高并發(fā)，對(duì)存儲(chǔ)性能（IOPS和Throughout）和存儲(chǔ)可靠性要求極高。

隨著現(xiàn)代應(yīng)用架構(gòu)（電子商務(wù)、云原生、微服務(wù)、分布式應(yīng)用、DevOps）的流行，用戶開始將越來(lái)越多的傳統(tǒng)應(yīng)用進(jìn)行改造和重構(gòu)，遷移到云端部署。相應(yīng)地，數(shù)據(jù)存儲(chǔ)采用云分層存儲(chǔ)技術(shù)，或直接采用云存儲(chǔ)。數(shù)據(jù)中心建設(shè)模式的這種變化也可以成為云化。

那么在云化環(huán)境下，在云平臺(tái)的基礎(chǔ)架構(gòu)層該使用什么樣的存儲(chǔ)技術(shù)呢？目前國(guó)內(nèi)的主流云平臺(tái)產(chǎn)品大都是基于OpenStack開發(fā)的，通常會(huì)采用基于Ceph開發(fā)的分布式存儲(chǔ)作為云平臺(tái)的主要后端存儲(chǔ)。

Ceph是一種為優(yōu)秀的性能、可靠性和可擴(kuò)展性而設(shè)計(jì)的統(tǒng)一的、分布式文件系統(tǒng)。性能主要是通過(guò)放棄傳統(tǒng)集中式存儲(chǔ)元數(shù)據(jù)尋址的方案，采用CRUSH算法，數(shù)據(jù)分布均衡，提高并行度?？煽啃灾饕ㄟ^(guò)設(shè)置多副本，支持故障域隔離等技術(shù)實(shí)現(xiàn)。高可擴(kuò)展性主要體現(xiàn)在架構(gòu)去中心化，擴(kuò)展靈活。Ceph 的統(tǒng)一體現(xiàn)在可以提供文件系統(tǒng)、塊存儲(chǔ)和對(duì)象存儲(chǔ)三種存儲(chǔ)接口。

如今商用市場(chǎng)上的OpenStack+Ceph的配合打得很好，造成了大家都認(rèn)為云平臺(tái)就該掛分布式存儲(chǔ)。其實(shí)不然，云平臺(tái)也可以使用集中式存儲(chǔ)，而且在某些特定場(chǎng)景下集中式存儲(chǔ)反而更有優(yōu)勢(shì)。

三、集中式存儲(chǔ)對(duì)接云平臺(tái)的可行性

作為目前目前最流行的IaaS框架，OpenStack 在Folsom 版本開始，將之前在Nova 中的部分持久性塊存儲(chǔ)功能分離出來(lái)，獨(dú)立為新的組件Cinder。Cinder是OpenStack中提供存儲(chǔ)服務(wù)的API框架，用來(lái)為后端不同的存儲(chǔ)結(jié)構(gòu)提供統(tǒng)一的接口使其與OpenStack進(jìn)行整合。不同的塊設(shè)備服務(wù)廠商在Cinder中實(shí)現(xiàn)其驅(qū)動(dòng)支持。后端的存儲(chǔ)可以是DAS、NAS、SAN、對(duì)象存儲(chǔ)或者分布式文件系統(tǒng)。由于在云計(jì)算領(lǐng)域OpenStack受歡迎度非常高，因此眾多存儲(chǔ)廠商如NetAPP、IBM、EMC和眾多開源快存儲(chǔ)系統(tǒng)均提供了對(duì)Cinder的支持，這也為在云平臺(tái)基礎(chǔ)架構(gòu)層使用SAN存儲(chǔ)提供了技術(shù)基礎(chǔ)。那么實(shí)際部署時(shí)需要提前考慮哪些因素呢？

當(dāng)用戶規(guī)劃是否可以在云平臺(tái)下使用集中存儲(chǔ)時(shí)，需要首先考慮兩個(gè)方面。

第一，自己使用的云平臺(tái)是不是基于OpenStack開發(fā)的，如果不是，那可能都沒(méi)有SAN的接口。國(guó)內(nèi)的主流云平臺(tái)產(chǎn)品大都是基于OpenStack開發(fā)的，但也存在少量的自研云平臺(tái)。大多數(shù)國(guó)內(nèi)供應(yīng)商都是基于OpenStack架構(gòu)開發(fā)的產(chǎn)品。所以，我們所說(shuō)的集中存儲(chǔ)和云平臺(tái)對(duì)接，大都會(huì)演變?yōu)楹蚈penStack的某個(gè)版本進(jìn)行對(duì)接。

第二，基于Openstack的云平臺(tái)通過(guò)使用Cinder來(lái)對(duì)接FC-SAN集中式存儲(chǔ)，Cinder只提供框架，需要通過(guò)調(diào)用FC-SAN設(shè)備廠商提供的Driver來(lái)使用和管理。這方面需要云平臺(tái)廠商配合。如果確實(shí)計(jì)劃使用集中存儲(chǔ)作為云平臺(tái)底層存儲(chǔ)池但又遇到云平臺(tái)廠商不支持和該品牌或者型號(hào)存儲(chǔ)驅(qū)動(dòng)對(duì)接時(shí)，可以采用在云平臺(tái)的存儲(chǔ)節(jié)點(diǎn)掛載FC盤，然后再以lvm、filesystem或ceph osd的方式來(lái)對(duì)接云平臺(tái)Cinder接口，但這樣有著不可避免的性能損耗，并非最佳選擇。目前國(guó)內(nèi)大部分基于OpenStack開發(fā)的云平臺(tái)產(chǎn)品中已經(jīng)集成主流存儲(chǔ)廠家的FC驅(qū)動(dòng)，可以讓Cinder與存儲(chǔ)底層對(duì)接，得到更高和更穩(wěn)定的性能表現(xiàn)。

四、集中式存儲(chǔ)如何在云環(huán)境下部署

上文提到由于國(guó)內(nèi)的主流云平臺(tái)產(chǎn)品大都是基于OpenStack開發(fā)的，所以我們所討論集中存儲(chǔ)和云平臺(tái)的對(duì)接，其實(shí)演變?yōu)楹蚈penStack的某個(gè)版本進(jìn)行對(duì)接。在OpenStack部署集中存儲(chǔ)主要有兩種部署組網(wǎng)方式，分別為IP-SAN和FC-SAN。

1.IP-SAN?

顧名思義，在云平臺(tái)底座通過(guò)IP-SAN方式部署集中存儲(chǔ)也就是云平臺(tái)的存儲(chǔ)節(jié)點(diǎn)通過(guò)IP網(wǎng)絡(luò)連接集中存儲(chǔ)。架構(gòu)圖如下：

由于OpenStack架構(gòu)是運(yùn)行在IP組網(wǎng)中的，因此這種方式更接近于客戶希望點(diǎn)。當(dāng)然目前都建議使用10Gb甚至更高速率的以太網(wǎng)。使用IP-SAN方式的優(yōu)點(diǎn)在于無(wú)需在客戶網(wǎng)絡(luò)環(huán)境中部署兩套網(wǎng)絡(luò)，網(wǎng)絡(luò)成本更低。另一方面由于存儲(chǔ)網(wǎng)絡(luò)是基于IP網(wǎng)絡(luò)，無(wú)需協(xié)議轉(zhuǎn)換，節(jié)省性能。同時(shí)可以借助集中存儲(chǔ)成熟的雙活和復(fù)制的功能實(shí)現(xiàn)兩地三中心高可用架構(gòu)。IP可達(dá)，災(zāi)備可達(dá)。

2.FC-SAN?

由于集中存儲(chǔ)的使用場(chǎng)景通常是FC方式，在云平臺(tái)中使用FC-SAN方式接入集中存儲(chǔ)是集中存儲(chǔ)廠商更希望看到的。

架構(gòu)圖如下：

使用這種方式接入的優(yōu)點(diǎn)是FC-SAN的傳輸穩(wěn)定性和安全性高于IP-SAN。缺點(diǎn)則有兩個(gè)方面，一是除IP網(wǎng)絡(luò)之外，必須再部署一套基于FC協(xié)議的SAN網(wǎng)絡(luò)，增加了網(wǎng)絡(luò)管理的復(fù)雜度。二是SAN網(wǎng)絡(luò)的部署成本較高，服務(wù)器的HBA卡和SAN交換機(jī)價(jià)格不菲，尤其是在集群規(guī)模較大的云平臺(tái)環(huán)境中，F(xiàn)C的開銷可能會(huì)相當(dāng)高。

兩種部署方式特點(diǎn)鮮明，IP-SAN方式更適合規(guī)模較大、業(yè)務(wù)特點(diǎn)小而多的云平臺(tái)場(chǎng)景，F(xiàn)C-SAN則更適合云規(guī)模相對(duì)不大，但云上業(yè)務(wù)重要性較高的業(yè)務(wù)場(chǎng)景。

五、集中式存儲(chǔ)在云環(huán)境下特定場(chǎng)景的優(yōu)勢(shì)

現(xiàn)代數(shù)據(jù)中心的建設(shè)模式不論如何發(fā)展，無(wú)論是傳統(tǒng)集中式架構(gòu)還是云化等分布式架構(gòu)，用戶的數(shù)據(jù)始終是最重要的核心資產(chǎn)，數(shù)據(jù)安全和存儲(chǔ)系統(tǒng)的可靠性始終是用戶最為關(guān)心的。在這方面集中式存儲(chǔ)憑借其特性占有先天優(yōu)勢(shì)，主要體現(xiàn)在以下幾個(gè)方面。

1.便于遷移，實(shí)現(xiàn)利舊?

如果用戶原來(lái)的數(shù)據(jù)就在集中存儲(chǔ)里，上云后數(shù)據(jù)依然存儲(chǔ)在原來(lái)的存儲(chǔ)里，可避免數(shù)據(jù)遷移的麻煩和遷移過(guò)程中數(shù)據(jù)丟失的風(fēng)險(xiǎn)。另一方面也降低再次采購(gòu)存儲(chǔ)的成本，保護(hù)了用戶的原有投資。

2.性能可期、擴(kuò)展可靠?

SAN存儲(chǔ)性能優(yōu)異，表現(xiàn)穩(wěn)定，數(shù)據(jù)訪問(wèn)有可靠性、實(shí)時(shí)性、一致性保證。同時(shí)，現(xiàn)在主流品牌SAN存儲(chǔ)產(chǎn)品均支持橫向集群擴(kuò)展，可實(shí)現(xiàn)控制器節(jié)點(diǎn)和磁盤柜靈活在線擴(kuò)容，存儲(chǔ)性能和存儲(chǔ)容量可獨(dú)立按需線性增長(zhǎng)。

3.云可變、數(shù)據(jù)安全?

作為用戶的核心資產(chǎn)數(shù)據(jù)，如果存放到某云廠商的云平臺(tái)中，其業(yè)務(wù)今后就被其徹底綁定，后期維護(hù)、業(yè)務(wù)調(diào)整、擴(kuò)容及災(zāi)備建設(shè)等，都只能依托這家云廠商來(lái)運(yùn)作。因此用戶在規(guī)劃云平臺(tái)架構(gòu)時(shí)，可以將核心資產(chǎn)數(shù)據(jù)與業(yè)務(wù)分開規(guī)劃。數(shù)據(jù)存儲(chǔ)在開放、標(biāo)準(zhǔn)的SAN存儲(chǔ)中，只有業(yè)務(wù)上云。核心數(shù)據(jù)資產(chǎn)解除與云平臺(tái)廠家之間的綁定關(guān)系。

4.數(shù)據(jù)可靠性管理簡(jiǎn)單高效?

業(yè)務(wù)上云后，放在存儲(chǔ)中的數(shù)據(jù)根據(jù)用戶對(duì)數(shù)據(jù)可靠性、實(shí)時(shí)性要求，可以做雙活、全閃、快照、復(fù)制、備份等專業(yè)存儲(chǔ)的特色功能，比在云上實(shí)施簡(jiǎn)單、靈活，效率高，數(shù)據(jù)恢復(fù)時(shí)間受控，后期建設(shè)及維護(hù)成本也低。

作者：康建國(guó)，某農(nóng)信存儲(chǔ)工程師。目前主要負(fù)責(zé)小型機(jī)、存儲(chǔ)、數(shù)據(jù)庫(kù)等方面的運(yùn)維及管理工作。銀行從業(yè)13年，參加過(guò)省農(nóng)信核心系統(tǒng)架構(gòu)升級(jí)、主機(jī)下移、開放平臺(tái)存儲(chǔ)架構(gòu)優(yōu)化等項(xiàng)目，對(duì)存儲(chǔ)雙活、數(shù)據(jù)庫(kù)高可用等方面有著深入的見解。