云存儲架構(gòu)框架設(shè)計如何實現(xiàn)以應(yīng)用為基礎(chǔ)的服務(wù)模式?
引言
云原生的發(fā)展帶動了軟件定義,由此帶來的計算、網(wǎng)絡(luò)、存儲等架構(gòu)均向軟件定義轉(zhuǎn)變,特別是金融行業(yè)的發(fā)展越來越依賴IT架構(gòu)和業(yè)務(wù)系統(tǒng)支撐,在銀行業(yè)尋求系統(tǒng)變革的時代,存儲架構(gòu)的變革如何適應(yīng)以應(yīng)用為基礎(chǔ)的服務(wù)模式,是目前絕大多數(shù)銀行在探討和嘗試的方向,傳統(tǒng)存儲和云存儲如何搭配使用,云存儲如何做到適應(yīng)數(shù)據(jù)結(jié)構(gòu)的要求,怎樣利用數(shù)據(jù)的多樣性等特點,設(shè)計出適用業(yè)務(wù)的存儲架構(gòu)及存儲模式,軟件定義存儲如何做好穩(wěn)定性的高要求,如何利用軟件定義提高投入產(chǎn)出比,下面我們來展開討論下“云存儲架構(gòu)框架設(shè)計如何實現(xiàn)以應(yīng)用為基礎(chǔ)的服務(wù)模式”。
1.銀行應(yīng)用模式轉(zhuǎn)型
隨著互聯(lián)網(wǎng)的發(fā)展,帶動了金融行業(yè)的業(yè)務(wù)變革,銀行業(yè)從傳統(tǒng)的柜臺模式向遠程化、線上化轉(zhuǎn)變,網(wǎng)上銀行、手機銀行等互聯(lián)網(wǎng)應(yīng)用相繼出現(xiàn),越來越多的客戶選擇通過線上辦理業(yè)務(wù),和傳統(tǒng)模式到銀行柜臺辦理業(yè)務(wù)相比,新應(yīng)用極大的提高了業(yè)務(wù)辦理效率,致使客戶越來越青睞通過線上辦理銀行業(yè)務(wù)。
為滿足客戶對新應(yīng)用、新業(yè)務(wù)的訴求,同時為了精準獲客,要求業(yè)務(wù)系統(tǒng)實現(xiàn)快速迭代開發(fā)、更新升級,及時響應(yīng)業(yè)務(wù)需求,加速業(yè)務(wù)創(chuàng)新,各銀行均開始調(diào)整傳統(tǒng)IT系統(tǒng),敦促業(yè)務(wù)著力以客戶為中心、數(shù)據(jù)為基礎(chǔ),利用新技術(shù)對銀行客戶服務(wù)和業(yè)務(wù)流程進行數(shù)字化再造,提供全渠道、無縫式、個性化的產(chǎn)品和服務(wù),全面實現(xiàn)業(yè)務(wù)處理的數(shù)據(jù)化、自動化、智能化。
銀行數(shù)據(jù)化改變了原來金融數(shù)據(jù)的“狹窄”數(shù)據(jù)體系,提高數(shù)據(jù)獲取能力,獲取以客戶為中心的完整數(shù)據(jù),包括客戶行為和金融業(yè)務(wù)數(shù)據(jù),實現(xiàn)大數(shù)據(jù)分析與管理,體系化、標準化的數(shù)據(jù)結(jié)構(gòu)為銀行IT追求的下一階段目標,承載數(shù)據(jù)的存儲架構(gòu)也變得尤為重要,各家銀行均在極力尋找新的存儲框架,實現(xiàn)滿足以應(yīng)用為基礎(chǔ)的服務(wù)模式,提供更具個性化、精準化、智能化的服務(wù)模式,實現(xiàn)與客戶交互、產(chǎn)品、服務(wù)的感知性和便捷性,降低銀行經(jīng)營成本。
2.應(yīng)用轉(zhuǎn)型對數(shù)據(jù)結(jié)構(gòu)的要求
從業(yè)務(wù)的環(huán)境變化角度而言,新業(yè)務(wù)主要是互聯(lián)網(wǎng)交易,對數(shù)據(jù)結(jié)構(gòu)而言,要求滿足單數(shù)據(jù)結(jié)構(gòu)復(fù)雜,數(shù)據(jù)庫實例明顯變大,傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)庫很難滿足新業(yè)務(wù)對數(shù)據(jù)結(jié)構(gòu)的要求,導(dǎo)致新業(yè)務(wù)場景下,銀行科技部門更傾向于將傳統(tǒng)數(shù)據(jù)分散化、靈活化,開始對傳統(tǒng)數(shù)據(jù)庫進行分庫分表的研究,甚至對存儲系統(tǒng)也開始進行云化、服務(wù)化的研究。
所以從技術(shù)架構(gòu)上來看,基于云化、服務(wù)化的分布式存儲與兩地三中心的容災(zāi)能力也是銀行的研究重點。為滿足對應(yīng)用的訴求,新的數(shù)據(jù)結(jié)構(gòu)必須具備支持如下技術(shù)能力:
1.支持微服務(wù)分布式應(yīng)用架構(gòu):核心系統(tǒng)需要能夠敏捷快速地支撐產(chǎn)品創(chuàng)新,支撐場景化和平臺化的金融業(yè)務(wù),而C端客戶,互聯(lián)網(wǎng)客戶的需求變化速度遠高于傳統(tǒng)模式,以微服務(wù)的方式通過領(lǐng)域模型的拆分與劃分,進行快速的微服務(wù)迭代方式研發(fā),并通過可支持灰度與安全可控發(fā)布的云化模式上線,才能達到這樣敏捷的程度。
2.支持分布式事務(wù)處理:當核心應(yīng)用基于分布式改造之后,對于余額等待狀態(tài)需要強一致性保障的操作而言,分布式事務(wù)的處理框架與保障機制會變得非常重要。同時在互聯(lián)網(wǎng)高頻特征下,在確保一致性的同時保證高性能,會對整個事務(wù)處理提出非常高的要求和挑戰(zhàn)。分布式事務(wù)處理是核心改造中的一個關(guān)鍵性問題。
3.支持分布式數(shù)據(jù)處理:在解決了核心業(yè)務(wù)應(yīng)用能夠敏捷進行響應(yīng)的挑戰(zhàn)之后,對于性能和擴展能力的要求也是在核心銀行系統(tǒng)的研發(fā)過程中碰到的一個重要挑戰(zhàn),尤其對于基于互聯(lián)網(wǎng)的工作負載而言,需解決底層數(shù)據(jù)的高效和安全性。
3 IT系統(tǒng)存儲的選擇
3.1 集中式存儲
集中式存儲是各銀行常見的存儲設(shè)備,在銀行應(yīng)用中,主要有SAN及NAS存儲、融合存儲、混閃、全閃等幾種存儲形態(tài),磁盤的發(fā)展經(jīng)歷了機械盤、SSD固態(tài)硬盤、NVMe接口全閃存等磁盤類型;隨著磁盤及存儲性能的穩(wěn)步提升,延時和高可用性都得到了進一步的提升。銀行的主要應(yīng)用場景也集中在核心業(yè)務(wù)、穩(wěn)態(tài)系統(tǒng)、數(shù)據(jù)庫、虛擬化等。集中存儲功能完善,穩(wěn)定性好,運維簡單,監(jiān)控、運維體系健全,技術(shù)成熟,可選擇的范圍也很廣,從中低端到高端產(chǎn)品齊全。不足是:單體容量有限,可擴展性較差。
3.2 云存儲
在銀行數(shù)字化轉(zhuǎn)型的背景下,傳統(tǒng)的存儲模式,已經(jīng)不適應(yīng)當下金融業(yè)務(wù)所有需求。滿足各類場景下存儲的“軟能力”變得尤為重要。隨著各銀行對非結(jié)構(gòu)化數(shù)據(jù)、海量文件的處理,分布式存儲也隨之出現(xiàn)了塊存儲、文件存儲、對象存儲等類型。
分布式云存儲,使用多臺PC服務(wù)器,構(gòu)造一個軟件定義的存儲,其特點非常敏捷,資源可彈性部署、按需獲取,支撐新興業(yè)務(wù)快速上線;面對數(shù)據(jù)中心結(jié)構(gòu)化、非結(jié)構(gòu)化等復(fù)雜的數(shù)據(jù)類型,能提供豐富的訪問接入支持;可快速海量擴展性能與容量,擴展方式非常簡單,供極致性能,滿足并行數(shù)據(jù)處理需求;在滿足那么多功能與性能需求的同時,還能降低TCO。
3.3 云存儲和集中式存儲區(qū)別
在選擇上,如果系統(tǒng)對延時要求高,對性能的穩(wěn)定性要求高,那么最好的選擇是集中式存儲。如果系統(tǒng)對IO吞吐量的要求高,而對性能要求沒那么高,云存儲是較高的選擇。對于海量數(shù)據(jù)的存儲,分布式存儲也是是更好的選擇。
在云計算環(huán)境、虛擬化平臺所用的存儲,如果虛擬機本身沒有承載高IO性能要求的應(yīng)用(如數(shù)據(jù)庫應(yīng)用),那么分布式存儲是較好的選擇,服務(wù)器的擴容和存儲的擴容可以根據(jù)實際存儲的用量同步進行。未來隨著分布式技術(shù)的發(fā)展,伴隨著云計算技術(shù)的發(fā)展,分布式存儲也將逐步在一段時間內(nèi)成為主流。
對比表:
4.分布式云存儲的架構(gòu)設(shè)計
以華為分布式云存儲為例。分布式云存儲架構(gòu)如下所示,最右側(cè)對其按照邏輯分區(qū)抽象的分為節(jié)點池、硬盤池、資源池、存儲服務(wù)層和接入層5部分,其中節(jié)點池為底層的分布式服務(wù)器設(shè)備;硬盤池是對節(jié)點池的存儲硬盤進行抽象,對市面上硬盤產(chǎn)品進行相應(yīng)的歸類,大致列包括 SATA盤、SAS 盤、SSD盤和 NVMe SSD盤這 4種類型的硬盤存儲;其上對由硬盤存儲組成的服務(wù)類型歸為塊存儲、文件存儲和對象存儲3種存儲資源池類型;而存儲服務(wù)層為分布式存儲本身具備的一些能力和特性,如多副本、糾刪碼、快照、克隆、遠程復(fù)制、Qos、訪問控制及故障域等;接入層則表示分布式存儲具備的標準化接口能力,如 iSCSI、NFS、CIFFS、S3 等業(yè)內(nèi)標準的接口。左側(cè)的管理平臺則提供易管理、易操作的標準化界面,實現(xiàn)一體化的運維、管理和維護,同時也提供狀態(tài)監(jiān)控、性能監(jiān)控及故障的告警顯示等。
分布式云存儲通過系統(tǒng)軟件將標準硬件集群的本地存儲資源組織起來構(gòu)建全分布式存儲池,實現(xiàn)一套存儲系統(tǒng)向上層應(yīng)用提供塊存儲、文件存儲和對象存儲三種存儲服務(wù)。