[[273746]]

1 引言

近年來(lái)，隨著國(guó)際信息安全形式的日益嚴(yán)峻，國(guó)家信息安全策略逐步深入。因此，一行兩會(huì)連續(xù)針對(duì)金融業(yè)數(shù)據(jù)庫(kù)技術(shù)受制于人的嚴(yán)峻形勢(shì)出臺(tái)了相關(guān)政策，以滿足構(gòu)建安全可靠可控的信息技術(shù)體系的要求。

縱觀近年來(lái)普惠金融的發(fā)展，多用戶、低額的客單價(jià)帶來(lái)的主要挑戰(zhàn)是數(shù)據(jù)量、交易額的大幅提高，并伴隨著數(shù)十倍的交易高峰壓力以及交易復(fù)雜度的增加。而傳統(tǒng)數(shù)據(jù)庫(kù)在處理此類應(yīng)用場(chǎng)景的時(shí)，在擴(kuò)展性、性能、吞吐量和可靠性等方面遇到了明顯的瓶頸，只能通過(guò)業(yè)務(wù)拆分、升級(jí)硬件的方式來(lái)提升性能，造成設(shè)備投入和人員成本的不斷攀升。面對(duì)著互聯(lián)網(wǎng)金融業(yè)態(tài)不斷的發(fā)展，數(shù)據(jù)的交互和存儲(chǔ)也呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，這樣的方式也無(wú)法保證業(yè)務(wù)連續(xù)性。在此形式下，在分布式數(shù)據(jù)庫(kù)的選型上，根據(jù)不同的業(yè)務(wù)場(chǎng)景和關(guān)鍵系統(tǒng)中選擇不同的開源產(chǎn)品，通過(guò)對(duì)開源數(shù)據(jù)庫(kù)的深入研究和應(yīng)用，滿足了互聯(lián)網(wǎng)金融業(yè)務(wù)場(chǎng)景的事務(wù)處理和數(shù)據(jù)處理的要求。

2 傳統(tǒng)數(shù)據(jù)庫(kù)的那些事

個(gè)人認(rèn)為，分布式數(shù)據(jù)庫(kù)是起源于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，兩者的設(shè)計(jì)場(chǎng)景不同，前者面對(duì)企業(yè)級(jí)應(yīng)用，運(yùn)行在獨(dú)立的服務(wù)器上，而后者的應(yīng)用更多的是面對(duì)互聯(lián)網(wǎng)用戶。隨著用戶相應(yīng)的數(shù)據(jù)量極具增加，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在可擴(kuò)展性的弊端日益顯現(xiàn)，一般有下面幾個(gè)方面：

(1)單點(diǎn)處理的性能瓶頸，即單點(diǎn)的數(shù)據(jù)庫(kù)系統(tǒng)無(wú)法處理大規(guī)模的并發(fā)請(qǐng)求和計(jì)算;

(2)單點(diǎn)運(yùn)行風(fēng)險(xiǎn)高，容災(zāi)容錯(cuò)能力差;

(3)單點(diǎn)存儲(chǔ)能力有限，只能縱向擴(kuò)展，不能橫向擴(kuò)展;

(4)應(yīng)用擴(kuò)容升級(jí)難度大，設(shè)備投入高。

對(duì)于數(shù)據(jù)庫(kù)本身來(lái)說(shuō)，傳統(tǒng)的分布式數(shù)據(jù)庫(kù)都有各自的集群解決方案，不過(guò)這不是真正意義上的分布式，僅僅是為了解決高可用場(chǎng)景下數(shù)據(jù)庫(kù)的負(fù)載均衡問題。這種特性是每個(gè)數(shù)據(jù)庫(kù)都是冗余的，所謂冗余，那就是每個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)都是完全一樣的，所以數(shù)據(jù)量上升到一定的程度，對(duì)集群中的每個(gè)數(shù)據(jù)庫(kù)都會(huì)造成很大的壓力。

然而，云計(jì)算的出現(xiàn)引爆了這一切。當(dāng)資源不再是瓶頸的時(shí)候，分布式數(shù)據(jù)庫(kù)的春天來(lái)了。

3 說(shuō)說(shuō)分布式數(shù)據(jù)庫(kù)

分布式數(shù)據(jù)庫(kù)的概念不再闡述，大體描述就是數(shù)據(jù)庫(kù)技術(shù)和網(wǎng)絡(luò)技術(shù)的親生孩子。在此，我們?yōu)槭裁催x擇分布式數(shù)據(jù)庫(kù)，理由有如下：

(1)具有靈活的體系結(jié)構(gòu);

(2)適應(yīng)分布式的管理和控制機(jī)構(gòu);

(3)經(jīng)濟(jì)性能優(yōu)越;

(4)系統(tǒng)的可靠性高、可用性好;

(5)局部的應(yīng)用響應(yīng)快;

(6)優(yōu)越的可擴(kuò)展性，易于集成現(xiàn)有的系統(tǒng)。

那分布式數(shù)據(jù)庫(kù)應(yīng)該怎么用?基于分布式數(shù)據(jù)庫(kù)的選型該怎么做?

首先，基于特性，分布式數(shù)據(jù)庫(kù)大致可以分為三類：

(1)支持持久化存儲(chǔ)的分布式存儲(chǔ)系統(tǒng)，如MySQL，OceanBase;

(2)偏向于計(jì)算的分布式計(jì)算框架，如Hadoop HDFS，Ceph，Swift，Blob，Cinder，Lustre;

(3)分布式消息隊(duì)列，如Redis，RMQ，CMQ，Kafka。

其次，基于不同的應(yīng)用場(chǎng)景，根據(jù)特性繼續(xù)細(xì)化，又可以分為以下：

(1)分布式協(xié)同數(shù)據(jù)庫(kù)系統(tǒng);

(2)分布式任務(wù);

(3)流式計(jì)算;

(4)分布式文件系統(tǒng);

(5)分布式nosql存儲(chǔ);

(6)分布式關(guān)系數(shù)據(jù)庫(kù);

(7)分布式消息隊(duì)列。

回到最核心的問題，如何進(jìn)行分布式數(shù)據(jù)庫(kù)技術(shù)路線的選擇?

分布式一般分為三條技術(shù)路線：分布式訪問客戶端、分布式中間件模式、分布式數(shù)據(jù)庫(kù)模式。其中分布式訪問客戶端對(duì)應(yīng)用侵入性大，改造難度很高;分布式中間件則類似MyCAT等產(chǎn)品，在數(shù)據(jù)庫(kù)和應(yīng)用間架一層Proxy，這種方案無(wú)法支持分布式事務(wù)、也無(wú)法支持跨庫(kù)關(guān)聯(lián)，分布式數(shù)據(jù)庫(kù)方案則將分庫(kù)分表等中間件實(shí)現(xiàn)的功能下推到數(shù)據(jù)庫(kù)層面來(lái)做，對(duì)應(yīng)用透明，應(yīng)用就像使用單機(jī)數(shù)據(jù)庫(kù)來(lái)使用分布式數(shù)據(jù)庫(kù)，同時(shí)天然地支持分布式事務(wù)。

4 常用的分布式數(shù)據(jù)庫(kù)和場(chǎng)景選型

針對(duì)以上概述，列舉ElasticSearch、Redis、MySQL分布式集群、MongoDB四個(gè)分布式數(shù)據(jù)庫(kù)進(jìn)行舉例，分別從簡(jiǎn)介、應(yīng)用場(chǎng)景、優(yōu)點(diǎn)、缺點(diǎn)、備份/持久化進(jìn)行對(duì)比和分析。其中MySQL分布式集群包括以下幾種集群方式：Proxy，Cluster，Mha，Mgr，基于MySQL協(xié)議的NewSQL，如MyCAT，OceanBase不在此范圍之內(nèi)。

(1)簡(jiǎn)介

(2)應(yīng)用場(chǎng)景

(3)優(yōu)點(diǎn)

(4)缺點(diǎn)

(5)備份/持久化方案

5 項(xiàng)目中的一些問題

在項(xiàng)目中，針對(duì)分布式數(shù)據(jù)庫(kù)的設(shè)計(jì)，一般有幾個(gè)難點(diǎn)。

(1)分布式事務(wù)的問題，在分布式數(shù)據(jù)庫(kù)中，分布式事務(wù)的實(shí)時(shí)一致性是很難保證的，而容錯(cuò)性的設(shè)計(jì)一定要考慮全面，通過(guò)犧牲相應(yīng)的可用性來(lái)保證一致性。

(2)性能方面，為了保證事務(wù)的全局一致性，分布式數(shù)據(jù)庫(kù)需要一個(gè)全局的事務(wù)管理器，用于分配全局事務(wù)的工作，不同的分布式數(shù)據(jù)庫(kù)或許有不一樣的功能，如果數(shù)據(jù)量和請(qǐng)求達(dá)到一個(gè)量級(jí)的時(shí)候，事務(wù)管理器或許就成為一個(gè)新的瓶頸。

(3)高可用的問題，當(dāng)分布式數(shù)據(jù)庫(kù)集群中有節(jié)點(diǎn)宕機(jī)的時(shí)候，宕機(jī)數(shù)量和選舉工作會(huì)影響整個(gè)集群提供服務(wù)的質(zhì)量，這一點(diǎn)跟業(yè)務(wù)的容忍性密切相關(guān)。

在運(yùn)維階段，針對(duì)分布式數(shù)據(jù)庫(kù)是從認(rèn)識(shí)、熟悉到經(jīng)過(guò)的過(guò)程，一個(gè)新的產(chǎn)品或者功能的運(yùn)維是離不開很多準(zhǔn)備工作。因此，進(jìn)入運(yùn)維階段，一般要考慮下面幾步。

(1)準(zhǔn)備好常用的運(yùn)維腳本、應(yīng)急手冊(cè)、運(yùn)維手冊(cè);

(2)做好分布式數(shù)據(jù)庫(kù)的監(jiān)控，尤其是關(guān)鍵指標(biāo)的監(jiān)控;

(3)技術(shù)手冊(cè)的培訓(xùn)，準(zhǔn)入條件的限制;

(4)定期做好演練工作，及時(shí)發(fā)現(xiàn)問題。

6 分布式數(shù)據(jù)庫(kù)發(fā)展的一些思考

在企業(yè)中，對(duì)于新技術(shù)新產(chǎn)品的選型不僅僅為了滿足當(dāng)前業(yè)務(wù)場(chǎng)景的需求，還要考慮到這個(gè)產(chǎn)品未來(lái)三到五年的發(fā)展道路和方向，以及是否能夠不斷迭代以滿足未來(lái)的需求。因此，用戶僅了解每一種技術(shù)的現(xiàn)狀是遠(yuǎn)遠(yuǎn)不夠的，只有當(dāng)認(rèn)識(shí)到一種技術(shù)的發(fā)展策略以及其架構(gòu)的局限性后，才能夠預(yù)見和洞察未來(lái)。架構(gòu)局限性并不等于功能的缺失。很多新型技術(shù) 在開始時(shí)都無(wú)法提供像Oracle一樣完備的企業(yè)級(jí)功 能，但并不意味著用戶必須要等到全部功能完備后才 開始考慮學(xué)習(xí)和使用。用戶在評(píng)估一種新產(chǎn)品和技術(shù)時(shí)，產(chǎn)品的功能點(diǎn)需要滿足幾個(gè)必備的基礎(chǔ)功能，而一些高級(jí)功能則不需要立刻具備。

對(duì)于分布式數(shù)據(jù)庫(kù)來(lái)說(shuō)，隨著業(yè)務(wù)場(chǎng)景和數(shù)據(jù)的使用處理方面的需求趨于成熟和明朗，分布式數(shù)據(jù)庫(kù)的以場(chǎng)景和功能的區(qū)分更為細(xì)化，主要發(fā)展發(fā)現(xiàn)基本可以分為分布式聯(lián)機(jī)數(shù)據(jù)庫(kù)和分布式計(jì)算數(shù)據(jù)庫(kù)兩種，而針對(duì)非結(jié)構(gòu)化小文件需求也在考驗(yàn)分布式數(shù)據(jù)庫(kù)是否在這個(gè)領(lǐng)域能夠打出一片天地，可以展望，小型的分布式的針對(duì)非結(jié)構(gòu)化的文件存儲(chǔ)數(shù)據(jù)庫(kù)也可能后期的戰(zhàn)場(chǎng)之一。

【作者】顧黃亮，十年技術(shù)老兵，歷經(jīng)研發(fā)和運(yùn)維，了解基礎(chǔ)架構(gòu)、安全、中間件、數(shù)據(jù)庫(kù)，專注于智慧運(yùn)維體系的打造。曾供職于航天晨光、上汽集團(tuán)云計(jì)算中心，現(xiàn)任蘇寧消費(fèi)金融安全運(yùn)維部總監(jiān)。