Part 01

容災(zāi)介紹 

我們通常會(huì)把故障分為三類，一是主機(jī)故障，二是機(jī)房故障，三是地域故障。每類故障都有各自的誘發(fā)因素，而從主機(jī)到機(jī)房再到地域，故障發(fā)生概率依次越來(lái)越小，而故障的影響卻越來(lái)越大。

圖片

容災(zāi)能力的建設(shè)目標(biāo)是非常明確的，就是要能夠應(yīng)對(duì)和處理這種機(jī)房級(jí)和地域級(jí)的大規(guī)模故障，從而來(lái)保障業(yè)務(wù)的連續(xù)性。近幾年，業(yè)界也發(fā)生了多次數(shù)據(jù)中心級(jí)別的故障，對(duì)相關(guān)公司的業(yè)務(wù)和品牌產(chǎn)生了非常大的負(fù)面影響。當(dāng)前容災(zāi)能力已經(jīng)成為眾多企業(yè)建設(shè)信息化系統(tǒng)的必選項(xiàng)。

Part 02

容災(zāi)架構(gòu)演進(jìn) 

容災(zāi)架構(gòu)從最早期的同城主備到同城多活形態(tài)，再演化到異地多活，根據(jù)這個(gè)過(guò)程可以將容災(zāi)分為容災(zāi)1.0、容災(zāi)2.0、容災(zāi)3.0三個(gè)階段。

• 容災(zāi)1.0：容災(zāi)體系圍繞數(shù)據(jù)建設(shè)，多以主-備的方式部署，但備用機(jī)房不承擔(dān)流量，基本上都是單活結(jié)構(gòu)。
• 容災(zāi)2.0：容災(zāi)視角從數(shù)據(jù)轉(zhuǎn)換為應(yīng)用系統(tǒng)，業(yè)務(wù)具有同城雙活或同城多活能力，采用同城雙活或同城雙活加異地冷備（兩地三中心）的部署架構(gòu)，除冷備以外的每個(gè)機(jī)房都有流量處理能力。
• 容災(zāi)3.0：以業(yè)務(wù)為中心，多采用單元化架構(gòu)，容災(zāi)基于單元間的兩兩互備實(shí)現(xiàn)，根據(jù)單元的部署位置可以實(shí)現(xiàn)同城多活和異地多活。采用單元化架構(gòu)的應(yīng)用本身具有很好的容災(zāi)能力和擴(kuò)展能力。

Part 03

常見(jiàn)節(jié)點(diǎn)故障處理過(guò)程 

（1）計(jì)算節(jié)點(diǎn)故障

分布式數(shù)據(jù)庫(kù)的計(jì)算節(jié)點(diǎn)多采用多實(shí)例部署。所以當(dāng)一個(gè)計(jì)算節(jié)點(diǎn)故障后，負(fù)載均衡通過(guò)心跳檢查識(shí)別到故障，自動(dòng)把請(qǐng)求分發(fā)到其他的計(jì)算節(jié)點(diǎn)上。等到該節(jié)點(diǎn)恢復(fù)后，負(fù)載均衡檢測(cè)到節(jié)點(diǎn)正常服務(wù)，會(huì)將請(qǐng)求重新均衡到該計(jì)算節(jié)點(diǎn)上。

（2）存儲(chǔ)節(jié)點(diǎn)主庫(kù)故障

當(dāng)分布式數(shù)據(jù)庫(kù)的存儲(chǔ)節(jié)點(diǎn)集群出現(xiàn)主庫(kù)故障，集群的健康檢查會(huì)監(jiān)測(cè)到主庫(kù)發(fā)生故障，并通過(guò)多次探測(cè)確認(rèn)故障。如果主庫(kù)故障確認(rèn)，系統(tǒng)會(huì)控制存儲(chǔ)節(jié)點(diǎn)集群進(jìn)行主從切換，將一個(gè)從庫(kù)節(jié)點(diǎn)選舉為新的主庫(kù)節(jié)點(diǎn)，并調(diào)整集群的主從同步關(guān)系。同時(shí)集群拓?fù)涞脑獢?shù)據(jù)會(huì)進(jìn)行更新，推送到集群的各節(jié)點(diǎn)，包括查詢路由相關(guān)信息。這樣應(yīng)用層的寫(xiě)操作會(huì)發(fā)送到新的主庫(kù)。此時(shí)存在故障的副本節(jié)點(diǎn)，根據(jù)集群的副本策略和恢復(fù)機(jī)制，恢復(fù)系統(tǒng)會(huì)觸發(fā)一個(gè)恢復(fù)任務(wù)，重新恢復(fù)一個(gè)新的從庫(kù)節(jié)點(diǎn)加入集群。

（3）存儲(chǔ)節(jié)點(diǎn)從庫(kù)故障

當(dāng)分布式集群的一組主從出現(xiàn)從庫(kù)節(jié)點(diǎn)故障，集群的健康檢查模塊會(huì)監(jiān)測(cè)到從庫(kù)故障，并通過(guò)多次探測(cè)來(lái)確認(rèn)故障。如果確認(rèn)從庫(kù)故障，系統(tǒng)會(huì)將該從庫(kù)進(jìn)行下線處理。同時(shí)集群拓?fù)涞脑獢?shù)據(jù)會(huì)進(jìn)行更新，將該故障的從庫(kù)節(jié)點(diǎn)從集群信息中刪除，并推送到集群的各節(jié)點(diǎn)進(jìn)行更新。查詢路由相關(guān)的信息更新后，應(yīng)用層的讀操作不再發(fā)送到故障的從庫(kù)。此時(shí)由于存在一個(gè)故障的副本節(jié)點(diǎn)，根據(jù)集群的副本策略和恢復(fù)機(jī)制，系統(tǒng)的恢復(fù)系統(tǒng)會(huì)觸發(fā)一個(gè)恢復(fù)任務(wù)，重新恢復(fù)一個(gè)新的從庫(kù)節(jié)點(diǎn)加入集群。

（4）網(wǎng)絡(luò)故障

專線網(wǎng)絡(luò)抖動(dòng)異常一般會(huì)帶來(lái)延時(shí)和丟包，集群的計(jì)算服務(wù)節(jié)點(diǎn)、存儲(chǔ)服務(wù)節(jié)點(diǎn)、管控節(jié)點(diǎn)之間的通訊都有完備的超時(shí)重試機(jī)制，少量的延時(shí)丟包不會(huì)影響查詢性能，跨專線的主從延時(shí)會(huì)增大，待網(wǎng)絡(luò)質(zhì)量恢復(fù)后即恢復(fù)正常。

Part 04

容災(zāi)架構(gòu)案例介紹 

（1）美團(tuán)數(shù)據(jù)庫(kù)容災(zāi)方案

美團(tuán)的容災(zāi)架構(gòu)主要包括兩種，一種是N+1容災(zāi)架構(gòu)，一種是SET化架構(gòu)。

N+1架構(gòu)：在業(yè)界也稱散部或者多AZ部署?案，將容量為C的系統(tǒng)部署在N+1個(gè)機(jī)房，每個(gè)機(jī)房能提供至少C/N的容量，掛掉任何一個(gè)機(jī)房時(shí)，剩余系統(tǒng)仍能支撐C的容量。該方案的核心是把容災(zāi)能力下沉到PaaS組件來(lái)完成，在出現(xiàn)機(jī)房級(jí)或者地域級(jí)故障的時(shí)候，由各個(gè)PaaS組件獨(dú)立完成容災(zāi)切換，實(shí)現(xiàn)業(yè)務(wù)恢復(fù)。整體架構(gòu)如下圖所示，業(yè)務(wù)上表現(xiàn)是多機(jī)房、多活形態(tài)，數(shù)據(jù)庫(kù)采用這種主從架構(gòu)，單機(jī)房處理寫(xiě)流量、多機(jī)房的負(fù)載均攤讀流量。下面要講“數(shù)據(jù)庫(kù)容災(zāi)體系建設(shè)實(shí)踐” 就是面向N+1架構(gòu)的。

圖片

SET化架構(gòu)：這是一種偏應(yīng)用層的容災(zāi)架構(gòu)，它將應(yīng)用，數(shù)據(jù)，基礎(chǔ)組件按照統(tǒng)一的維度切分成多個(gè)單元，每個(gè)單元處理一部分閉環(huán)流量。業(yè)務(wù)以單元作為部署單位，通過(guò)單元互備方式實(shí)現(xiàn)同城容災(zāi)或者異地容災(zāi)。一般金融業(yè)務(wù)或者超大規(guī)模的業(yè)務(wù)會(huì)選擇此類架構(gòu)，它的好處就是流量可以閉環(huán)且資源隔離，具有很強(qiáng)的容災(zāi)能力和跨域擴(kuò)展能力，不過(guò)SET化架構(gòu)的落地需要業(yè)務(wù)系統(tǒng)做大量的改造，運(yùn)維管理也較為復(fù)雜。簡(jiǎn)化示意圖如下：

圖片

（2）阿里數(shù)據(jù)庫(kù)容災(zāi)方案

DT大淘系數(shù)據(jù)是阿里巴巴集團(tuán)典型的數(shù)據(jù)中臺(tái)，DT引入了Hologres的讀寫(xiě)分離能力，并結(jié)合全鏈路的主備雙鏈路，在降低單庫(kù)出問(wèn)題概率的同時(shí)構(gòu)建異地主備容災(zāi)，建立產(chǎn)品核心指標(biāo)的“復(fù)活甲”，通過(guò)秒級(jí)切換的高可用容災(zāi)方案，高吞吐寫(xiě)入和靈活查詢互不干擾，分析查詢QPS增長(zhǎng)80%的同時(shí)，查詢抖動(dòng)明顯減少，讓業(yè)務(wù)擁有底氣和信心去應(yīng)對(duì)隨時(shí)可能出現(xiàn)的不可控風(fēng)險(xiǎn)，為整個(gè)產(chǎn)品和業(yè)務(wù)決策分析提供穩(wěn)定支持。

圖片

（3）浪潮數(shù)據(jù)庫(kù)容災(zāi)方案

與傳統(tǒng)的數(shù)據(jù)災(zāi)備和復(fù)制技術(shù)不同，浪潮K-DB和DSG SuperSync方案是針對(duì)Oracle數(shù)據(jù)庫(kù)的異構(gòu)災(zāi)備和數(shù)據(jù)復(fù)制方案，提供了基于邏輯的交易復(fù)制方式。該方式通過(guò)直接捕獲Oracle數(shù)據(jù)庫(kù)的交易，將數(shù)據(jù)庫(kù)的改變邏輯復(fù)制到K-DB數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)Oracle系統(tǒng)數(shù)據(jù)庫(kù)和K-DB系統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)的一致性，從而提高系統(tǒng)數(shù)據(jù)的安全性和靈活性，降低災(zāi)備系統(tǒng)TCO，系統(tǒng)架構(gòu)如下：

圖片

K-DB Standby Cluster提供同構(gòu)數(shù)據(jù)庫(kù)的高可用性、數(shù)據(jù)的保護(hù)、災(zāi)難恢復(fù)功能，DSG SuperSync提供異構(gòu)數(shù)據(jù)庫(kù)的高可用性、數(shù)據(jù)的保護(hù)、災(zāi)難恢復(fù)功能。

（4）騰訊數(shù)據(jù)庫(kù)容災(zāi)方案

客戶業(yè)務(wù)場(chǎng)景最常用騰訊云數(shù)據(jù)產(chǎn)品主要是redis，cdb，mongoDB以及TDSQL。

圖片

Part 05

結(jié)束語(yǔ) 

系統(tǒng)建設(shè)過(guò)程中高可用自動(dòng)切換、容災(zāi)能力運(yùn)營(yíng)治理、大規(guī)模故障觀測(cè)、故障止損預(yù)案、容災(zāi)恢復(fù)等方面都會(huì)有很多的需求和挑戰(zhàn)，也是所有公司業(yè)務(wù)發(fā)展壯大后必須面對(duì)的一件事，歡迎大家能跟我們一起交流這個(gè)過(guò)程，共同進(jìn)步。