何謂數(shù)據(jù)異構(gòu)，上周交易部門(mén)商品的同事過(guò)來(lái)做分享，又看到這個(gè)詞，他的PPT里面是 數(shù)據(jù)庫(kù)異構(gòu)。其實(shí)我們以前做的事情，也是可以稱(chēng)之為數(shù)據(jù)異構(gòu)。比如我們將DB里面的數(shù)據(jù)持久化到Redis里面去，就是一種數(shù)據(jù)異構(gòu)的方式。

如果要下個(gè)定義的話：把數(shù)據(jù)按需（數(shù)據(jù)結(jié)構(gòu)、存取方式、存取形式）異地構(gòu)建存儲(chǔ)。

常見(jiàn)應(yīng)用場(chǎng)景

分庫(kù)分表中有一個(gè)最為常見(jiàn)的場(chǎng)景，為了提升數(shù)據(jù)庫(kù)的查詢(xún)能力，我們都會(huì)對(duì)數(shù)據(jù)庫(kù)做分庫(kù)分表操作。比如訂單庫(kù)，開(kāi)始的時(shí)候我們是按照訂單ID維度去分庫(kù)分表，那么后來(lái)的業(yè)務(wù)需求想按照商家維度去查詢(xún)，比如我想查詢(xún)某一個(gè)商家下的所有訂單，就非常麻煩。

這個(gè)時(shí)候通過(guò)數(shù)據(jù)異構(gòu)就能很好的解決此問(wèn)題，如下圖：

異構(gòu)維度

數(shù)據(jù)異構(gòu)總結(jié)起來(lái)大概有以下幾種場(chǎng)景

• 數(shù)據(jù)庫(kù)鏡像
• 數(shù)據(jù)庫(kù)實(shí)時(shí)備份
• 多級(jí)索引
• search build（比如分庫(kù)分表后的多維度數(shù)據(jù)查詢(xún)）
• 業(yè)務(wù)cache刷新
• 價(jià)格、庫(kù)存變化等重要業(yè)務(wù)消息

數(shù)據(jù)異構(gòu)方向

異構(gòu)的幾種方向

在日常業(yè)務(wù)開(kāi)發(fā)中大致可以分為以上幾種數(shù)據(jù)去向，DB-DB這種方式，一般常見(jiàn)于分庫(kù)分表后，聚合查詢(xún)的時(shí)候，比如我們按照訂單ID去分庫(kù)分表，那么這個(gè)時(shí)候我們要按照用戶(hù)ID去查詢(xún)，查詢(xún)這個(gè)用戶(hù)下面的訂單就非常不方便了，當(dāng)然可以使用統(tǒng)一加到內(nèi)存中去，但這樣不太好。

所以我們就可以用數(shù)據(jù)庫(kù)異構(gòu)的方式，重新按照用戶(hù)ID的維度來(lái)分一個(gè)表，像在上面常見(jiàn)應(yīng)用場(chǎng)景中介紹的那樣。把數(shù)據(jù)異構(gòu)到redis、elasticserach、slor中去要解決的問(wèn)題跟按照多維度來(lái)查詢(xún)的需求差不多。這些存儲(chǔ)天生都有聚合的功能。當(dāng)然同時(shí)也可以提高查詢(xún)性能，應(yīng)對(duì)大訪問(wèn)量，比如redis這種抗量銀彈。

數(shù)據(jù)異構(gòu)的常用方法

1. 完整克隆

這個(gè)很簡(jiǎn)單就是將數(shù)據(jù)庫(kù)A，全部拷貝一份到數(shù)據(jù)庫(kù)B，這樣的使用場(chǎng)景是離線統(tǒng)計(jì)跑任務(wù)腳本的時(shí)候可以。缺點(diǎn)也很突出，不適用于持續(xù)增長(zhǎng)的數(shù)據(jù)。

2. 標(biāo)記同步

這個(gè)是業(yè)務(wù)場(chǎng)景比較簡(jiǎn)單的時(shí)候，理想情況下數(shù)據(jù)不會(huì)發(fā)生改變，比如日志數(shù)據(jù)，這個(gè)時(shí)候可以去標(biāo)記，比如時(shí)間戳，這樣當(dāng)發(fā)生故障的時(shí)候還可以回溯到上一次同步點(diǎn)，開(kāi)始重新同步數(shù)據(jù)。

3. binlog方式

通過(guò)實(shí)時(shí)的訂閱MySQL的binlog日志，消費(fèi)到這些日志后，重新構(gòu)建數(shù)據(jù)結(jié)構(gòu)插入一個(gè)新的數(shù)據(jù)庫(kù)或者是其他存儲(chǔ)比如es、slor等等。訂閱binlog日志可以比較好的能保證數(shù)據(jù)的一致性。

4. MQ方式

業(yè)務(wù)數(shù)據(jù)寫(xiě)入DB的同時(shí)，也發(fā)送MQ一份，也就是業(yè)務(wù)里面實(shí)現(xiàn)雙寫(xiě)。這種方式比較簡(jiǎn)單，但也很難保證數(shù)據(jù)一致性，對(duì)簡(jiǎn)單的業(yè)務(wù)場(chǎng)景可以采用這種方式。

binlog方式

canal異構(gòu)方式

binglog是數(shù)據(jù)的日志記錄方式，每次對(duì)數(shù)據(jù)的操作都會(huì)有binlog日志?，F(xiàn)在開(kāi)源的訂閱binlog日志的組件，比如使用比較廣泛的canal，它是阿里開(kāi)源的基于mysql數(shù)據(jù)庫(kù)binlog的增量訂閱和消費(fèi)組件。

由于cannal服務(wù)器目前讀取的binlog事件只保存在內(nèi)存中，并且只有一個(gè)canal客戶(hù)端可以進(jìn)行消費(fèi)。所以如果需要多個(gè)消費(fèi)客戶(hù)端，可以引入activemq或者kafka。如上圖綠色虛線框部分。

我們還需要確保全量對(duì)比來(lái)保證數(shù)據(jù)的一致性（canal+mq的重試機(jī)制基本可以保證寫(xiě)入異構(gòu)庫(kù)之后的數(shù)據(jù)一致性），這個(gè)時(shí)候可以有一個(gè)全量同步WORKER程序來(lái)保證，如上圖深綠色部分。

canal的工作原理

先來(lái)看下mysql主備（主從）復(fù)制原理如下圖，在此原理基礎(chǔ)之上我們?cè)賮?lái)理解canal的實(shí)現(xiàn)原理就一眼能明白了。

mysql主備復(fù)制實(shí)現(xiàn)原理

mysql主備（主從）復(fù)制原理，從上層來(lái)看，復(fù)制分成三步：

• master將改變記錄到二進(jìn)制日志(binary log)中（這些記錄叫做二進(jìn)制日志事件，binary log events，可以通過(guò)show binlog events進(jìn)行查看）；
• slave將master的binary log events拷貝到它的中繼日志(relay log)；
• slave重做中繼日志中的事件，將改變反映它自己的數(shù)據(jù)。

再來(lái)看下canal的原理，如下圖：

canal工作原理

cannal實(shí)現(xiàn)原理相對(duì)比較簡(jiǎn)單（參照上面的mysql主備復(fù)制實(shí)現(xiàn)原理）：

• canal模擬mysql slave的交互協(xié)議，偽裝自己為mysql slave，向mysql master發(fā)送dump協(xié)議
• mysql master收到dump請(qǐng)求，開(kāi)始推送binary log給slave(也就是canal)
• canal解析binary log對(duì)象(原始為byte流)

我們?cè)诓渴餭anal server的時(shí)候要部署多臺(tái)，來(lái)保證高可用。但是canal的原理，是只有一臺(tái)服務(wù)器在跑處理，其它的服務(wù)器作為熱備。canal server的高可用是通過(guò)zookeeper來(lái)維護(hù)的。

有關(guān)canal更具體的使用和詳細(xì)原理請(qǐng)參照：https://github.com/alibaba/canal

注意點(diǎn)

• 確認(rèn)MySQL開(kāi)啟binlog，使用show variables like 'log_bin';查看ON為已開(kāi)啟
• 確認(rèn)目標(biāo)庫(kù)可以產(chǎn)生binlog，show master status注意Binlog_Do_DB，Binlog_Ignore_DB參數(shù)
• 確認(rèn)binlog格式為ROW，使用show variables like 'binlog_format';非ROW模式登錄MySQL執(zhí)行set global binlog_format=ROW; flush logs;或者通過(guò)更改MySQL配置文件并重啟MySQL生效。
• 為保證binlake服務(wù)可以獲取Binlog，需添加授權(quán)，執(zhí)行GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'admin'@'%' identified by 'admin'; FLUSH PRIVILEGES;

MQ方式

MQ異構(gòu)方式

mq的方式，就相對(duì)簡(jiǎn)單，實(shí)際上是在業(yè)務(wù)邏輯中寫(xiě)DB的同時(shí)去寫(xiě)一次MQ，但是這種方式不能夠保證數(shù)據(jù)一致性，就是不能保證跨資源的事務(wù)。注：調(diào)用第三方遠(yuǎn)程RPC的操作一定不要放到事務(wù)中。

總結(jié)

本文主要敘述了數(shù)據(jù)異構(gòu)的使用場(chǎng)景，方法。這里面涉及到的activemq以及canal并沒(méi)有深入分析，關(guān)于這塊的內(nèi)容可以直接參考相關(guān)具體文檔，文中已給了鏈接地址。

根據(jù)數(shù)據(jù)異構(gòu)的定義，將數(shù)據(jù)異地構(gòu)建存儲(chǔ)，我們可以應(yīng)用的地方就非常多，文中說(shuō)的分庫(kù)分表之后按照其它維度來(lái)查詢(xún)的時(shí)候，我們想脫離DB直接用緩存比如redis來(lái)抗量的時(shí)候。數(shù)據(jù)異構(gòu)這種方式都能夠很好的幫助我們來(lái)解決諸如此類(lèi)的問(wèn)題。