請(qǐng)求透?jìng)魇荘roxy主要的功能。主要解決在進(jìn)行Master切換的時(shí)候，MySQL Client會(huì)被分裂，不同的Client可能連接到不同的MySQL。導(dǎo)致出現(xiàn)MySQL Client寫入數(shù)據(jù)到錯(cuò)誤的Master或者從錯(cuò)誤的Master讀取到錯(cuò)誤的數(shù)據(jù)。

Proxy的請(qǐng)求透?jìng)鞣謨煞N：

• 讀寫端口請(qǐng)求透?jìng)鳎篠lave節(jié)點(diǎn)收到的請(qǐng)求透?jìng)鹘oMaster節(jié)點(diǎn)執(zhí)行。Master節(jié)點(diǎn)收到的請(qǐng)求直接透?jìng)鹘o本機(jī)MySQL執(zhí)行。
• 只讀端口請(qǐng)求透?jìng)鳎篗aster節(jié)點(diǎn)收到的請(qǐng)求透?jìng)鹘oSlave節(jié)點(diǎn)執(zhí)行。Slave節(jié)點(diǎn)收到的請(qǐng)求直接透?jìng)鹘o本機(jī)MySQL執(zhí)行，如圖12所示。

圖12 Proxy請(qǐng)求透?jìng)髁鞒?/p>

高性能：由于Proxy接管了MySQL Client的請(qǐng)求，為了使整個(gè)集群的讀寫性能接近單機(jī)MySQL，Proxy使用協(xié)程模型提高自身的處理能力。

Proxy的協(xié)程模型使用開源的Libco庫。Libco庫是微信團(tuán)隊(duì)開源的一個(gè)高性能協(xié)程庫，具有以下特點(diǎn)：

• 用同步方式寫代碼，實(shí)現(xiàn)異步代碼的性能。
• 支持***的并發(fā)連接。
• 項(xiàng)目地址 https://github.com/tencent-wechat/libco

完全兼容MySQL：為了已有的應(yīng)用程序能夠不做任何修改就能遷移到PhxSQL，Proxy需兼容MySQL的所有功能。

兼容MySQL事務(wù)

MySQL事務(wù)管理基于連接，同一個(gè)事務(wù)的所有請(qǐng)求通過同一個(gè)連接通信。在事務(wù)處理中連接丟失，事務(wù)將被rollback( http://dev.mysql.com/doc/refman/5.6/en/innodb-autocommit-commit-rollback.html )。

Proxy使用1:1連接模型完全兼容MySQL事務(wù)。每當(dāng)MySQL Client發(fā)起一個(gè)連接到Proxy，Proxy都會(huì)相應(yīng)地發(fā)起一個(gè)連接到MySQL。兩條連接中，任意一個(gè)中斷，另外一個(gè)也相應(yīng)斷開，對(duì)應(yīng)的事務(wù)會(huì)被rollback，如圖13所示。

圖13 Proxy的1對(duì)1事務(wù)連接模型

兼容MySQL權(quán)限

MySQL的權(quán)限管理基于(用戶，源IP)對(duì)，源IP是通過socket句柄反查獲取。當(dāng)請(qǐng)求通過Proxy連接到MySQL時(shí)，源IP為Proxy本地IP，權(quán)限管理會(huì)出現(xiàn)異常。

Proxy利用MySQL協(xié)議HEAD保留字段透?jìng)髡鎸?shí)源IP到MySQ，MySQL再從HEAD保留字段獲取正確的源IP進(jìn)行權(quán)限管理，如圖14所示。

圖14 Proxy通過修改MySQL協(xié)議兼容MySQL權(quán)限

PhxSync

PhxSync的功能和MySQL的semisync插件類似。經(jīng)過調(diào)研，對(duì)semisync插件的接口做少量的調(diào)整，就可以使用這些插件接口來實(shí)現(xiàn)PhxSync。

PhxSync功能主要是：

• 正常運(yùn)行時(shí)提交Binlog：MySQL在正常寫入或者更新數(shù)據(jù)時(shí)，會(huì)調(diào)用after_flush接口。PhxSync插件通過實(shí)現(xiàn)after_flush接口將MySQL新寫入的Binlog提交到本機(jī)的BinlogSvr，由本機(jī)BinlogSvr通過Paxos協(xié)議同步到BinlogSvr集群。
• 重啟時(shí)校準(zhǔn)本地Binlog：MySQL在重啟時(shí)通過查詢BinlogSvr集群判斷本地Pending Binlog的狀態(tài)。如果Pending Binlog未復(fù)制到BinlogSvr集群則從本地刪除，保持本地的Binlog數(shù)據(jù)和BinlogSvr集群的Binlog數(shù)據(jù)一致。

由于MySQL沒有提供在重啟時(shí)的插件接口，為了后續(xù)維護(hù)方便，在MySQL代碼層抽象出了一個(gè)新插件接口before_binlog_init用于校準(zhǔn)Binlog。

上述對(duì)after_flush接口的調(diào)整，和新增的before_binlog_init接口已經(jīng)提交補(bǔ)丁給MySQL官方( http://bugs.mysql.com/bug.php?id=83158 )。

【PhxBinlogSvr】

PhxBinlogSvr主要負(fù)責(zé)存儲(chǔ)Binlog和Master信息的維護(hù)。在數(shù)據(jù)復(fù)制階段，通過Paxos協(xié)議保證PhxBinlogSvr各節(jié)點(diǎn)的數(shù)據(jù)一致性(下文稱PhxBinlogSvr為BinlogSvr)。

• PhxPaxos庫：BinlogSvr使用PhxPaxos庫進(jìn)行數(shù)據(jù)的復(fù)制。PhxPaxos庫是微信團(tuán)隊(duì)開源的Paxos類庫，具有以下特性：1. 保證各節(jié)點(diǎn)的數(shù)據(jù)一致。
• 保證集群機(jī)器超過一半存活還能服務(wù)。
• 高性能。
• 功能完善。
• 穩(wěn)定性經(jīng)過大規(guī)模驗(yàn)證。
• 接口方便易用。
• 項(xiàng)目地址 https://github.com/tencent-wechat/phxpaxos

BinlogSvr異常情況處理 防止Slave的節(jié)點(diǎn)提交數(shù)據(jù)

當(dāng)舊Master在提交數(shù)據(jù)時(shí)由于網(wǎng)絡(luò)問題數(shù)據(jù)包被卡在網(wǎng)絡(luò)，且新Mater已經(jīng)成功切換時(shí)，或者人為錯(cuò)誤直接往Slave節(jié)點(diǎn)的MySQL寫入數(shù)據(jù)時(shí)，則會(huì)出現(xiàn)Slave節(jié)點(diǎn)提交數(shù)據(jù)的情況。多節(jié)點(diǎn)同時(shí)提交數(shù)據(jù)會(huì)出現(xiàn)BinlogSvr的Binlog數(shù)據(jù)和MySQL存儲(chǔ)的Binlog數(shù)據(jù)不一致的情況。

BinlogSvr存儲(chǔ)了集群內(nèi)的Master信息。當(dāng)其收到MySQL提交的數(shù)據(jù)時(shí)，可根據(jù)Master信息拒絕非Master節(jié)點(diǎn)的提交，如圖15所示。

圖15 BinlogSvr通過Master信息拒絕非Master節(jié)點(diǎn)的提交

防止Master提交錯(cuò)誤數(shù)據(jù)

在某些情況下，Master可能會(huì)重新發(fā)送數(shù)據(jù)或者發(fā)送錯(cuò)誤數(shù)據(jù)。譬如在網(wǎng)絡(luò)不好的情況下Master由于提交數(shù)據(jù)超時(shí)而重發(fā)數(shù)據(jù)。磁盤發(fā)生故障或者數(shù)據(jù)被錯(cuò)誤回滾或者修改的時(shí)候，Master會(huì)提交錯(cuò)誤的數(shù)據(jù)。

BinlogSvr使用樂觀鎖機(jī)制來防止Master的異常提交。在MySQL提交數(shù)據(jù)給BinlogSvr時(shí)，以本機(jī)MySQL已經(jīng)執(zhí)行的GTID為樂觀鎖，提交的內(nèi)容為(本機(jī)MySQL已經(jīng)執(zhí)行的***GTID，本次要提交的Binlog)。BinlogSvr通過檢查請(qǐng)求中(本機(jī)MySQL已經(jīng)執(zhí)行的***GTID)和自身保存的***GTID是否匹配來拒絕重新發(fā)送或者異常發(fā)送的數(shù)據(jù)，如圖16所示。

圖16 BinlogSvr使用樂觀鎖拒絕Master在數(shù)據(jù)異常的情況下提交數(shù)據(jù)

• 支持MySQL原生復(fù)制協(xié)議：為了讓Slave能從BinlogSvr獲取Binlog，***的方式就是BinlogSvr支持MySQL原生的復(fù)制協(xié)議，這樣不用對(duì)Slave做任何修改，如圖17所示。

圖17 BinlogSvr支持MySQL使用原生復(fù)制協(xié)議獲取Binlog數(shù)據(jù)

• Master管理：BinlogSvr除了存儲(chǔ)MySQL的Binlog數(shù)據(jù)，還存儲(chǔ)了Master信息。同時(shí)還承擔(dān)了Agent的角色，負(fù)責(zé)監(jiān)控MySQL的狀態(tài)，必要時(shí)發(fā)起選舉自己為Master的投票。

BinlogSvr通過Paxos協(xié)議進(jìn)行Master選舉，選舉成功后成為Master并擁有租約。通過Paxos協(xié)議選舉保證了最終只產(chǎn)生一個(gè)Master且每個(gè)節(jié)點(diǎn)記錄了一致的Master信息。

PhxSQL效果 【PhxSQL數(shù)據(jù)一致性】

通過比較PhxSQL集群中各節(jié)點(diǎn)的數(shù)據(jù)(MySQL Binlog，PhxPaxos，BinlogSvr) 判斷各節(jié)點(diǎn)數(shù)據(jù)是否一致，如圖18所示。

圖18 PhxSQL 3機(jī)數(shù)據(jù)對(duì)比

【Master自動(dòng)切換】

通過觀察Master宕機(jī)時(shí)各節(jié)點(diǎn)的流量變化判斷Master是否順利切換。下圖中的紅線代表流量。當(dāng)Master宕機(jī)時(shí)，流量會(huì)隨之轉(zhuǎn)移，代表Master順利切換，如圖19所示。

圖19 PhxSQL進(jìn)行Master切換時(shí)各節(jié)點(diǎn)的寫入流量變化

【PhxSQL性能】

MySQL版本：Percona 5.6.31-77.0

機(jī)器信息：

CPU ：Intel Xeon CPU E5-2420 0 @ 1.90GHz * 24。

Memory : 32G。

Disk:SSD Raid10。

Ping Costs：Master→Slave:3 ~ 4ms; client→Master :4ms。

工具和參數(shù)：

sysbench。  
–oltp-tables-count=10 –oltp-table-size=1000000 –num-threads=500。  
–max-requests=100000 –report-interval=1 –max-time=200。 

PhxSQL的寫性能比MySQL的半同步好，讀性能由于多了一層Proxy導(dǎo)致比MySQL的半同步稍差。

圖20 PhxSQL和MySQL的性能對(duì)比