冰河,能講講Mycat如何實(shí)現(xiàn)MySQL的讀寫分離嗎?
作者個(gè)人研發(fā)的在高并發(fā)場(chǎng)景下,提供的簡單、穩(wěn)定、可擴(kuò)展的延遲消息隊(duì)列框架,具有精準(zhǔn)的定時(shí)任務(wù)和延遲隊(duì)列處理功能。自開源半年多以來,已成功為十幾家中小型企業(yè)提供了精準(zhǔn)定時(shí)調(diào)度方案,經(jīng)受住了生產(chǎn)環(huán)境的考驗(yàn)。為使更多童鞋受益,現(xiàn)給出開源框架地址:
https://github.com/sunshinelyz/mykit-delay
寫在前面
隨著系統(tǒng)業(yè)務(wù)的不斷發(fā)展,MySQL數(shù)據(jù)庫中的數(shù)據(jù)量也在不斷攀升,當(dāng)數(shù)據(jù)量達(dá)到一定量級(jí)時(shí),MySQL的主從復(fù)制、讀寫分離、分庫分表就成為了一種必然的架構(gòu)趨勢(shì)。這不,就有小伙伴問我能不能講講Mycat如何實(shí)現(xiàn)MySQL的讀寫分離。于是就安排上了這篇文章。
注:文章已經(jīng)收錄到:
GitHub:https://github.com/sunshinelyz/technology-binghe
Gitee:https://gitee.com/binghe001/technology-binghe
環(huán)境說明
這里大家需要注意的是MySQL的主從復(fù)制是依賴的MySQL自己的主從復(fù)制機(jī)制,Mycat不負(fù)責(zé)MySQL的主從復(fù)制,有關(guān)MySQL的主從復(fù)制配置,大家可以參考博文《MySQL之——主從復(fù)制的配置》,好了,我們接下來進(jìn)入今天的主題內(nèi)容。
搭建環(huán)境操作系統(tǒng):CentOS-6.5-x86_64-bin-DVD1.iso
JDK版本:jdk1.8
Mycat版本:Mycat-server-1.6.1-RELEASE-20201208215510-linux.tar.gz (下載源碼自行編譯的)
Mycat節(jié)點(diǎn)IP:192.168.209.133 主機(jī)名:liuyazhuang133 主機(jī)配置:4核CPU、4G內(nèi)存
MySQL版本:mysql-5.6.32.tar.gz
主節(jié)點(diǎn)IP:192.168.209.131 主機(jī)名:liuyazhuang131 主機(jī)配置:4核CPU、4G內(nèi)存
從節(jié)點(diǎn)IP:192.168.209.132 主機(jī)名:liuyazhuang132 主機(jī)配置:4核CPU、4G內(nèi)存
Mycat部署
架構(gòu)Mycat的讀寫分離是基于后端MySQL集群的主從同步來實(shí)現(xiàn)的,而Mycat提供語句的分發(fā)功能。MyCat1.4開始支持MySQL主從復(fù)制狀態(tài)綁定的讀寫分離機(jī)制,讓讀更加安全可靠。
我們來看看Mycat的整體部署架構(gòu)圖。
Mycat的安裝設(shè)置主機(jī)名和IP與主機(jī)名的映射
- # vim /etc/sysconfig/network
- NETWORKING=yes
- HOSTNAME=liuyazhuang133
- # vim /etc/hosts
- 127.0.0.1 liuyazhuang133
- 192.168.209.131 liuyazhuang131
- 192.168.209.132 liuyazhuang132
- 192.168.209.133 liuyazhuang133
配置Java環(huán)境變量
因?yàn)镸ycat是用Java開發(fā)的,因此Mycat運(yùn)行需要安裝JDK(準(zhǔn)確來說是JRE就夠了),并且需要JDK1.7或以上版本
- # vim /etc/profile
- ## java env
- export JAVA_HOME=/usr/local/java/jdk1.8
- export JRE_HOME=$JAVA_HOME/jre
- export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
- export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
- # source /etc/profile
- # java -version
上傳Mycat安裝包
上傳Mycat-server-1.6.1-RELEASE-20201208215510-linux.tar.gz 到 MyCat服務(wù)器中的/home/mycat目錄,并解壓并移動(dòng)到 /usr/local/mycat目錄
- $ tar -zxvf Mycat-server-1.6.1-RELEASE-20201208215510-linux.tar.gz
- # mv /home/mycat/mycat /usr/local/
- # cd /usr/local/mycat/
- # ll
設(shè)置Mycat的環(huán)境變量
- # vim /etc/profile
- ## mycat env
- export MYCAT_HOME=/usr/local/mycat
- export PATH=$PATH:$MYCAT_HOME/bin
- # source /etc/profile
配置Mycat
確認(rèn)MySQL主從復(fù)制正常
在配置Mycat前,請(qǐng)確認(rèn)MySQL的主從復(fù)制安裝配置已完成并正常運(yùn)行。MySQL主從數(shù)據(jù)的同步在MySQL中配置,Mycat不負(fù)責(zé)數(shù)據(jù)同步的問題。
補(bǔ)充:
- MySQL主從復(fù)制配置中,如果涉及到函數(shù)或存儲(chǔ)過程的同步復(fù)制,需要在/etc/my.cnf中的[mysqld]段中增加配置log_bin_trust_function_creators=true 或在客戶端中設(shè)置 set global log_bin_trust_function_creators = 1;
- 如果要做讀寫分離下的主從切換,那么從節(jié)點(diǎn)也有可能會(huì)變?yōu)閷懝?jié)點(diǎn),因此從節(jié)點(diǎn)就不能設(shè)置為只讀 read_only=1
- Linux版本的MySQL,需要設(shè)置為MySQL大小寫不敏感,否則可能會(huì)發(fā)生找不到表的問題??稍?etc/my.cnf的[mysqld]段中增加lower_case_table_names=1 。
配置schema.xml
schema.xml是Mycat最重要的配置文件之一,用于設(shè)置Mycat的邏輯庫、表、數(shù)據(jù)節(jié)點(diǎn)、dataHost等內(nèi)容,
- [root@liuyazhuang133 conf]$ cd /usr/local/root/conf/
- [root@liuyazhuang133 conf]$ vi schema.xml
文件內(nèi)容如下所示。
- <?xml version="1.0"?>
- <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
- <mycat:schema xmlns:mycat="http://org.opencloudb/">
- <schema name="lyz_schema1" checkSQLschema="false" sqlMaxLimit="100" dataNode="lyz_dn1"></schema>
- <schema name="lyz_schema2" checkSQLschema="false" sqlMaxLimit="100" dataNode="lyz_dn2"></schema>
- <dataNode name="lyz_dn1" dataHost="dtHost2" database="lyzdb1" />
- <dataNode name="lyz_dn2" dataHost="dtHost2" database="lyzdb2" />
- <dataHost name="dtHost2" maxCon="500" minCon="20" balance="1"
- writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
- <heartbeat>show slave status</heartbeat>
- <!-- can have multi write hosts -->
- <writeHost host="hostM2" url="192.168.209.131:3306" user="root" password="root" />
- <writeHost host="hostS2" url="192.168.209.132:3306" user="root" password="root" />
- </dataHost>
- </mycat:schema>
Mycat1.4開始支持MySQL主從復(fù)制狀態(tài)綁定的讀寫分離機(jī)制,讓讀更加安全可靠,配置如下:
Mycat心跳檢查語句配置為 show slave status ,dataHost 上定義兩個(gè)新屬性:switchType="2" 與 slaveThreshold="100",此時(shí)意味著開啟MySQL主從復(fù)制狀態(tài)綁定的讀寫分離與切換機(jī)制,MyCat心跳機(jī)制通過檢測(cè) show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三個(gè)字段來確定當(dāng)前主從同步的狀態(tài)以及Seconds_Behind_Master主從復(fù)制時(shí)延,當(dāng)Seconds_Behind_Master 大于slaveThreshold時(shí),讀寫分離篩選器會(huì)過濾掉此Slave機(jī)器,防止讀到很久之前的舊數(shù)據(jù),而當(dāng)主節(jié)點(diǎn)宕機(jī)后,切換邏輯會(huì)檢查Slave上的Seconds_Behind_Master是否為0,為0時(shí)則表示主從同步,可以安全切換,否則不會(huì)切換。
配置 server.xml
server.xml 主要用于設(shè)置系統(tǒng)變量、管理用戶、設(shè)置用戶權(quán)限等。
- [root@liuyazhuang133 conf]$ vim server.xml
文件內(nèi)容如下所示。
- <?xml version="1.0" encoding="UTF-8"?>
- <!DOCTYPE mycat:server SYSTEM "server.dtd">
- <mycat:server xmlns:mycat="http://org.opencloudb/">
- <system>
- <property name="defaultSqlParser">druidparser</property>
- <property name="charset">utf8mb4</property>
- </system>
- <user name="lyz">
- <property name="password">lyz.123</property>
- <property name="schemas">lyz_schema1,lyz_schema2</property>
- </user>
- <user name="userlyz">
- <property name="password">lyz.123</property>
- <property name="schemas">lyz_schema1,lyz_schema2</property>
- <property name="readOnly">true</property>
- </user>
- </mycat:server>
防火墻中打開8066和9066端口
Mycat的默認(rèn)數(shù)據(jù)端口為8066,mycat通過這個(gè)端口接收數(shù)據(jù)庫客戶端的訪問請(qǐng)求。
管理端口為9066,用來接收Mycat監(jiān)控命令、查詢Mycat運(yùn)行狀況、重新加載配置文件等。
- [root@liuyazhuang133 mycat]# vim /etc/sysconfig/iptables
增加:
- ## MyCat
- -A INPUT -m state --state NEW -m tcp -p tcp --dport 8066 -j ACCEPT
- -A INPUT -m state --state NEW -m tcp -p tcp --dport 9066 -j ACCEPT
重啟防火墻:
- [root@liuyazhuang133 mycat]# service iptables restart
修改log日志級(jí)別為debug
修改log日志級(jí)別為debug,以便通過日志確認(rèn)基于Mycat的MySQL數(shù)據(jù)庫集群讀寫分離的數(shù)據(jù)操作狀態(tài)(可以在正式上生產(chǎn)前改成info級(jí)別)
[root@liuyazhuang133 conf]$ vim /usr/local/mycat/conf/log4j.xml
啟動(dòng)Mycat
- [root@liuyazhuang133 bin]$ cd /usr/local/root/bin/
(1) 控制臺(tái)啟動(dòng),這種啟動(dòng)方式在控制臺(tái)關(guān)閉后,Nycat服務(wù)也將關(guān)閉,適合調(diào)試使用:
- [root@liuyazhuang133 bin]$ ./mycat console
(2) 可以采用以下后臺(tái)啟動(dòng)的方式:
- [root@liuyazhuang133 bin]$ ./mycat start
- Starting root-server...
Mycat連接測(cè)試(1) 如果本地Windows安裝有MySQL,可以使用已有的mysql客戶端遠(yuǎn)程操作Mycat
(2) Nativecat連接Mycat
讀寫分離測(cè)試
(1) 監(jiān)聽Mycat日志
- [root@liuyazhuang133 ~]$ cd /usr/local/mycat/logs/
- [root@liuyazhuang133 logs]$ tail -f mycat.log
(2) 讀測(cè)試
- $ mysql -uuserlyz -plyz.123 -h192.168.209.233 -P8066
- mysql> show databases;
- mysql> use lyz_schema2;
- mysql> show tables;
- mysql> select * from lyz_user_02;
執(zhí)行上面的查詢語句,此時(shí)對(duì)應(yīng)的Mycat日志信息如下:
多次執(zhí)行 select * from lyz_user_02 語句,Mycat打印出來的日志信息顯示讀操作請(qǐng)求都是路由到Slave節(jié)點(diǎn)(192.168.209.132)
寫測(cè)試
- mysql> insert into lyz_user_02 (userName, pwd) values('liuyazhuang', 'lyz。123');
執(zhí)行上面的新增插入語句后,此時(shí)對(duì)應(yīng)的Mycat日志信息如下:
多次執(zhí)行以上插入語句,發(fā)現(xiàn)新增數(shù)據(jù)都是從 Master節(jié)點(diǎn)(192.168.209.131)插進(jìn)入的,并且Slave節(jié)點(diǎn)通過Binlog同步了Master節(jié)點(diǎn)中的數(shù)據(jù)。
綜上,基于Mycat的讀寫分離集群配置成功。
本文轉(zhuǎn)載自微信公眾號(hào)「冰河技術(shù)」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系冰河技術(shù)公眾號(hào)。