MySQL集群搭建詳解
概述
MySQL Cluster 是MySQL 適合于分布式計(jì)算環(huán)境的高實(shí)用、可拓展、高性能、高冗余版本,其研發(fā)設(shè)計(jì)的初衷就是要滿足許多行業(yè)里的最嚴(yán)酷應(yīng)用要求,這些應(yīng)用中經(jīng)常要求數(shù)據(jù)庫(kù)運(yùn)行的可靠性要達(dá)到99.999%。MySQL Cluster允許在無(wú)共享的系統(tǒng)中部署“內(nèi)存中”數(shù)據(jù)庫(kù)集群,通過(guò)無(wú)共享體系結(jié)構(gòu),系統(tǒng)能夠使用廉價(jià)的硬件,而且對(duì)軟硬件無(wú)特殊要求。此外,由于每個(gè)組件有自己的內(nèi)存和磁盤,不存在單點(diǎn)故障。
實(shí)際上,MySQL集群是把一個(gè)叫做NDB的內(nèi)存集群存儲(chǔ)引擎集成與標(biāo)準(zhǔn)的MySQL服務(wù)器集成。它包含一組計(jì)算機(jī),每個(gè)都跑一個(gè)或者多個(gè)進(jìn)程,這可能包括一個(gè)MySQL服務(wù)器,一個(gè)數(shù)據(jù)節(jié)點(diǎn),一個(gè)管理服務(wù)器和一個(gè)專有的一個(gè)數(shù)據(jù)訪問(wèn)程序。
MySQL Cluster能夠使用多種故障切換和負(fù)載平衡選項(xiàng)配置NDB存儲(chǔ)引擎,但在Cluster 級(jí)別上的存儲(chǔ)引擎上做這個(gè)最簡(jiǎn)單。以下為MySQL集群結(jié)構(gòu)關(guān)系圖,
MySQL從結(jié)構(gòu)看,由3類節(jié)點(diǎn)(計(jì)算機(jī)或進(jìn)程)組成,分別是:
管理節(jié)點(diǎn):用于給整個(gè)集群其他節(jié)點(diǎn)提供配置、管理、仲裁等功能。理論上通過(guò)一臺(tái)服務(wù)器提供服務(wù)就可以了。
數(shù)據(jù)節(jié)點(diǎn):MySQL Cluster的核心,存儲(chǔ)數(shù)據(jù)、日志,提供數(shù)據(jù)的各種管理服務(wù)。2個(gè)以上 時(shí)就能實(shí)現(xiàn)集群的高可用保證,DB節(jié)點(diǎn)增加時(shí),集群的處理速度會(huì)變慢。
SQL節(jié)點(diǎn)(API):用于訪問(wèn)MySQL Cluster數(shù)據(jù),提供對(duì)外應(yīng)用服務(wù)。增加 API 節(jié)點(diǎn)會(huì)提高整個(gè)集群的并發(fā)訪問(wèn)速度和整體的吞吐量,該節(jié)點(diǎn) 可以部署在Web應(yīng)用服務(wù)器上,也可以部署在專用的服務(wù)器上,也開(kāi)以和DB部署在 同一臺(tái)服務(wù)器上。
NDB引擎
MySQL Cluster 使用了一個(gè)專用的基于內(nèi)存的存儲(chǔ)引擎——NDB引擎,這樣做的好處是速度快, 沒(méi)有磁盤I/O的瓶頸,但是由于是基于內(nèi)存的,所以數(shù)據(jù)庫(kù)的規(guī)模受系統(tǒng)總內(nèi)存的限制, 如果運(yùn)行NDB的MySQL服務(wù)器一定要內(nèi)存夠大,比如4G, 8G, 甚至16G。NDB引擎是分布式的,它可以配置在多臺(tái)服務(wù)器上來(lái)實(shí)現(xiàn)數(shù)據(jù)的可靠性和擴(kuò)展性,理論上 通過(guò)配置2臺(tái)NDB的存儲(chǔ)節(jié)點(diǎn)就能實(shí)現(xiàn)整個(gè)數(shù)據(jù)庫(kù)集群的冗余性和解決單點(diǎn)故障問(wèn)題。
缺陷
- 基于內(nèi)存,數(shù)據(jù)庫(kù)的規(guī)模受集群總內(nèi)存的大小限制
- 基于內(nèi)存,斷電后數(shù)據(jù)可能會(huì)有數(shù)據(jù)丟失,這點(diǎn)還需要通過(guò)測(cè)試驗(yàn)證。
- 多個(gè)節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)通訊和數(shù)據(jù)同步、查詢等操作,因此整體性受網(wǎng)絡(luò)速度影響,因此速度也比較慢
2.2 優(yōu)點(diǎn)
- 多個(gè)節(jié)點(diǎn)之間可以分布在不同的地理位置,因此也是一個(gè)實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)的方案。
- 擴(kuò)展性很好,增加節(jié)點(diǎn)即可實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群的擴(kuò)展。
- 冗余性很好,多個(gè)節(jié)點(diǎn)上都有完整的數(shù)據(jù)庫(kù)數(shù)據(jù),因此任何一個(gè)節(jié)點(diǎn)宕機(jī)都不會(huì)造成服務(wù)中斷。
實(shí)現(xiàn)高可用性的成本比較低,不象傳統(tǒng)的高可用方案一樣需要共享的存儲(chǔ)設(shè)備和專用的軟件才能實(shí)現(xiàn),NDB 只要有足夠的內(nèi)存就能實(shí)現(xiàn)。
本文將搭建一個(gè)最簡(jiǎn)化的MySQL Cluster系統(tǒng),配置方法中的所有命令都是以root賬戶運(yùn)行。這個(gè)MySQL Cluster包含一個(gè)管理結(jié)點(diǎn)、兩個(gè)數(shù)據(jù)結(jié)點(diǎn)、兩個(gè)SQL結(jié)點(diǎn),這五個(gè)結(jié)點(diǎn)會(huì)分別安裝在五個(gè)虛擬機(jī)上,虛擬機(jī)的名稱和IP如下所示:
一、公共配置
請(qǐng)?jiān)谌齻€(gè)虛擬機(jī)上分別配置此處的配置項(xiàng)。
1. 安裝虛擬機(jī)
虛擬機(jī)操作系統(tǒng)安裝CentOS 6.4的x86_64版本,使用NAT網(wǎng)絡(luò),并且還要安裝vmware-tools,具體安裝方法此處不詳述。
2. 拷貝mysql cluster
下載以下版本的MySQL-Cluster:
http://cdn.mysql.com/Downloads/MySQL-Cluster-7.3/mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz
下載得到的壓縮包拷貝至虛擬機(jī)的/root/Downloads目錄,然后在shell中運(yùn)行以下命令:
- cd /root/Downloads
- tar -xvzf mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz
- mv mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64 /usr/local/mysql
3. 關(guān)閉安全策略
關(guān)閉iptables防火墻(或者打開(kāi)防火墻的1186、3306端口),在Shell中運(yùn)行以下命令:
- chkconfig --level 35 iptables off
關(guān)閉SELinux,在Shell中運(yùn)行以下命令:
- gedit /etc/selinux/config
將config文件中的SELINUX項(xiàng)改為disabled,修改后的config文件的內(nèi)容如下:
- # This file controls the state of SELinux on the system.
- # SELINUX= can take one of these three values:
- # enforcing - SELinux security policy is enforced.
- # permissive - SELinux prints warnings instead of enforcing.
- # disabled - No SELinux policy is loaded.
- SELINUX=disabled
- # SELINUXTYPE= can take one of these two values:
- # targeted - Targeted processes are protected,
- # mls - Multi Level Security protection.
- SELINUXTYPE=targeted
***重啟系統(tǒng)
#p#
二、配置管理結(jié)點(diǎn)(192.168.124.141)
1. 配置config.ini配置文件
在shell中運(yùn)行以下命令:
- mkdir /var/lib/mysql-cluster
- cd /var/lib/mysql-cluster
- gedit config.ini
配置文件config.ini內(nèi)容如下:
- [ndbd default]
- NoOfReplicas=2
- DataMemory=80M
- IndexMemory=18M
- [ndb_mgmd]
- NodeId=1
- hostname=192.168.124.141
- datadir=/var/lib/mysql-cluster
- [ndbd]
- NodeId=2
- hostname=192.168.124.142
- datadir=/usr/local/mysql/data
- [ndbd]
- NodeId=3
- hostname=192.168.124.143
- datadir=/usr/local/mysql/data
- [mysqld]
- NodeId=4
- hostname=192.168.124.144
- [mysqld]
- NodeId=5
- hostname=192.168.124.145
2. 安裝管理結(jié)點(diǎn)
安裝管理節(jié)點(diǎn),不需要mysqld二進(jìn)制文件,只需要MySQL Cluster服務(wù)端程序(ndb_mgmd)和監(jiān)聽(tīng)客戶端程序(ndb_mgm)。在shell中運(yùn)行以下命令:
- cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin
- cd /usr/local/bin
- chmod +x ndb_mgm*
三、配置數(shù)據(jù)結(jié)點(diǎn)(192.168.124.142、192.168.124.143)
1. 添加mysql組和用戶
在shell中運(yùn)行以下命令:
- groupadd mysql
- useradd -g mysql mysql
2. 配置my.cnf配置文件
在shell中運(yùn)行以下命令:
- gedit /etc/my.cnf
配置文件my.cnf的內(nèi)容如下:
- [mysqld]
- basedir=/usr/local/mysql
- datadir=/usr/local/mysql/data
- socket=/usr/local/mysql/sock/mysql.sock
- user=mysql
- # Disabling symbolic-links is recommended to prevent assorted security risks
- symbolic-links=0
- [mysqld_safe]
- log-error=/var/log/mysqld.log
- pid-file=/var/run/mysqld/mysqld.pid
- [mysql_cluster]
- ndb-connectstring=192.168.124.141
3. 創(chuàng)建系統(tǒng)數(shù)據(jù)庫(kù)
在shell中運(yùn)行以下命令:
- cd /usr/local/mysql
- mkdir sock
- scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 設(shè)置數(shù)據(jù)目錄
在shell中運(yùn)行以下命令:
- chown -R root .
- chown -R mysql.mysql /usr/local/mysql/data
- chown -R mysql.mysql /usr/local/mysql/sock
- chgrp -R mysql .
5. 配置MySQL服務(wù)
在shell中運(yùn)行以下命令:
- cp support-files/mysql.server /etc/rc.d/init.d/
- chmod +x /etc/rc.d/init.d/mysql.server
- chkconfig --add mysql.server
#p#
四、配置SQL結(jié)點(diǎn)(192.168.124.144、192.168.124.145)
1. 添加mysql組和用戶
在shell中運(yùn)行以下命令:
- groupadd mysql
- useradd -g mysql mysql
2. 配置my.cnf配置文件
在shell中運(yùn)行以下命令:
gedit /etc/my.cnf
配置文件my.cnf的內(nèi)容如下:
- [client]
- socket=/usr/local/mysql/sock/mysql.sock
- [mysqld]
- ndbcluster
- datadir=/usr/local/mysql/data
- socket=/usr/local/mysql/sock/mysql.sock
- ndb-connectstring=192.168.124.141
- [mysql_cluster]
- ndb-connectstring=192.168.124.141
3. 創(chuàng)建系統(tǒng)數(shù)據(jù)庫(kù)
在shell中運(yùn)行以下命令:
- cd /usr/local/mysql
- mkdir sock
- scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 設(shè)置數(shù)據(jù)目錄
在shell中運(yùn)行以下命令:
- chown -R root .
- chown -R mysql.mysql /usr/local/mysql/data
- chown -R mysql.mysql /usr/local/mysql/sock
- chgrp -R mysql .
5. 配置MySQL服務(wù)
在shell中運(yùn)行以下命令:
- cp support-files/mysql.server /etc/rc.d/init.d/
- chmod +x /etc/rc.d/init.d/mysql.server
- chkconfig --add mysql.server
五、Cluster環(huán)境啟動(dòng)
注意啟動(dòng)順序:首先是管理節(jié)點(diǎn),然后是數(shù)據(jù)節(jié)點(diǎn),***是SQL節(jié)點(diǎn)。
1. 啟動(dòng)管理結(jié)點(diǎn)
在shell中運(yùn)行以下命令:
- ndb_mgmd -f /var/lib/mysql-cluster/config.ini
還可以使用ndb_mgm來(lái)監(jiān)聽(tīng)客戶端,如下:
ndb_mgm
2. 啟動(dòng)數(shù)據(jù)結(jié)點(diǎn)
***啟動(dòng),則需要添加--initial參數(shù),以便進(jìn)行NDB節(jié)點(diǎn)的初始化工作。在以后的啟動(dòng)過(guò)程中,則是不能添加該參數(shù)的,否則ndbd程序會(huì)清除在之前建立的所有用于恢復(fù)的數(shù)據(jù)文件和日志文件。
- /usr/local/mysql/bin/ndbd --initial
如果不是***啟動(dòng),則執(zhí)行下面的命令。
- /usr/local/mysql/bin/ndbd
3. 啟動(dòng)SQL結(jié)點(diǎn)
若MySQL服務(wù)沒(méi)有運(yùn)行,則在shell中運(yùn)行以下命令:
- /usr/local/mysql/bin/mysqld_safe --user=mysql &
4. 啟動(dòng)測(cè)試
查看管理節(jié)點(diǎn),啟動(dòng)成功
六、集群測(cè)試
1. 測(cè)試一
現(xiàn)在我們?cè)谄渲幸粋€(gè)SQL結(jié)點(diǎn)上進(jìn)行相關(guān)數(shù)據(jù)庫(kù)的創(chuàng)建,然后到另外一個(gè)SQL結(jié)點(diǎn)上看看數(shù)據(jù)是否同步。
在SQL結(jié)點(diǎn)1(192.168.124.144)上執(zhí)行:
- shell> /usr/local/mysql/bin/mysql -u root -p
- mysql>show databases;
- mysql>create database aa;
- mysql>use aa;
- mysql>CREATE TABLE ctest2 (i INT) ENGINE=NDB; //這里必須指定數(shù)據(jù)庫(kù)表的引擎為NDB,否則同步失敗
- mysql> INSERT INTO ctest2 () VALUES (1);
- mysql> SELECT * FROM ctest2;
然后在SQL結(jié)點(diǎn)2上看數(shù)據(jù)是否同步過(guò)來(lái)了
經(jīng)過(guò)測(cè)試,在非master上創(chuàng)建數(shù)據(jù),可以同步到master上
查看表的引擎是不是NDB,>show create table 表名;
2. 測(cè)試二
關(guān)閉一個(gè)數(shù)據(jù)節(jié)點(diǎn) ,在另外一個(gè)節(jié)點(diǎn)寫輸入,開(kāi)啟關(guān)閉的節(jié)點(diǎn),看數(shù)據(jù)是否同步過(guò)來(lái)。
首先把數(shù)據(jù)結(jié)點(diǎn)1重啟,然后在結(jié)點(diǎn)2上添加數(shù)據(jù)
在SQL結(jié)點(diǎn)2(192.168.124.145)上操作如下:
- mysql> create database bb;
- mysql> use bb;
- mysql> CREATE TABLE ctest3 (i INT) ENGINE=NDB;
- mysql> use aa;
- mysql> INSERT INTO ctest2 () VALUES (3333);
- mysql> SELECT * FROM ctest2;
等數(shù)據(jù)結(jié)點(diǎn)1啟動(dòng)完畢,啟動(dòng)數(shù)據(jù)結(jié)點(diǎn)1的服務(wù)
- #/usr/local/mysql/bin/ndbd --initial#service mysqld start
然后登錄進(jìn)去查看數(shù)據(jù)
- # /usr/local/mysql/bin/mysql -u root –p
可以看到數(shù)據(jù)已經(jīng)同步過(guò)來(lái)了,說(shuō)明數(shù)據(jù)可以雙向同步了。
七、關(guān)閉集群
1. 關(guān)閉管理節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn),只需要在管理節(jié)點(diǎn)(ClusterMgm--134)里執(zhí)行:
- shell> /usr/local/mysql/bin/ndb_mgm -e shutdown
顯示
- Connected to Management Server at: localhost:1186
- 2 NDB Cluster node(s) have shutdown.
- Disconnecting to allow management server to shutdown.
2. 然后關(guān)閉Sql節(jié)點(diǎn)(135,136),分別在2個(gè)節(jié)點(diǎn)里運(yùn)行:
shell> /etc/init.d/mysql.server stop
Shutting down MySQL... SUCCESS!
注意:要再次啟動(dòng)集群,就按照第五部分的啟動(dòng)步驟即可,不過(guò)這次啟動(dòng)數(shù)據(jù)節(jié)點(diǎn)的時(shí)候就不要加”-initial”參數(shù)了。