使用GFS和DRBD在CentOS 5.5上進行Samba CTDB集群部署
原創(chuàng)【51CTO精選譯文】我們使用了兩個節(jié)點，都是活動節(jié)點，要求是要實現(xiàn)負載均衡，為了復制節(jié)點間的數(shù)據(jù)，我們使用的是DRBD，為了實現(xiàn)主動/主動集群，我們必須使用ClusterFS（這里使用GFS），以便讓兩個節(jié)點可以同時在DEBD資源上執(zhí)行寫操作。
1、初步說明
Linux發(fā)行版：我們使用的是CentOS 5.5 64位發(fā)行版，當然本文介紹的方法一樣適用于Fedora和Red Hat Enterprise Linux，CentOS的安裝很簡單，安裝時選擇基礎包和其它你需要的軟件包，值得注意的是，我們使用DRBD復制節(jié)點之間的數(shù)據(jù)，它需要獨占一個磁盤或分區(qū)，因此在安裝CentOS時注意預留好空間或直接為DRBD創(chuàng)建好一個分區(qū)。
網(wǎng)絡硬件和拓撲結構：在每個節(jié)點上，我們使用了兩塊千兆網(wǎng)卡，一個（eth0）連接到網(wǎng)絡（LAN），另一個（eth1）通過交叉線實現(xiàn)兩個節(jié)點間的連接，DRBD在兩個節(jié)點之間復制數(shù)據(jù)時，是不會通過網(wǎng)絡交換機或其它網(wǎng)絡設備的，而是直接走交叉線。
- 本教程使用的兩個物理節(jié)點分別是：node1.clusterbr.int和node2.clusterbr.int。
- node1.clustersmb.int：使用IP 10.0.0.181 (LAN) 和IP 172.16.0.1 (交叉)
- node2.clustersmb.int：使用IP 10.0.0.182 (LAN) 和IP 172.16.0.2 (交叉)
- vip1.clustersmb.int：它是集群IP，來自節(jié)點1 10.0.0.183
- vip2.clustersmb.int：它是集群IP，來自節(jié)點2 10.0.0.184
磁盤：兩個節(jié)點均配備了兩塊磁盤，/dev/sda安裝操作系統(tǒng)，/dev/sdb供DRBD使用，正如前面提到的，只使用一塊磁盤也是可以的，只需要為DRBD分配一個獨立的分區(qū)即可。
CTDB：它是TDB的集群實現(xiàn)，為了在集群文件系統(tǒng)上使用Samba，我們需要一個主動/主動集群，讓兩邊的smb服務都能響應網(wǎng)絡請求，詳細信息請參考http://ctdb.samba.org/。
2、準備節(jié)點
首先，我們需要禁用SELinux，用vi打開selinux配置文件：
vi /etc/selinux/config
修改下面這一行內(nèi)容，其它內(nèi)容不變：
SELINUX=disabled
接下來需要修改主機名和節(jié)點的網(wǎng)關。
vi /etc/sysconfig/network
節(jié)點1：
NETWORKING=yes NETWORKING_IPV6=no HOSTNAME=node1.clustersmb.int GATEWAY=10.0.0.9
節(jié)點2：
NETWORKING=yes NETWORKING_IPV6=no HOSTNAME=node2.clustersmb.int GATEWAY=10.0.0.9
接下來配置網(wǎng)絡接口。
節(jié)點1 LAN接口：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
內(nèi)容如下：
DEVICE=eth0 BOOTPROTO=static IPADDR=10.0.0.181 NETMASK=255.255.255.0 ONBOOT=yes HWADDR=a6:1e:3d:67:66:78
節(jié)點1交叉/DRBD接口：
vi /etc/sysconfig/network-scripts/ifcfg-eth1
內(nèi)容如下：
DEVICE=eth1 BOOTPROTO=static IPADDR=172.16.0.1 NETMASK=255.255.255.0 ONBOOT=yes HWADDR=ee:ef:ff:9a:9a:57
節(jié)點2 LAN 接口：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
內(nèi)容如下：
DEVICE=eth0 BOOTPROTO=static IPADDR=10.0.0.182 NETMASK=255.255.255.0 ONBOOT=yes HWADDR=52:52:a1:1a:62:32
節(jié)點2交叉/DRBD接口：
vi /etc/sysconfig/network-scripts/ifcfg-eth1
內(nèi)容如下：
DEVICE=eth1 BOOTPROTO=static IPADDR=172.16.0.2 NETMASK=255.255.255.0 ONBOOT=yes HWADDR=1a:18:b2:50:96:1e
接下來在兩個節(jié)點上設置DNS配置。
vi /etc/resolv.conf
內(nèi)容如下：
search clustersmb.int nameserver 10.0.0.9
接下來配置基本的主機名解析，打開/etc/hosts文件：
vi /etc/hosts
內(nèi)容如下：
127.0.0.1localhost.localdomain localhost 10.0.0.191 node1.clustersmb.intnode1 10.0.0.192 node2.clustersmb.intnode2
Ps：這里根據(jù)你的實際情況可以添加更多類似的快速解析條目。
設置好后，檢查一下網(wǎng)絡連接是否正常，首先在節(jié)點1上通過LAN接口ping節(jié)點2。
[root@node1 ~]# ping -c 2 node2 PING node2 (10.0.0.182) 56(84) bytes of data. 64 bytes from node2 (10.0.0.182): icmp_seq=1 ttl=64 time=0.089 ms 64 bytes from node2 (10.0.0.182): icmp_seq=2 ttl=64 time=0.082 ms --- node2 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 999ms rtt min/avg/max/mdev = 0.082/0.085/0.089/0.009 ms
然后通過交叉接口ping節(jié)點2。
[root@node1 ~]# ping -c 2 172.16.0.2 PING 172.16.0.2 (172.16.0.2) 56(84) bytes of data. 64 bytes from 172.16.0.2: icmp_seq=1 ttl=64 time=0.083 ms 64 bytes from 172.16.0.2: icmp_seq=2 ttl=64 time=0.083 ms --- 172.16.0.2 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 999ms rtt min/avg/max/mdev = 0.083/0.083/0.083/0.000 ms
一切正常，然后在節(jié)點2上通過LAN接口ping節(jié)點1。
[root@node2 ~]# ping -c 2 node1 PING node1 (10.0.0.181) 56(84) bytes of data. 64 bytes from node1 (10.0.0.181): icmp_seq=1 ttl=64 time=0.068 ms 64 bytes from node1 (10.0.0.181): icmp_seq=2 ttl=64 time=0.063 ms --- node1 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 999ms rtt min/avg/max/mdev = 0.063/0.065/0.068/0.008 ms
接下來通過交叉接口ping節(jié)點1。
[root@node2 ~]# ping -c 2 172.16.0.1 PING 172.16.0.1 (172.16.0.1) 56(84) bytes of data. 64 bytes from 172.16.0.1: icmp_seq=1 ttl=64 time=1.36 ms 64 bytes from 172.16.0.1: icmp_seq=2 ttl=64 time=0.075 ms --- 172.16.0.1 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1001ms rtt min/avg/max/mdev = 0.075/0.722/1.369/0.647 ms
配置啟動選項，我將啟動級別設為3。
vi /etc/inittab
修改下面這行內(nèi)容，其它不變。
id:3:initdefault:
我喜歡將多余的啟動服務去掉，只留下真正需要的服務，下面是我需要的服務列表。
現(xiàn)在需要重啟兩個節(jié)點，讓配置生效。
Reboot
#p#
3、安裝先決條件和集群程序包
在開始之前需要安裝一些先決條件程序包。
yum -y install drbd82 kmod-drbd82 samba
接下來安裝Red Hat集群套件。
yum -y groupinstall "Cluster Storage" "Clustering"
4、配置DRBD
首先，我們需要在兩個節(jié)點上配置/etc/drbd.conf。
vi /etc/drbd.conf
內(nèi)容如下：
global {
usage-count yes;
}
common {
syncer {
rate 100M;
al-extents 257;
}
}
resource r0 {
protocol C;
startup {
become-primary-on both; ### For Primary/Primary ###
degr-wfc-timeout 60;
wfc-timeout30;
}
disk {
on-io-errordetach;
}
net {
allow-two-primaries;### For Primary/Primary ###
cram-hmac-alg sha1;
shared-secret "mysecret";
after-sb-0pri discard-zero-changes;
after-sb-1pri violently-as0p;
after-sb-2pri violently-as0p;
}
on node1.clustersmb.int {
device /dev/drbd0;
disk/dev/sdb;
address172.16.0.1:7788;
meta-diskinternal;
}
on node2.clustersmb.int {
device /dev/drbd0;
disk/dev/sdb;
address172.16.0.1:7788;
meta-diskinternal;
}
}
配置要點：
Resource：由DRBD管理的資源，注意我們稱之為“r0”。
Disk：DRBD要使用的磁盤（或磁盤分區(qū)）。
Address：DRBD要使用的IP地址和端口號（注意我們使用的是交叉接口）。
Syncer：節(jié)點間的傳輸速度（我們使用100M，因為我們用的是千兆網(wǎng)卡）。
如果要任何疑問，請參考DRBD用戶指南：www.drbd.org/users-guide-emb/。
接下來我們在r0資源上創(chuàng)建元數(shù)據(jù)，在兩個節(jié)點上執(zhí)行下面的命令：
drbdadm create-md r0
接下來啟動DRBD服務，創(chuàng)建initdb，在兩個節(jié)點上執(zhí)行下面的命令：
/etc/init.d/drbd start
為了讓兩個節(jié)點都成為主節(jié)點，在兩個節(jié)點上執(zhí)行下面的命令：
drbdsetup /dev/drbd0 primary -o
如果要檢查同步的進度和DRBD資源的狀態(tài)，查看/proc/drbd：
cat /proc/drbd
現(xiàn)在需要等待同步結束，根據(jù)同步數(shù)據(jù)大小和磁盤性能，這個時間可能會很長，同步結束后，我們可以查看資源r0的狀態(tài)。
節(jié)點1：
[root@node1 ~]# cat /proc/drbd version: 8.2.6 (api:88/proto:86-88) GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by buildsvn@c5-x8664-build, 2008-10-03 11:30:17 0: cs:Connected st:Primary/Primary ds:UpToDate/UpToDate C r--- ns:2097052 nr:0 dw:0 dr:2097052 al:0 bm:128 lo:0 pe:0 ua:0 ap:0 oos:0
節(jié)點2：
[root@node2 ~]# cat /proc/drbd version: 8.2.6 (api:88/proto:86-88) GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by buildsvn@c5-x8664-build, 2008-10-03 11:30:17 0: cs:Connected st:Primary/Primary ds:UpToDate/UpToDate C r--- ns:0 nr:2097052 dw:2097052 dr:0 al:0 bm:128 lo:0 pe:0 ua:0 ap:0 oos:0
需要注意的是，兩個服務器都是最新狀態(tài)（UpToDate/UpToDate），都是主節(jié)點（Primary/Primary），有關狀態(tài)的詳細信息，請參考www.drbd.org/users-guide-emb/ch-admin.html#s-proc-drbd。
我們需要將DRBD服務設為隨系統(tǒng)啟動而啟動。
chkconfig --level 35 drbd on
#p#
5、配置GFS
接下來需要配置Red Hat全局文件系統(tǒng)（GFS），它是DRBD要使用的集群文件系統(tǒng)，首先，我們需要在兩個節(jié)點上配置/etc/cluster/cluster.conf。
vi /etc/cluster/cluster.conf
內(nèi)容如下：
<?xml version="1.0\"?> <cluster name="cluster1" config_version="3"> <cman two_node="1" expected_votes="1"/> <clusternodes> <clusternode name="node1.clustersmb.int" votes="1" nodeid="1"> <fence> <method name="single"> <device name="manual" ipaddr="10.0.0.181"/> </method> </fence> </clusternode> <clusternode name="node2.clustersmb.int" votes="1" nodeid="2"> <fence> <method name="single"> <device name="manual" ipaddr="10.0.0.182"/> </method> </fence> </clusternode> </clusternodes> <fence_daemon clean_start="1" post_fail_delay="0" post_join_delay="3"/> <fencedevices> <fencedevice name="manual" agent="fence_manual"/> </fencedevices> </cluster>
接下來需要在兩個節(jié)點上啟動cman服務（同時啟動）。
/etc/init.d/cman start
然后在兩個節(jié)點上啟動其他服務。
/etc/init.d/clvmd start /etc/init.d/gfs start /etc/init.d/gfs2 start
我們必須確保兩個節(jié)點上所有服務都在系統(tǒng)初始化時啟動。
chkconfig --level 35 cman on chkconfig --level 35 clvmd on chkconfig --level 35 gfs on chkconfig --level 35 gfs2 on
接下來在任一節(jié)點上格式化設備。
gfs_mkfs -p lock_dlm -t cluster1:gfs -j 2 /dev/drbd0
然后在兩個節(jié)點上創(chuàng)建掛載點，并掛載drbd設備。
mkdir /clusterdata mount -t gfs /dev/drbd0 /clusterdata
在兩個節(jié)點上，將設備添加到fstab中。
vi /etc/fstab
在文件后面追加：
/dev/drbd0 /clusterdatagfsdefaults0 0
接下來最好檢查一下集群文件系統(tǒng)是否工作正常，在節(jié)點1上執(zhí)行：
tar -zcvf /clusterdata/backup-test.tgz /etc/
然后在節(jié)點2上檢查文件是否存在。
[root@node2 ~]# ls -l /clusterdata total 12576 -rw-r--r-- 1 root root 12844520 Jul 23 16:01 backup-test.tgz
接下來測試節(jié)點2是否可寫入，在節(jié)點2上執(zhí)行：
tar -zcvf /clusterdata/backup-test2.tgz /etc/
在節(jié)點1上檢查兩個文件是否存在。
[root@no2 ~]# ls -l /clusterdata/ total 25160 -rw-r--r-- 1 root root 12850665 Jul 23 16:03 backup-test2.tgz -rw-r--r-- 1 root root 12844520 Jul 23 16:01 backup-test.tgz
如果一切正常，我們還可以在任一節(jié)點上刪除文件。
rm -f /clusterdata/backup*
#p#
6、配置Samba
Samba配置非常簡單，相關教程已經(jīng)很多，本文不打算詳細講解如何配置Samba，只簡要介紹一些基本的配置，在兩個節(jié)點上執(zhí)行：
vi /etc/samba/smb.conf
內(nèi)容如下：
[global] clustering = yes idmap backend = tdb2 private dir=/clusterdata/ctdb fileid:mapping = fsname use mmap = no nt acl support = yes ea support = yes [public] comment = public share path = /clusterdata/public public = yes writeable = yes only guest = yes
我們必須在任一節(jié)點上創(chuàng)建Samba要使用的目錄。
mkdir /clusterdata/ctdb mkdir /clusterdata/public chmod 777 /clusterdata/public
在任一節(jié)點上執(zhí)行下面的命令給Samba添加root用戶：
smbpasswd -a root
7、配置CTDB
安裝CTDB的過程很簡單，首先下載它（注意，下面的操作要在兩個節(jié)點上執(zhí)行）。
cd /usr/src rsync -avz samba.org::ftp/unpacked/ctdb . cd ctdb/
編譯
cd /usr/src/ctdb/ ./autogen.sh ./configure make make install
創(chuàng)建啟動腳本，配置鏈接。
cp config/ctdb.sysconfig /etc/sysconfig/ctdb cp config/ctdb.init /etc/rc.d/init.d/ctdb chmod +x /etc/init.d/ctdb ln -s /usr/local/etc/ctdb/ /etc/ctdb ln -s /usr/local/bin/ctdb /usr/bin/ctdb ln -s /usr/local/sbin/ctdbd /usr/sbin/ctdbd
接下來在兩個節(jié)點上打開/etc/sysconfig/ctdb文件。
vi /etc/sysconfig/ctdb
內(nèi)容修改如下：
CTDB_RECOVERY_LOCK="/dadoscluster/ctdb/storage" CTDB_PUBLIC_INTERFACE=eth0 CTDB_PUBLIC_ADDRESSES=/etc/ctdb/public_addresses CTDB_MANAGES_SAMBA=yes ulimit -n 10000 CTDB_NODES=/etc/ctdb/nodes CTDB_LOGFILE=/var/log/log.ctdb CTDB_DEBUGLEVEL=2 CTDB_PUBLIC_NETWORK="10.0.0.0/24" CTDB_PUBLIC_GATEWAY="10.0.0.9"
然后在兩個節(jié)點上打開/etc/ctdb/public_addresses。
vi /etc/ctdb/public_addresses
內(nèi)容如下：
10.0.0.183/24 10.0.0.184/24
接著在兩個節(jié)點上打開/etc/ctdb/nodes。
vi /etc/ctdb/nodes
內(nèi)容如下：
10.0.0.181 10.0.0.182
再在兩個節(jié)點上打開/etc/ctdb/events.d/11.route。
vi /etc/ctdb/events.d/11.route
內(nèi)容如下：
#!/bin/sh . /etc/ctdb/functions loadconfig ctdb cmd="$1" shift case $cmd in takeip) # we ignore errors from this, as the route might be up already when we're grabbing # a 2nd IP on this interface /sbin/ip route add $CTDB_PUBLIC_NETWORK via $CTDB_PUBLIC_GATEWAY dev $1 2> /dev/null ;; esac exit 0
給腳本設置可執(zhí)行權限。
chmod +x /etc/ctdb/events.d/11.route
最后，啟動相關服務。
/etc/init.d/ctdb start /etc/init.d/smb start chkconfig --level 35 ctdb on chkconfig --level 35 smb on
至此，一個Samba主動/主動集群就搭建好了。
原文名：Setting Up An Active/Active Samba CTDB Cluster Using GFS & DRBD (CentOS 5.5)
作者：rafatmb
【51CTO精選譯文 轉載請標明出處與譯者】
【編輯推薦】
