如何使用ubuntu快速部署ceph集群
一、安裝環(huán)境
本文主要根據(jù)官方文檔使用ubuntu14.04部署ceph集群，并且簡(jiǎn)單介紹其基本操作。整個(gè)集群包括一個(gè)admin節(jié)點(diǎn)(admin node,主機(jī)名為node0)和3個(gè)存儲(chǔ)節(jié)點(diǎn)(主機(jī)名分別為node1，node2，node3)，所有節(jié)點(diǎn)均安裝了ubuntu 14.04操作系統(tǒng)，除了admin節(jié)點(diǎn)，其余三個(gè)節(jié)點(diǎn)除了根磁盤，還額外配置一個(gè)磁盤作為單獨(dú)的osd：
- lsblk
輸出結(jié)果：
- NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
- sr0 11:0 1 422K 0 rom
- vda 253:0 0 20G 0 disk
- ├─vda1 253:1 0 19G 0 part /
- ├─vda2 253:2 0 1K 0 part
- └─vda5 253:5 0 1022M 0 part [SWAP]
- vdb 253:16 0 50G 0 disk
由于使用ustack公有云申請(qǐng)的云主機(jī)，因此磁盤是虛擬的，根磁盤為vda，第二塊磁盤為vdb。 所有主機(jī)在192.168.0.0/24這個(gè)網(wǎng)絡(luò),ip為：
- 192.168.0.2 node0
- 192.168.0.5 node1
- 192.168.0.7 node2
- 192.168.0.6 node3
我們先設(shè)置一個(gè)mon節(jié)點(diǎn)，兩個(gè)osd節(jié)點(diǎn)，后續(xù)我們?cè)僭黾庸?jié)點(diǎn)，其架構(gòu)如圖所示：
其中node1作為mon節(jié)點(diǎn)，其余node2，node3作為osd節(jié)點(diǎn)。
注意：后續(xù)操作均使用root賬號(hào)，如果不使用root賬號(hào)登錄，需要?jiǎng)?chuàng)建一個(gè)新的賬號(hào)，該賬號(hào)必須具有免密碼sudo權(quán)限，否則后續(xù)使用ceph-deploy時(shí)會(huì)失敗!
二、安裝前工作
1.設(shè)置admin節(jié)點(diǎn)root免密碼登錄其他節(jié)點(diǎn)
首先使用ssh-keygen生成密鑰，位于~/.ssh/id_rsa.pub,拷貝id_rsa.pub文件到所有節(jié)點(diǎn)中，若沒有設(shè)置root密碼，可以先拷貝到管理員賬號(hào)(安裝操作系統(tǒng)時(shí)使用的用戶，具有sudo權(quán)限)home目錄，然后使用管理員賬號(hào)操作：
- cat id_rsa.pub | sudo tee -a /root/.ssh/authorized_keys
在node0節(jié)點(diǎn)分別測(cè)試，是否可以免密碼登錄其他節(jié)點(diǎn)：
- ssh node0 uptime
- ssh node1 uptime
- ssh node2 uptime
- ssh node3 uptime
結(jié)果應(yīng)該不需要輸入密碼。
2.安裝并行ssh命令
在admin節(jié)點(diǎn)安裝pssh包：
- apt-get install -y pssh
設(shè)置以下別名：
- alias pssh='parallel-ssh'
- alias pscp='parallel-scp'
創(chuàng)建host文件列表hosts.txt:
- node0
- node1
- node2
- node3
測(cè)試下pssh是否工作：
- pssh -h hosts.txt uptime
如果全部結(jié)果都為SUCCESS,則說明正常工作。
3.使用國(guó)內(nèi)鏡像源
為了提高訪問速度，建議修改為國(guó)內(nèi)鏡像源，我們使用的是阿里云鏡像源:
- root@node0:~# cat /etc/apt/sources.list
- deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
拷貝該文件到所有的節(jié)點(diǎn)：
- pscp -h ~/hosts.txt /etc/apt/sources.list /etc/apt/
更新源：
- pssh -h ~/hosts.txt 'apt-get update -y'
4.安裝ceph-deploy
以下操作只需要在admin節(jié)點(diǎn)執(zhí)行，首先需要增加ceph源：
- wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
- echo deb http://download.ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
- # 注意: ceph-stable-release是選擇安裝的版本，我部署時(shí)選擇的是jewel!
# 注意: ceph-stable-release是選擇安裝的版本，我部署時(shí)選擇的是jewel!
安裝ceph-deploy：
- sudo apt-get update && sudo apt-get install ceph-deploy
生產(chǎn)環(huán)境還需要安裝ntp服務(wù)，保證集群的時(shí)鐘一致，這次只是為了測(cè)試，故省略這一步。另外由于ubuntu默認(rèn)防火墻是關(guān)的，SELinux也沒有安裝，故不需要任何操作。使用centos安裝時(shí)需要打開必要端口。
三、開始安裝ceph集群
我們使用ceph-deploy部署，后續(xù)操作均在admin節(jié)點(diǎn)操作。 首先需要?jiǎng)?chuàng)建工作環(huán)境，該環(huán)境會(huì)保存所有的配置文件：
- mkdir my-cluster
- cd my-cluster
接下分別執(zhí)行以下步驟：
1.創(chuàng)建集群
- ceph-deploy new node1
其中node1是mon節(jié)點(diǎn)，執(zhí)行該命令會(huì)生成ceph配置文件、monitor密鑰文件以及日志文件。
2.修改默認(rèn)冗余份數(shù)
由于我們目前只有兩個(gè)osd節(jié)點(diǎn)，而默認(rèn)的冗余份數(shù)是3，因此我們需要設(shè)置為2，如果osd節(jié)點(diǎn)大于2，則此步驟省略。
修改ceph.conf文件，在[global]下增加以下內(nèi)容：
- osd pool default size = 2
3.配置網(wǎng)卡和網(wǎng)絡(luò)
如果主機(jī)有多余一個(gè)網(wǎng)卡，需要設(shè)置使用的網(wǎng)卡和網(wǎng)絡(luò)地址，由于我們主機(jī)只有一張網(wǎng)卡，此步驟省略。
4.開始安裝ceph
- ceph-deploy install node0 node1 node2 node3
5.初始化mon節(jié)點(diǎn)和收集密鑰信息
- ceph-deploy mon create-initial
執(zhí)行完畢，目錄應(yīng)該有以下文件：
- {cluster-name}.client.admin.keyring
- {cluster-name}.bootstrap-osd.keyring
- {cluster-name}.bootstrap-mds.keyring
- {cluster-name}.bootstrap-rgw.keyring
完成以上步驟，安裝完成，但還沒有配置osd節(jié)點(diǎn)。
6.配置osd節(jié)點(diǎn)
首先格式化磁盤，注意我們使用的是/dev/vdb：
- ceph-deploy disk zap node2:vdb
- ceph-deploy disk zap node3:vdb
以上步驟會(huì)清空磁盤的所有數(shù)據(jù)。 接下來創(chuàng)建osd，注意由于我們只是測(cè)試，故沒有使用單獨(dú)的磁盤作為journal，實(shí)際在生產(chǎn)環(huán)境下，需要配備SSD分區(qū)作為journal，能夠***化IO吞吐量。
- ceph-deploy osd create node2:vdb
- ceph-deploy osd create node3:vdb
7.配置admin節(jié)點(diǎn)
admin節(jié)點(diǎn)同時(shí)也作為我們的client節(jié)點(diǎn)，需要拷貝其他節(jié)點(diǎn)的配置文件以及密鑰，使得不需要指定mon地址以及用戶信息就可以直接管理我們的ceph集群，執(zhí)行以下命令即可：
- ceph-deploy admin node0 node1 node2 node3
- sudo chmod +r /etc/ceph/ceph.client.admin.keyring # 保證具有讀取的密鑰的權(quán)限
8.測(cè)試結(jié)果運(yùn)行以下命令：
- ceph health
結(jié)果若返回active + clean狀態(tài)，則說明部署成功!
四、擴(kuò)展節(jié)點(diǎn)
增加node1也作為osd節(jié)點(diǎn)：
- ceph-deploy disk zap node1:vdb
- ceph-deploy osd create node1:vdb
- ceph-deploy osd create node1:vdb
若需要cephFS支持，即需要提供文件系統(tǒng)支持，需要部署metadata server：
- ceph-deploy mds create node1
若需要Ceph Object Gateway支持，即對(duì)象存儲(chǔ)節(jié)點(diǎn)，需要部署一個(gè)RGW實(shí)例，
- ceph-deploy rgw create node1
ceph集群至少需要一個(gè)mon節(jié)點(diǎn)，為了實(shí)現(xiàn)高可用，通常需要設(shè)置多個(gè)(一般設(shè)置為3個(gè))mon節(jié)點(diǎn)，我們把node2，node3也作為mon節(jié)點(diǎn)：
- ceph-deploy mon add node2 node3
當(dāng)有多個(gè)mon節(jié)點(diǎn)時(shí)，ceph將使用quorum算法進(jìn)行同步，查看狀態(tài)：
- ceph quorum_status --format json-pretty
五、塊存儲(chǔ)rbd使用
我們使用默認(rèn)的rbd池，首先創(chuàng)建一個(gè)新的塊設(shè)備(cinder稱為volume，ceph稱為image)：
- rbd create foo --size 4096
查看剛剛創(chuàng)建的實(shí)例：
- rbd ls
- # foo
映射實(shí)例到虛擬設(shè)備中：
- rbd map foo
- # /dev/rbd1
創(chuàng)建文件系統(tǒng)并掛載到/mnt:
- mkfs.ext4 /dev/rbd1
- mount /dev/rbd1 /mnt
- df -h
- Filesystem 1K-blocks Used Available Use% Mounted on
- udev 1014072 12 1014060 1% /dev
- tmpfs 204988 808 204180 1% /run
- /dev/vda1 19478204 1936088 16529636 11% /
- none 4 0 4 0% /sys/fs/cgroup
- none 5120 0 5120 0% /run/lock
- none 1024932 0 1024932 0% /run/shm
- none 102400 0 102400 0% /run/user
- /dev/rbd1 3997376 8184 3763096 1% /mnt
把實(shí)例擴(kuò)容到8GB：
- rbd resize foo --size 8192
- resize2fs /dev/rbd1
- df -h
- Filesystem Size Used Avail Use% Mounted on
- udev 991M 12K 991M 1% /dev
- tmpfs 201M 808K 200M 1% /run
- /dev/vda1 19G 1.9G 16G 11% /
- none 4.0K 0 4.0K 0% /sys/fs/cgroup
- none 5.0M 0 5.0M 0% /run/lock
- none 1001M 0 1001M 0% /run/shm
- none 100M 0 100M 0% /run/user
- /dev/rbd1 7.8G 9.0M 7.4G 1% /mnt
創(chuàng)建實(shí)例快照：
- rbd snap create test@test-snap
六、分布式文件系統(tǒng)使用
創(chuàng)建一個(gè)文件系統(tǒng)：
- ceph osd pool create cephfs_data 128
- ceph osd pool create cephfs_metadata 128
- ceph fs new test_fs cephfs_metadata cephfs_data
- ceph fs ls
- # name: test_fs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
創(chuàng)建secret文件：
- cat ceph.client.admin.keyring
輸出結(jié)果：
- [client.admin]
- key = AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==
把key值拷貝到secret文件：
- echo "AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==" >admin.secret
安裝mount ceph插件：
- apt-get install ceph-fs-common
掛載到本地文件系統(tǒng)/mnt:
- sudo mount -t ceph 192.168.0.5:6789:/ /mnt -o name=admin,secretfile=admin.secret
其中192.168.0.5是node1 ip，也即mon節(jié)點(diǎn)ip地址。
運(yùn)行df命令查看是否掛載成功，成功即可像本地文件系統(tǒng)一樣操作。
七、對(duì)象存儲(chǔ)省略。。。
【本文是51CTO專欄作者“付廣平”的原創(chuàng)文章，如需轉(zhuǎn)載請(qǐng)通過51CTO獲得聯(lián)系】
