使用 Ansible 安裝部署 TiDB
一、背景知識(shí)
TiDB 作為一個(gè)分布式數(shù)據(jù)庫,在多個(gè)節(jié)點(diǎn)分別配置安裝服務(wù)會(huì)相當(dāng)繁瑣,為了簡(jiǎn)化操作以及方便管理,使用自動(dòng)化工具來批量部署成為了一個(gè)很好的選擇。
Ansible 是基于 Python 研發(fā)的自動(dòng)化運(yùn)維工具,糅合了眾多老牌運(yùn)維工具的優(yōu)點(diǎn)實(shí)現(xiàn)了批量操作系統(tǒng)配置、批量程序的部署、批量運(yùn)行命令等功能,而且使用簡(jiǎn)單,僅需在管理工作站上安裝 Ansible 程序配置被管控主機(jī)的 IP 信息,被管控的主機(jī)無客戶端?;谝陨显?,我們選用自動(dòng)化工具 Ansible 來批量的安裝配置以及部署 TiDB。
下面我們來介紹如何使用 Ansible 來部署 TiDB。
二、TiDB 安裝環(huán)境配置如下
操作系統(tǒng)使用 CentOS7.2 或者更高版本,文件系統(tǒng)使用 EXT4。
說明:低版本的操作系統(tǒng)(例如 CentOS6.6 )和 XFS 文件系統(tǒng)會(huì)有一些內(nèi)核 Bug,會(huì)影響性能,我們不推薦使用。
我們選擇使用 3 個(gè) PD、2 個(gè) TiDB、3 個(gè) TiKV,這里簡(jiǎn)單說一下為什么這樣部署。
- 對(duì)于 PD 。PD 本身是一個(gè)分布式系統(tǒng),由多個(gè)節(jié)點(diǎn)構(gòu)成一個(gè)整體,并且同時(shí)有且只有一個(gè)主節(jié)點(diǎn)對(duì)外提供服務(wù)。各個(gè)節(jié)點(diǎn)之間通過選舉算法來確定主節(jié)點(diǎn),選舉算法要求節(jié)點(diǎn)個(gè)數(shù)是奇數(shù)個(gè) (2n+1) ,1 個(gè)節(jié)點(diǎn)的風(fēng)險(xiǎn)比較高,所以我們選擇使用 3 個(gè)節(jié)點(diǎn)。
- 對(duì)于 TiKV 。TiDB 底層使用分布式存儲(chǔ),我們推薦使用奇數(shù) (2n+1) 個(gè)備份,掛掉 n 個(gè)備份之后數(shù)據(jù)仍然可用。使用 1 備份或者 2 備份的話,有一個(gè)節(jié)點(diǎn)掛掉就會(huì)造成一部分?jǐn)?shù)據(jù)不可用,所以我們選擇使用 3 個(gè)節(jié)點(diǎn)、設(shè)置 3 個(gè)備份 (默認(rèn)值)。
- 對(duì)于TiDB 。我們的 TiDB 是無狀態(tài)的,現(xiàn)有集群的 TiDB 服務(wù)壓力大的話,可以在其他節(jié)點(diǎn)直接增加 TiDB 服務(wù),無需多余的配置。我們選擇使用兩個(gè) TiDB,可以做 HA 和負(fù)載均衡。
- 當(dāng)然如果只是測(cè)試集群的話,完全可以使用一個(gè) PD 、一個(gè) TiDB 、三個(gè) TiKV (少于三個(gè)的話需要修改備份數(shù)量)
三、下載 TiDB 安裝包并解壓
創(chuàng)建目錄用來存放 ansible 安裝包
- mkdir /root/workspace
切換目錄
- cd /root/workspace
下載安裝包
- wget https://github.com/pingcap/tidb-ansible/archive/master.zip
解壓壓縮包到當(dāng)前目錄下
- unzip master.zip
查看安裝包結(jié)構(gòu),主要內(nèi)容說明如下
- cd tidb-ansible-master && ls
四、部分內(nèi)容含義
- ansible.cfg: ansible 配置文件
- inventoty.ini: 組和主機(jī)的相關(guān)配置
- conf: TiDB 相關(guān)配置模版
- group_vars: 相關(guān)變量配置
- scripts: grafana 監(jiān)控 json 模版
- local_prepare.yml: 用來下載相關(guān)安裝包
- bootstrap.yml: 初始化集群各個(gè)節(jié)點(diǎn)
- deploy.yml: 在各個(gè)節(jié)點(diǎn)安裝 TiDB 相應(yīng)服務(wù)
- roles: ansible tasks 的集合
- start.yml: 啟動(dòng)所有服務(wù)
- stop.yml: 停止所有服務(wù)
- unsafe_cleanup_data.yml: 清除數(shù)據(jù)
- unsafe_cleanup.yml: 銷毀集群
五、修改配置文件
主要配置集群節(jié)點(diǎn)的分布情況,以及安裝路徑。
會(huì)在 tidb_servers 組中的機(jī)器上安裝 TiDB 服務(wù)(其他類似),默認(rèn)會(huì)將所有服務(wù)安裝到變量 deploy_dir 路徑下。
- #將要安裝 TiDB 服務(wù)的節(jié)點(diǎn)
- [tidb_servers]
- 192.168.1.102
- 192.168.1.103
- #將要安裝 TiKV 服務(wù)的節(jié)點(diǎn)
- [tikv_servers]
- 192.168.1.104
- 192.168.1.105
- 192.168.1.106
- #將要安裝 PD 服務(wù)的節(jié)點(diǎn)
- [pd_servers]
- 192.168.1.101
- 192.168.1.102
- 192.168.1.103
- #將要安裝 Promethues 服務(wù)的節(jié)點(diǎn)
- # Monitoring Part
- [monitoring_servers]
- 192.168.1.101
- #將要安裝 Grafana 服務(wù)的節(jié)點(diǎn)
- [grafana_servers]
- 192.168.1.101
- #將要安裝 Node_exporter 服務(wù)的節(jié)點(diǎn)
- [monitored_servers:children]
- tidb_servers
- tikv_servers
- pd_servers
- [all:vars]
- #服務(wù)安裝路徑,每個(gè)節(jié)點(diǎn)均相同,根據(jù)實(shí)際情況配置
- deploy_dir = /home/tidb/deploy
- ## Connection
- #方式一:使用 root 用戶安裝
- # ssh via root:
- # ansible_user = root
- # ansible_become = true
- # ansible_become_user = tidb
- #方式二:使用普通用戶安裝(需要有 sudo 權(quán)限)
- # ssh via normal user
- ansible_user = tidb
- #集群的名稱,自定義即可
- cluster_name = test-cluster
- # misc
- enable_elk = False
- enable_firewalld = False
- enable_ntpd = False
- # binlog trigger
- #是否開啟 pump,pump 生成 TiDB 的 binlog
- #如果有從此 TiDB 集群同步數(shù)據(jù)的需求,可以改為 True 開啟
- enable_binlog = False
安裝過程可以分為 root 用戶安裝和普通用戶安裝兩種方式。有 root 用戶當(dāng)然是***的,修改系統(tǒng)參數(shù)、創(chuàng)建目錄等不會(huì)涉及到權(quán)限不夠的問題,能夠直接安裝完成。 但是有些環(huán)境不會(huì)直接給 root 權(quán)限,這種場(chǎng)景就需要通過普通用戶來安裝。為了配置簡(jiǎn)便,我們建議所有節(jié)點(diǎn)都使用相同的普通用戶;為了滿足權(quán)限要求,我們還需要給這個(gè)普通用戶 sudo 權(quán)限。 下面介紹兩種安裝方式的詳細(xì)過程,安裝完成之后需要手動(dòng)啟動(dòng)服務(wù)。
1. 使用 root 用戶安裝
(1) 下載 Binary 包到 downloads 目錄下,并解壓拷貝到 resources/bin 下,之后的安裝過程就是使用的 resources/bin 下的二進(jìn)制程序
- ansible-playbook -i inventory.ini local_prepare.yml
(2) 初始化集群各個(gè)節(jié)點(diǎn)。會(huì)檢查 inventory.ini 配置文件、Python 版本、網(wǎng)絡(luò)狀態(tài)、操作系統(tǒng)版本等,并修改一些內(nèi)核參數(shù),創(chuàng)建相應(yīng)的目錄。
修改配置文件如下
- ## Connection
- # ssh via root:
- ansible_user = root
- # ansible_become = true
- ansible_become_user = tidb
- # ssh via normal user
- # ansible_user = tidb
執(zhí)行初始化命令
- ansible-playbook -i inventory.ini bootstrap.yml -k #ansible-playboo命令說明請(qǐng)見附錄
(3) 安裝服務(wù)。該步驟會(huì)在服務(wù)器上安裝相應(yīng)的服務(wù),并自動(dòng)設(shè)置好配置文件和所需腳本。
修改配置文件如下
- ## Connection
- # ssh via root:
- ansible_user = root
- ansible_become = true
- ansible_become_user = tidb
- # ssh via normal user
- # ansible_user = tidb
執(zhí)行安裝命令
- ansible-playbook -i inventory.ini deploy.yml -k
2. 使用普通用戶安裝
(1) 下載 Binary 包到中控機(jī)
- ansible-playbook -i inventory.ini local_prepare.yml
(2) 初始化集群各個(gè)節(jié)點(diǎn)。
修改配置文件如下
- ## Connection
- # ssh via root:
- # ansible_user = root
- # ansible_become = true
- # ansible_become_user = tidb
- # ssh via normal user
- ansible_user = tidb
執(zhí)行初始化命令
- ansible-playbook -i inventory.ini bootstrap.yml -k -K
(3) 安裝服務(wù)
- ansible-playbook -i inventory.ini deploy.yml -k -K
六、啟停服務(wù)
(1) 啟動(dòng)所有服務(wù)
- ansible-playbook -i inventory.ini start.yml -k
(2) 停止所有服務(wù)
- ansible-playbook -i inventory.ini stop.yml
(3) 附錄
- ansible-playbook -i inventory.ini xxx.yml -k -K
- -k 執(zhí)行之后需要輸入 ssh 連接用戶的密碼,如果做了中控機(jī)到所有節(jié)點(diǎn)的互信,則不需要此參數(shù)
- -K 執(zhí)行之后需要輸入 sudo 所需的密碼,如果使用 root 用戶或者 sudo 無需密碼,則不需要此參數(shù)
【本文是51CTO專欄作者“PingCAP”的原創(chuàng)文章,轉(zhuǎn)載請(qǐng)聯(lián)系作者本人獲取授權(quán)】