手把手教你從 0 到 1 搭建一套 RocketMQ 集群
大家好,我是君哥。今天來分享怎樣搭建 RocketMQ 集群。
本文搭建集群使用的環(huán)境是 2 個云主機,架構如下:
在 47.xx.xx.xx 和 39.xx.xx.xx 上分別部署一個 Name Server 和 Broker 主節(jié)點,這里不搭建從節(jié)點。也就是官網(wǎng)介紹的 2m-noslave 構建模式。
注意:官網(wǎng)有三種配置模式:2m-2s-sync、2m-2s-async、2m-noslave。這三種配置都是使用異步刷盤策略:ASYNC_FLUSH。
集群搭建成功后,Broker 會向 Name Server 注冊 Topic 路由信息,Producer 和 Consumer 則從 Name Server 獲取路由信息,然后 Producer 根據(jù)路由信息向 Broker 發(fā)送消息,Consumer 則根據(jù)路由信息從 Broker 拉取消息。
1 準備工作
要安裝 RocketMQ,首先需要在云主機上安裝 Java 環(huán)境,Maven 環(huán)境。這里就不做詳細介紹了。
Java 和 Maven 環(huán)境安裝好以后,從官網(wǎng)下載最新版本,地址如下:
https://dlcdn.apache.org/rocketmq/4.9.4/rocketmq-all-4.9.4-bin-release.zip
下載完成后,進行解壓和編譯,執(zhí)行如下命令:
> unzip rocketmq-all-4.9.4-source-release.zip
> cd rocketmq-all-4.9.4-source-release/
> mvn -Prelease-all -DskipTests clean install -U
> cd distribution/target/rocketmq-4.9.4/rocketmq-4.9.4
看到下圖輸出時,編譯成功:
2 啟動
2.1 啟動 Name Server
因為我的云主機內(nèi)存比較小,而 RocketMQ 默認啟動 Name Server 需要的 JVM 堆內(nèi)存默認是 4g,所以需要修改默認堆內(nèi)存。修改文件為:
rocketmq-all-4.9.4-source-release/distribution/target/rocketmq-4.9.4/rocketmq-4.9.4/bin/runserver.sh
修改后的配置如下:
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
修改完成后,執(zhí)行下面命令:
nohup sh bin/mqnamesrv &
啟動成功后,nohup.out 文件中打印如下日志:
The Name Server boot success. serializeType=JSON
搭建好一臺機器后,用同樣的方式搭建第二臺機器。
2.2 啟動 Broker
同樣,RocketMQ 啟動 Broker 需要的 JVM 堆內(nèi)存默認是 8g,所以需要修改堆內(nèi)存。修改文件為:
rocketmq-all-4.9.4-source-release/distribution/target/rocketmq-4.9.4/rocketmq-4.9.4/bin/runbroker.sh
修改后的配置如下:
JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m"
創(chuàng)建 conf.properties 文件,內(nèi)容如下:
brokerClusterName = MyTestCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
namesrvAddr=127.0.0.1:9876;47.xx.xx.xx:9876
配置好后,啟動 broker-a 節(jié)點,啟動 命令如下:
nohup bash bin/mqbroker -c conf/broker.properties &
Broker 啟動成功后,Name Server 的日志如下圖:
用同樣的方式啟動 broker-b,conf.properties 文件配置如下:
#集群名稱
brokerClusterName = MyTestCluster
#broker名稱
brokerName = broker-b
brokerId = 0
#刪除消息存儲過期文件的時間為凌晨4點
deleteWhen = 04
#未發(fā)生更新的消息存儲文件的保留時長為48小時,48小時后過期,將會被刪除
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
namesrvAddr=127.0.0.1:9876;xx.xx.xx.xx:9876
啟動成功后,執(zhí)行 mqadmin 命令查看集群信息:
[root@rocketmq-4.9.4]# ./bin/mqadmin topicList -n 127.0.0.1:9876
MyTestCluster
RMQ_SYS_TRANS_HALF_TOPIC
BenchmarkTest
OFFSET_MOVED_EVENT
iZ8vbfyc7hfzygtpgapblyZ
TBW102
SELF_TEST_TOPIC
DefaultCluster
iZ2ze4m2ri7irk6au5mbfgZ
SCHEDULE_TOPIC_XXXX
DefaultCluster_REPLY_TOPIC
broker-b
broker-a
MyTestCluster_REPLY_TOPIC
注意:執(zhí)行上面命令需要修改 bin/tools.sh 中的 JVM 參數(shù),配置如下:
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=128m"
3 dashboard
3.1 安裝
安裝 dashboard,需要編譯源代碼,源碼 github 地址如下:
https://github.com/apache/rocketmq-dashboard
下載之后,修改 application.yml 參數(shù),我這里只修改了 Name Server 地址:
rocketmq:
config:
namesrvAddrs:
- 127.0.0.1:9876
- 47.xx.xx.xx:9876
然后執(zhí)行 Maven 打包命令,打出 jar 包:
mvn clean package -Dmaven.test.skip=true
打好 jar 包后上傳到服務器,執(zhí)行下面命令啟動:
java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar
啟動成功后,輸出下圖的日志:
3.2 測試
瀏覽器輸入 http://39.xx.xx.xx:8080/ 界面如下:
使用下面命令創(chuàng)建一個 Topic,名字叫 MyTestTopic:
sh bin/mqadmin updateTopic -n 127.0.0.1:9876\;47.92.71.246:9876 -c MyTestCluster -t MyTestTopic
這是可以在界面上看到創(chuàng)建的 Topic,如下圖:
使用命令發(fā)送一條消息:
[root@rocketmq-4.9.4]# sh bin/mqadmin sendMessage -n 127.0.0.1:9876 -t MyTestTopic -p 'hello test message'
#Broker Name #QID #Send Result #MsgId
broker-a 1 SEND_OK 7F000001D3C3339097527B50D1740000
在界面上查看消息,如下圖:
4 總結
這篇文章主要講述了 RocketMQ 集群的搭建,希望能對大家理解 RocketMQ 有所幫助。