自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

<sub id="t9lxp"></sub>

51CTO首頁(yè)

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

WOT技術(shù)大會(huì)

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線學(xué)習(xí)

文章資源問(wèn)答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

搭了一個(gè)RocketMQ高可用集群，同事直呼哇塞！

作者：不才陳某 2022-12-20 08:32:02

開發(fā) 前端

本節(jié)內(nèi)容主要介紹了MQ的基本知識(shí)以及RocketMQ集群搭建過(guò)程，有興趣的可以按照筆者的整個(gè)搭建過(guò)程嘗試一遍，至于其中一些配置屬性以及生產(chǎn)、消費(fèi)消息將會(huì)在后文介紹。

RocketMQ作為阿里系的一款開源的MQ中間件，經(jīng)歷了雙十一的高并發(fā)場(chǎng)景的消息流轉(zhuǎn)，能夠處理萬(wàn)億級(jí)別的消息。

這篇文章將作為《RocketMQ 進(jìn)階》專欄的第一篇文章，介紹一下實(shí)際生產(chǎn)中如何搭建一個(gè)高可用的RocketMQ集群。集群整體架構(gòu)圖如下：

為什么要用MQ？

消息隊(duì)列是一種“先進(jìn)先出”的數(shù)據(jù)結(jié)構(gòu)

其應(yīng)用場(chǎng)景主要包含以下3個(gè)方面

1、應(yīng)用解耦

系統(tǒng)的耦合性越高，容錯(cuò)性就越低。以電商應(yīng)用為例，用戶創(chuàng)建訂單后，如果耦合調(diào)用庫(kù)存系統(tǒng)、物流系統(tǒng)、支付系統(tǒng)，任何一個(gè)子系統(tǒng)出了故障或者因?yàn)樯?jí)等原因暫時(shí)不可用，都會(huì)造成下單操作異常，影響用戶使用體驗(yàn)。

使用消息隊(duì)列解耦合，系統(tǒng)的耦合性就會(huì)提高了。比如物流系統(tǒng)發(fā)生故障，需要幾分鐘才能來(lái)修復(fù)，在這段時(shí)間內(nèi)，物流系統(tǒng)要處理的數(shù)據(jù)被緩存到消息隊(duì)列中，用戶的下單操作正常完成。當(dāng)物流系統(tǒng)回復(fù)后，補(bǔ)充處理存在消息隊(duì)列中的訂單消息即可，終端系統(tǒng)感知不到物流系統(tǒng)發(fā)生過(guò)幾分鐘故障。

2、流量削峰

應(yīng)用系統(tǒng)如果遇到系統(tǒng)請(qǐng)求流量的瞬間猛增，有可能會(huì)將系統(tǒng)壓垮。有了消息隊(duì)列可以將大量請(qǐng)求緩存起來(lái)，分散到很長(zhǎng)一段時(shí)間處理，這樣可以大大提到系統(tǒng)的穩(wěn)定性和用戶體驗(yàn)。

一般情況，為了保證系統(tǒng)的穩(wěn)定性，如果系統(tǒng)負(fù)載超過(guò)閾值，就會(huì)阻止用戶請(qǐng)求，這會(huì)影響用戶體驗(yàn)，而如果使用消息隊(duì)列將請(qǐng)求緩存起來(lái)，等待系統(tǒng)處理完畢后通知用戶下單完畢，這樣總不能下單體驗(yàn)要好。

處于經(jīng)濟(jì)考量目的：

業(yè)務(wù)系統(tǒng)正常時(shí)段的QPS如果是1000，流量最高峰是10000，為了應(yīng)對(duì)流量高峰配置高性能的服務(wù)器顯然不劃算，這時(shí)可以使用消息隊(duì)列對(duì)峰值流量削峰

3、數(shù)據(jù)分發(fā)

通過(guò)消息隊(duì)列可以讓數(shù)據(jù)在多個(gè)系統(tǒng)更加之間進(jìn)行流通。數(shù)據(jù)的產(chǎn)生方不需要關(guān)心誰(shuí)來(lái)使用數(shù)據(jù)，只需要將數(shù)據(jù)發(fā)送到消息隊(duì)列，數(shù)據(jù)使用方直接在消息隊(duì)列中直接獲取數(shù)據(jù)即可

各種MQ產(chǎn)品的比較

常見的MQ產(chǎn)品包括Kafka、ActiveMQ、RabbitMQ、RocketMQ。

關(guān)于MQ技術(shù)選型詳細(xì)可以看筆者之前的文章：聊聊 MQ 技術(shù)選型

RocketMQ中的幾個(gè)重要角色

從上述的集群架構(gòu)圖中可以知道RocketMQ中涉及到的幾個(gè)重要的角色：

NameServer：相當(dāng)于微服務(wù)中的注冊(cè)中心，提供broker的服務(wù)發(fā)現(xiàn)和注冊(cè)功能，各個(gè)節(jié)點(diǎn)之間無(wú)相互通信，一旦broker節(jié)點(diǎn)啟動(dòng)，將會(huì)主動(dòng)上報(bào)信息給NameServer。
producer：消息生產(chǎn)者，發(fā)送消息給broker；擁有同一個(gè)的groupId的producer為一個(gè)集群
broker：消息暫存和傳輸，接收producer發(fā)送的消息，采用push/pull模式傳遞給consumer
consumer：消息消費(fèi)者，消費(fèi)broker傳遞的消息，擁有同一個(gè)groupId的consumer為一個(gè)集群

以上四個(gè)是RocketMQ對(duì)外四種角色，另外內(nèi)部還有一些重要角色，如下：

Topic：消息主題，通過(guò)Topic對(duì)不同的業(yè)務(wù)消息進(jìn)行分類。
Tag：消息標(biāo)簽，用來(lái)進(jìn)一步區(qū)分某個(gè)Topic下的消息分類，消息從生產(chǎn)者發(fā)出即帶上的屬性。
Message Queue：隊(duì)列，相當(dāng)于Topic的分區(qū)，用于并行發(fā)送和消費(fèi)消息，一個(gè)Topic中對(duì)應(yīng)多個(gè)Queue

關(guān)于Topic和Tag的區(qū)別：比如電商中的下單、支付流程，為了提高并發(fā)量通常都會(huì)使用消息隊(duì)列進(jìn)行異步處理，那么可以定義消息的Topic為Topic_order，但是其中還涉及了創(chuàng)建訂單、付款、完成訂單這三類消息，如何去區(qū)分？

此時(shí)就該用到Tag去細(xì)分了，此時(shí)的對(duì)應(yīng)關(guān)系如下圖：

Topic和Message Queue的關(guān)系如下圖：

一個(gè)Topic中包含多個(gè)Message Queue（隊(duì)列）

RocketMQ下載

阿里將RocketMQ貢獻(xiàn)給了Apache，所以要去Apache的官網(wǎng)去下載對(duì)應(yīng)的版本；

地址：https://rocketmq.apache.org/dowloading/releases/

我的《RocketMQ 進(jìn)階》這個(gè)專欄選用的版本是4.9.4

下載地址：https://rocketmq.apache.org/download

集群特點(diǎn)

針對(duì)RocketMQ對(duì)外的四種角色，集群部署有以下幾點(diǎn)需要注意的地方：

NameServer之間是不相互通信的，因此NameServer集群部署非常簡(jiǎn)單，直接啟動(dòng)多個(gè)服務(wù)
broker部署分為master和slave節(jié)點(diǎn)，一個(gè)master對(duì)應(yīng)多個(gè)slave節(jié)點(diǎn)，主從節(jié)點(diǎn)通過(guò)brokerId區(qū)分，主節(jié)點(diǎn)為0，從節(jié)點(diǎn)為1；每個(gè)broker與NameServer建立長(zhǎng)連接，定時(shí)注冊(cè)Topic信息到NameServer中。
producer與NameServer中的任意一個(gè)節(jié)點(diǎn)建立長(zhǎng)連接，定期獲取Topic路由信息，并向提供Topic服務(wù)的Master建立長(zhǎng)連接，且定時(shí)向Master發(fā)送心跳。Producer完全無(wú)狀態(tài)，可集群部署。
consumer與NameServer集群中的其中一個(gè)節(jié)點(diǎn)（隨機(jī)選擇）建立長(zhǎng)連接，定期從NameServer取Topic路由信息，并向提供Topic服務(wù)的Master、Slave建立長(zhǎng)連接，且定時(shí)向Master、Slave發(fā)送心跳。Consumer既可以從Master訂閱消息，也可以從Slave訂閱消息，訂閱規(guī)則由Broker配置決定。

集群模式

注意這里說(shuō)的集群模式是針對(duì)broker，因?yàn)樯婕暗絙roker的節(jié)點(diǎn)之間的數(shù)據(jù)同步問(wèn)題。

NameServer各個(gè)節(jié)點(diǎn)間不互相通信，只需要啟動(dòng)多個(gè)服務(wù)便可實(shí)現(xiàn)一個(gè)集群

RocketMQ支持四種集群模式，如下：

1. 單Master模式

不建議使用，一旦服務(wù)重啟或者宕機(jī)將導(dǎo)致整個(gè)服務(wù)不可用

2. 多Master模式

這個(gè)集群模式無(wú)slave節(jié)點(diǎn)，全部都是master節(jié)點(diǎn)，該模式如下圖：

該模式的優(yōu)缺點(diǎn)如下：

優(yōu)點(diǎn)：該模式性能最高
缺點(diǎn)：一旦一臺(tái)服務(wù)宕機(jī)了，那么在這臺(tái)服務(wù)上的消息不能被訂閱消費(fèi)，消息實(shí)時(shí)性會(huì)受到影響

3. 多Master多Slave（同步）

每個(gè)master對(duì)應(yīng)一個(gè)slave節(jié)點(diǎn)，有多對(duì)master-slave，主從之間的數(shù)據(jù)復(fù)制采用同步雙寫的形式，如下圖：

主從同步雙寫是什么意思？

producer發(fā)送一條消息給broker的主節(jié)點(diǎn)，只有主節(jié)點(diǎn)將數(shù)據(jù)同步到從節(jié)點(diǎn)才會(huì)返回結(jié)果

此時(shí)的發(fā)送消息流程如下：

需要經(jīng)過(guò)以上4步才能實(shí)現(xiàn)消息發(fā)送成功，此時(shí)如果主從數(shù)據(jù)復(fù)制阻塞，那么producer必須等待直到成功。

這種模式的優(yōu)缺點(diǎn)如下：

優(yōu)點(diǎn)：無(wú)單點(diǎn)故障，數(shù)據(jù)不會(huì)丟失，即使master宕機(jī)了，salve節(jié)點(diǎn)依然能夠?qū)ν馓峁┓?wù)
缺點(diǎn)：由于是同步復(fù)制，性能比異步復(fù)制的模式低

4. 多Master多Slave（異步）

每個(gè)Master配置一個(gè)Slave，有多對(duì)master-slave，采用異步復(fù)制的方式，如下：

消息發(fā)送到的master后直接返回，不必等待主從復(fù)制，而是內(nèi)部通過(guò)異步的方式進(jìn)行復(fù)制。

該種模式的優(yōu)缺點(diǎn)如下：

優(yōu)點(diǎn)：無(wú)單點(diǎn)故障，消息無(wú)延遲，即使master宕機(jī)了，salve節(jié)點(diǎn)依然能夠?qū)ν馓峁┓?wù)
性能比異步復(fù)制模式略低（大約低10%左右），發(fā)送單個(gè)消息的RT會(huì)略高。

主從同步集群搭建

根據(jù)上面的介紹，主從同步集群模式使用4個(gè)節(jié)點(diǎn)，分別是兩個(gè)主節(jié)點(diǎn)、兩個(gè)從節(jié)點(diǎn)。

筆者這里是使用兩臺(tái)機(jī)器將節(jié)點(diǎn)均攤，如下圖：

在安裝之前需要做些準(zhǔn)備工作，如下：

準(zhǔn)備兩臺(tái)服務(wù)器/虛擬機(jī)
安裝好JDK1.8的環(huán)境
下載好rocketmq-all-4.9.4-bin-release

筆者使用的是Centos7的虛擬機(jī)進(jìn)行演示，如下：

序號(hào)	IP	角色	架構(gòu)模式
1	192.168.47.146	nameserver、brokerserver	Master1、Slave2
2	192.168.47.145	nameserver、brokerserver	Master2、Slave1

1. 添加環(huán)境變量

RocketMQ的啟動(dòng)需要依賴的一個(gè)環(huán)境變量：ROCKETMQ_HOME（RocketMQ的根目錄）

export PATH=$JAVA_HOME/bin:$PATH
export ROCKETMQ_HOME=/usr/local/rocketmq-all-4.9.4-bin-release
export PATH=$PATH:$ROCKETMQ_HOME/bin

除了以上RocketMQ的環(huán)境變量配置，還需添加JDK的配置，省略...

配置保存之后，執(zhí)行下述命令：

source /etc/profile

2. 創(chuàng)建消息存儲(chǔ)路徑

RocketMQ是將消息存儲(chǔ)在磁盤，因此需要?jiǎng)?chuàng)建存儲(chǔ)路徑，如下：

mkdir -p /usr/local/rocketmq/store/master
mkdir -p /usr/local/rocketmq/store/master/commitlog
mkdir -p /usr/local/rocketmq/store/master/consumequeue
mkdir -p /usr/local/rocketmq/store/master/index

mkdir -p /usr/local/rocketmq/store/slave
mkdir -p /usr/local/rocketmq/store/slave/commitlog
mkdir -p /usr/local/rocketmq/store/slave/consumequeue
mkdir -p /usr/local/rocketmq/store/slave/index

3. broker配置文件

總共四個(gè)節(jié)點(diǎn)，分別配置如下：

（1）master1

這個(gè)配置文件是broker-a.properties，如下：

#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分號(hào)分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發(fā)送消息時(shí)，自動(dòng)創(chuàng)建服務(wù)器不存在的topic，默認(rèn)創(chuàng)建的隊(duì)列數(shù)
defaultTopicQueueNums=4
#是否允許 Broker 自動(dòng)創(chuàng)建Topic，建議線下開啟，線上關(guān)閉
autoCreateTopicEnable=true
#是否允許 Broker 自動(dòng)創(chuàng)建訂閱組，建議線下開啟，線上關(guān)閉
autoCreateSubscriptinotallow=true
#Broker 對(duì)外服務(wù)的監(jiān)聽端口
listenPort=10911
#刪除文件時(shí)間點(diǎn)，默認(rèn)凌晨 4點(diǎn)
deleteWhen=04
#文件保留時(shí)間，默認(rèn) 48 小時(shí)
fileReservedTime=120
#commitLog每個(gè)文件的大小默認(rèn)1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個(gè)文件默認(rèn)存30W條，根據(jù)業(yè)務(wù)情況調(diào)整
mapedFileSizeCnotallow=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測(cè)物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲(chǔ)路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲(chǔ)路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費(fèi)隊(duì)列存儲(chǔ)路徑存儲(chǔ)路徑
storePathCnotallow=/usr/local/rocketmq/store/consumequeue
#消息索引存儲(chǔ)路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲(chǔ)路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲(chǔ)路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushCnotallow=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復(fù)制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactinotallow=false
#發(fā)消息線程池?cái)?shù)量
#sendMessageThreadPoolNums=128
#拉消息線程池?cái)?shù)量
#pullMessageThreadPoolNums=128

（2）slave2

修改配置文件broker-b-s.properties，如下：

#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分號(hào)分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發(fā)送消息時(shí)，自動(dòng)創(chuàng)建服務(wù)器不存在的topic，默認(rèn)創(chuàng)建的隊(duì)列數(shù)
defaultTopicQueueNums=4
#是否允許 Broker 自動(dòng)創(chuàng)建Topic，建議線下開啟，線上關(guān)閉
autoCreateTopicEnable=true
#是否允許 Broker 自動(dòng)創(chuàng)建訂閱組，建議線下開啟，線上關(guān)閉
autoCreateSubscriptinotallow=true
#Broker 對(duì)外服務(wù)的監(jiān)聽端口
listenPort=11011
#刪除文件時(shí)間點(diǎn)，默認(rèn)凌晨 4點(diǎn)
deleteWhen=04
#文件保留時(shí)間，默認(rèn) 48 小時(shí)
fileReservedTime=120
#commitLog每個(gè)文件的大小默認(rèn)1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個(gè)文件默認(rèn)存30W條，根據(jù)業(yè)務(wù)情況調(diào)整
mapedFileSizeCnotallow=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測(cè)物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲(chǔ)路徑
storePathRootDir=/usr/local/rocketmq/store/slave
#commitLog 存儲(chǔ)路徑
storePathCommitLog=/usr/local/rocketmq/store/slave/commitlog
#消費(fèi)隊(duì)列存儲(chǔ)路徑存儲(chǔ)路徑
storePathCnotallow=/usr/local/rocketmq/store/slave/consumequeue
#消息索引存儲(chǔ)路徑
storePathIndex=/usr/local/rocketmq/store/slave/index
#checkpoint 文件存儲(chǔ)路徑
storeCheckpoint=/usr/local/rocketmq/store/slave/checkpoint
#abort 文件存儲(chǔ)路徑
abortFile=/usr/local/rocketmq/store/slave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushCnotallow=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復(fù)制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactinotallow=false
#發(fā)消息線程池?cái)?shù)量
#sendMessageThreadPoolNums=128
#拉消息線程池?cái)?shù)量
#pullMessageThreadPoolNums=128

（3）master2

修改broker-b.properties，如下：

#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分號(hào)分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發(fā)送消息時(shí)，自動(dòng)創(chuàng)建服務(wù)器不存在的topic，默認(rèn)創(chuàng)建的隊(duì)列數(shù)
defaultTopicQueueNums=4
#是否允許 Broker 自動(dòng)創(chuàng)建Topic，建議線下開啟，線上關(guān)閉
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分號(hào)分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發(fā)送消息時(shí)，自動(dòng)創(chuàng)建服務(wù)器不存在的topic，默認(rèn)創(chuàng)建的隊(duì)列數(shù)
defaultTopicQueueNums=4
#是否允許 Broker 自動(dòng)創(chuàng)建Topic，建議線下開啟，線上關(guān)閉
autoCreateTopicEnable=true
#是否允許 Broker 自動(dòng)創(chuàng)建訂閱組，建議線下開啟，線上關(guān)閉
autoCreateSubscriptinotallow=true
#Broker 對(duì)外服務(wù)的監(jiān)聽端口
listenPort=10911
#刪除文件時(shí)間點(diǎn)，默認(rèn)凌晨 4點(diǎn)
deleteWhen=04
#文件保留時(shí)間，默認(rèn) 48 小時(shí)
fileReservedTime=120
#commitLog每個(gè)文件的大小默認(rèn)1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個(gè)文件默認(rèn)存30W條，根據(jù)業(yè)務(wù)情況調(diào)整
mapedFileSizeCnotallow=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測(cè)物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲(chǔ)路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲(chǔ)路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費(fèi)隊(duì)列存儲(chǔ)路徑存儲(chǔ)路徑
storePathCnotallow=/usr/local/rocketmq/store/consumequeue
#消息索引存儲(chǔ)路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲(chǔ)路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲(chǔ)路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushCnotallow=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復(fù)制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactinotallow=false
#發(fā)消息線程池?cái)?shù)量
#sendMessageThreadPoolNums=128
#拉消息線程池?cái)?shù)量
#pullMessageThreadPoolNums=128

?（4）slave1

修改broker-a-s.properties，如下：

#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分號(hào)分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發(fā)送消息時(shí)，自動(dòng)創(chuàng)建服務(wù)器不存在的topic，默認(rèn)創(chuàng)建的隊(duì)列數(shù)
defaultTopicQueueNums=4
#是否允許 Broker 自動(dòng)創(chuàng)建Topic，建議線下開啟，線上關(guān)閉
autoCreateTopicEnable=true
#是否允許 Broker 自動(dòng)創(chuàng)建訂閱組，建議線下開啟，線上關(guān)閉
autoCreateSubscriptinotallow=true
#Broker 對(duì)外服務(wù)的監(jiān)聽端口
listenPort=11011
#刪除文件時(shí)間點(diǎn)，默認(rèn)凌晨 4點(diǎn)
deleteWhen=04
#文件保留時(shí)間，默認(rèn) 48 小時(shí)
fileReservedTime=120
#commitLog每個(gè)文件的大小默認(rèn)1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個(gè)文件默認(rèn)存30W條，根據(jù)業(yè)務(wù)情況調(diào)整
mapedFileSizeCnotallow=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測(cè)物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲(chǔ)路徑
storePathRootDir=/usr/local/rocketmq/store/slave
#commitLog 存儲(chǔ)路徑
storePathCommitLog=/usr/local/rocketmq/store/slave/commitlog
#消費(fèi)隊(duì)列存儲(chǔ)路徑存儲(chǔ)路徑
storePathCnotallow=/usr/local/rocketmq/store/slave/consumequeue
#消息索引存儲(chǔ)路徑
storePathIndex=/usr/local/rocketmq/store/slave/index
#checkpoint 文件存儲(chǔ)路徑
storeCheckpoint=/usr/local/rocketmq/store/slave/checkpoint
#abort 文件存儲(chǔ)路徑
abortFile=/usr/local/rocketmq/store/slave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushCnotallow=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復(fù)制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactinotallow=false
#發(fā)消息線程池?cái)?shù)量
#sendMessageThreadPoolNums=128
#拉消息線程池?cái)?shù)量
#pullMessageThreadPoolNums=128

關(guān)于上面的各個(gè)配置有什么用后面章節(jié)會(huì)詳細(xì)介紹

4、開放端口

宿主機(jī)需要遠(yuǎn)程訪問(wèn)虛擬機(jī)的rocketmq服務(wù)和web服務(wù)，需要開放相關(guān)的端口號(hào)，簡(jiǎn)單粗暴的方式是直接關(guān)閉防火墻

# 關(guān)閉防火墻
systemctl stop firewalld.service 
# 查看防火墻的狀態(tài)
firewall-cmd --state 
# 禁止firewall開機(jī)啟動(dòng)
systemctl disable firewalld.service

或者為了安全，只開放特定的端口號(hào)，RocketMQ默認(rèn)使用3個(gè)端口：9876 、10911 、11011 。如果防火墻沒有關(guān)閉的話，那么防火墻就必須開放這些端口：

nameserver 默認(rèn)使用 9876 端口
master 默認(rèn)使用 10911 端口
slave 默認(rèn)使用11011 端口

執(zhí)行以下命令：

# 開放name server默認(rèn)端口
firewall-cmd --remove-port=9876/tcp --permanent
# 開放master默認(rèn)端口
firewall-cmd --remove-port=10911/tcp --permanent
# 開放slave默認(rèn)端口 (當(dāng)前集群模式可不開啟)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重啟防火墻
firewall-cmd --reload

5. Host添加信息

需要在hosts中添加信息，這樣后面的配置就不用通過(guò)ip指定了。

執(zhí)行如下命令進(jìn)入hosts文件：

vim /etc/hosts

配置信息如下：

# nameserver
192.168.47.146 rocketmq-nameserver1
192.168.47.145 rocketmq-nameserver2
# broker
192.168.47.146 rocketmq-master1
192.168.47.146 rocketmq-slave2
192.168.47.145 rocketmq-master2
192.168.47.145 rocketmq-slave1

配置完成后, 重啟網(wǎng)卡：

systemctl restart network

6. 修改啟動(dòng)腳本

內(nèi)置RocketMQ啟動(dòng)對(duì)服務(wù)器內(nèi)存要求較高，由于筆者本地測(cè)試的配置較低，因此需要修改JVM啟動(dòng)參數(shù)，以下兩個(gè)腳本都在bin目錄下。

（1）runbroker.sh腳本修改：

根據(jù)自己服務(wù)器的配置進(jìn)行修改

（2） runserver.sh 腳本修改：

7. 服務(wù)啟動(dòng)

RocketMQ啟動(dòng)分為兩步：

啟動(dòng)NameServer
啟動(dòng)borker集群

（1）啟動(dòng)NameServer

分別在兩臺(tái)服務(wù)器上啟動(dòng)，命令如下：

cd /usr/local/rocketmq-all-4.9.4-bin-release/bin
nohup sh mqnamesrv &

（2）啟動(dòng)broker集群

這里master和slave總計(jì)四個(gè)，均攤在兩個(gè)服務(wù)器上，下面分別啟動(dòng)

master1啟動(dòng)，命令如下：

cd /usr/local/rocketmq-all-4.9.4-bin-release/bin
nohup sh mqbroker -c ../conf/2m-2s-sync/broker-a.properties &

slave2啟動(dòng)，命令如下：

cd /usr/local/rocketmq-all-4.9.4-bin-release/bin
nohup sh mqbroker -c ../conf/2m-2s-sync/broker-b-s.properties &

master1和slave2在同一臺(tái)服務(wù)器上（192.168.47.146）

master2啟動(dòng)，命令如下：

cd /usr/local/rocketmq-all-4.9.4-bin-release/bin
nohup sh mqbroker -c ../conf/2m-2s-sync/broker-b.properties &

slave1啟動(dòng)，命令如下：

cd /usr/local/rocketmq-all-4.9.4-bin-release/bin
nohup sh mqbroker -c ../conf/2m-2s-sync/broker-a-s.properties &

master2和slave1在同一臺(tái)服務(wù)器上（192.168.47.145）

8. 查看進(jìn)程狀態(tài)

第7步啟動(dòng)成功后，查詢進(jìn)程狀態(tài)觀察RocketMQ是否啟動(dòng)成功，命令如下：

9. 查看日志

同時(shí)也可以觀察RocketMQ的日志看下是否異常，命令如下：

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

集群監(jiān)控平臺(tái)

RocketMQ有一個(gè)對(duì)其擴(kuò)展的開源項(xiàng)目rocketmq-dashboard，直接將該項(xiàng)目拉到本地，修改其中的幾個(gè)參數(shù)編譯打包即可

修改application.yml中的NameServer的配置，改成自己搭建的地址，如下：

然后打包運(yùn)行，命令如下：

//打包
mvn clean package -Dmaven.test.skip=true

//運(yùn)行
java -jar target/rocketmq-dashboard-1.0.1-SNAPSHOT.jar

運(yùn)行成功之后，瀏覽器訪問(wèn)：http://ip:8080

進(jìn)入集群這一欄，看下自己搭建的集群信息，如下圖：

總結(jié)

本節(jié)內(nèi)容主要介紹了MQ的基本知識(shí)以及RocketMQ集群搭建過(guò)程，有興趣的可以按照筆者的整個(gè)搭建過(guò)程嘗試一遍，至于其中一些配置屬性以及生產(chǎn)、消費(fèi)消息將會(huì)在后文介紹。

責(zé)任編輯：武曉燕來(lái)源：碼猿技術(shù)專欄

MQ RocketMQ 集群

點(diǎn)贊

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)

<thead id="two6a"><rt id="two6a"></rt></thead>