[[282632]]

消息中間件( Message Oriented Middleware，簡(jiǎn)稱MOM)在企業(yè)開發(fā)中變得越來越重要。本文介紹消息中間件中的四種消息投遞模型，主要是介紹模型的核心特性，以及不同模型之前的區(qū)別。這四種模型分別是：

• PTP模型
• Pub/Sub模型
• Partition模型
• Transfer模型

其中PTP模型和Pub/Sub模型在JMS規(guī)范中有定義，消息中間件ActiveMQ就實(shí)現(xiàn)了JMS規(guī)范。然而一些消息中間件，并沒有實(shí)現(xiàn)JMS規(guī)范，而是自己設(shè)計(jì)出了一套模型，例如Kafka和RocketMQ就采用了Partition模型。此外業(yè)界還有一些其他的消息投遞模型，例如Transfer模型，這是筆者自己起的名字。

1、PTP模型

Point-to-Point，點(diǎn)對(duì)點(diǎn)通信模型。PTP是基于隊(duì)列(Queue)的，一個(gè)隊(duì)列可以有多個(gè)生產(chǎn)者，和多個(gè)消費(fèi)者。消息服務(wù)器按照收到消息的先后順序，將消息放到隊(duì)列中。隊(duì)列中的每一條消息，只能由一個(gè)消費(fèi)者進(jìn)行消費(fèi)，消費(fèi)之后就會(huì)從隊(duì)列中移除。

需要注意的是，盡管這里使用Queue的概念，但并不是先進(jìn)入隊(duì)列消息，一定會(huì)被先消費(fèi)。在存在多個(gè)下游Consumer情況下，一些消息中間件，例如ActiveMQ，為了提升消費(fèi)能力，會(huì)將隊(duì)列中的消息分發(fā)到不同Consumer并行進(jìn)行處理。這意味著消息發(fā)送的時(shí)候可能是有序的，但是在消費(fèi)的時(shí)候，就變成無序了。為了保證消費(fèi)的有序，一些MQ提供了"專有消費(fèi)者”或者"排他消費(fèi)者”的概念，在這種情況下，隊(duì)列中的消息僅允許一個(gè)消費(fèi)者進(jìn)行消費(fèi)，如果存在多個(gè)消費(fèi)者，那么從中選擇一個(gè)。但是，這意味著在消息在處理中沒有了并行性。如果消息量很多的情況下，將會(huì)產(chǎn)生消息積壓。為了解決"專有消費(fèi)者”的性能問題，一些消息中間件采用分區(qū)的概念來解決性能問題，我們將在后文進(jìn)行介紹。

2、Pub/Sub模型

publish-and- subscribe， 即發(fā)布訂閱模型。在Pub/Sub模型中，生產(chǎn)者將消息發(fā)布到一個(gè)主題(Topic)中，訂閱了該Topic的所有下游消費(fèi)者，都可以接收到這條消息。如下圖：

通常情況下，一個(gè)條消息只要被消費(fèi)一次就行了，那么什么情況下需要所有的消費(fèi)者都對(duì)這條消息進(jìn)行消費(fèi)呢?最典型的情況就是需要在內(nèi)存中對(duì)數(shù)據(jù)進(jìn)行緩存，并需要實(shí)時(shí)進(jìn)行更新。例如，筆者做過一個(gè)違禁詞系統(tǒng)，對(duì)用戶輸入的評(píng)論內(nèi)容進(jìn)行違禁詞匯檢測(cè)。這個(gè)違禁詞系統(tǒng)，部署了在N臺(tái)服務(wù)器上，為了提升檢測(cè)性能，每臺(tái)機(jī)器都會(huì)將違禁詞庫全量加載到內(nèi)存中，詞庫的更新，是通過發(fā)送MQ消息來完成的。由于采用Pub/Sub模型，每臺(tái)機(jī)器的consumer，都可以接收到這條消息，直接在內(nèi)存中更新敏感詞庫即可。

3、Partition模型

為了解決在PTP模型下，有序消息需要通過"專有消費(fèi)者”消費(fèi)帶來的性能問題，一些消息中間件，如rocketmq，kafka采用了Partition模型，即分區(qū)模型，如下所示：

生產(chǎn)者發(fā)送消息到某個(gè)Topic中時(shí)，最終選擇其中一個(gè)Partition進(jìn)行發(fā)送。你可以將Parition模型中的分區(qū)，理解為PTP模型的隊(duì)列，不同的是，PTP模型中的隊(duì)列存儲(chǔ)的是所有的消息，而每個(gè)Partition只會(huì)存儲(chǔ)部分?jǐn)?shù)據(jù)。對(duì)于消息者，此時(shí)多了一個(gè)消費(fèi)者組的概念，Paritition會(huì)在同一個(gè)消費(fèi)者組下的消費(fèi)者中進(jìn)行分配，每個(gè)消費(fèi)者只消費(fèi)分配給自己的Paritition。上圖演示了不同的消費(fèi)者可能會(huì)分配到不同數(shù)量的Paritition。Paritition模式巧妙的將PTP模型和Pub/Sub模型結(jié)合在了一起：

對(duì)于PTP模型：

一條消息只會(huì)由一個(gè)消費(fèi)者進(jìn)行消費(fèi)，而Partition模型中每個(gè)分區(qū)最終也只會(huì)有一個(gè)消費(fèi)者進(jìn)行消費(fèi)。對(duì)于通過"專有消費(fèi)者"來保證全局消費(fèi)有序的場(chǎng)景，在Partition模型中，只需保證創(chuàng)建的Topic只有一個(gè)Partition即可，這個(gè)Paritition最終也只會(huì)分配其中一個(gè)消費(fèi)者。另外，在絕大部分場(chǎng)景下，我們沒有必要保證全局有序，例如一個(gè)訂單產(chǎn)生了3條消息，分別是訂單創(chuàng)建，訂單付款，訂單完成。消費(fèi)時(shí)，要按照這個(gè)順序消費(fèi)才能有意義。但是訂單之間是可以并行消費(fèi)的，例如將訂單1產(chǎn)生的3條消息發(fā)送到Partiton 1，將訂單2產(chǎn)生的3條消息發(fā)送到Partition 2，如此便達(dá)到了不同訂單之間的并行消費(fèi)。

對(duì)于Pub/Sub模型：

一條消息所有的下游消費(fèi)者都可以進(jìn)行消費(fèi)。在Paritition模型中，只需要為每個(gè)消費(fèi)者設(shè)置成不同的消費(fèi)者組即可。然而，過多的消費(fèi)者組，會(huì)給消息中間件運(yùn)維帶來麻煩。所以一些消息中間件，結(jié)合了Partition模型和Pub/Sub模型。例如RocketMQ，支持為消費(fèi)者組設(shè)置消費(fèi)模式，如果是集群模式，就按照上述描述進(jìn)行消費(fèi)，如果是廣播模式，就按照Pub/Sub模型進(jìn)行消費(fèi)。當(dāng)然，Partition模型也不全是優(yōu)點(diǎn)，其最大的限制在于Partition數(shù)量是固定的(雖然可以調(diào)整)，且只可以分配給其中一個(gè)消費(fèi)者。當(dāng)消費(fèi)者的數(shù)量大于Partition數(shù)量時(shí)，這些多出來的消費(fèi)者將無法消費(fèi)到消息。一些消息中間件對(duì)此進(jìn)行了優(yōu)化，例如rocketmq，支持單個(gè)partition的并行消費(fèi)。即在對(duì)單個(gè)消費(fèi)者內(nèi)，同時(shí)啟動(dòng)多個(gè)線程，來消費(fèi)這個(gè)Partition中的數(shù)據(jù)，當(dāng)然前提是要求消息不是有序的，對(duì)于有序的消息，只能使用一個(gè)線程按順序消費(fèi)這個(gè)Partition中的數(shù)據(jù)。

4、Transfer模型

Paritition模型中的消費(fèi)者組概念很有用，同一個(gè)Topic下的消息可以由多個(gè)不同業(yè)務(wù)方進(jìn)行消費(fèi)，只要使用不同的消費(fèi)者組即可，不同消費(fèi)者組消費(fèi)到的位置單獨(dú)記錄，互不影響。 但是，Paritition模型還是限制了消費(fèi)者數(shù)量不能多于分區(qū)數(shù)。因此，又有了另外一種消費(fèi)模型，筆者稱之為Transfer模型，如下圖所示：

生產(chǎn)者還是將消息發(fā)送到Topic中，針對(duì)一個(gè)Topic，可以創(chuàng)建多個(gè)通道，這里稱之為channel。與分區(qū)不同的是，發(fā)送到Topic中的每條消息，都會(huì)轉(zhuǎn)發(fā)到每個(gè)channel，因此每個(gè)channel都有這個(gè)Topic的全量數(shù)據(jù)。當(dāng)然，沒有必要把真的把消息體完整的拷貝一份到channel中，可以只記錄一下消息元數(shù)據(jù)，表示有一條放到這個(gè)channel中了。消費(fèi)者在消費(fèi)消息時(shí)，必須指定從哪個(gè)channel消費(fèi)。多個(gè)消費(fèi)者消費(fèi)同一個(gè)channel時(shí)，每條消息只會(huì)有一個(gè)消費(fèi)者消費(fèi)達(dá)到，這一點(diǎn)與PTP模型類似。事實(shí)上，我們可以認(rèn)為，消費(fèi)了同一個(gè)channel的消費(fèi)者，就自動(dòng)組成了一個(gè)消費(fèi)者組。但是，與Partition模型不同的是，這里沒有分區(qū)的概念，因此消費(fèi)者的數(shù)量可以是任意的。事實(shí)上，GO語言編寫的NSQ消息中間件，采用的就是這種模型。當(dāng)然，這種模型與PTP一樣，也不能保證被消息有序，除非通過類似于”專用消費(fèi)者”的概念。