如果你經(jīng)?？醇夹g(shù)文章應(yīng)該聽過「消息隊列」、「消息代理」和「消息中間件」這三個詞，它們有什么區(qū)別和聯(lián)系呢?希望這篇文章能告訴你答案。

[[271087]]

中間件(Middleware)

首先就要說什么是中間件?我的理解是：

中間件是幫助應(yīng)用程序與其他應(yīng)用程序、網(wǎng)絡(luò)、硬件、操作系統(tǒng)交互或通信的軟件。

換句更簡潔的話：「將具體業(yè)務(wù)和底層邏輯解耦的軟件」。其實符合中間件的軟件范疇非常寬，日常用的Redis、Nginx、Zookeeper、Memcached等等都是「中間件」。所謂的「中間」是相對于架構(gòu)體系內(nèi)的，它不涉及具體的業(yè)務(wù)邏輯也不涉及底層的硬件邏輯，用于用戶數(shù)據(jù)交換和管理，能夠起到「中介」的作用，這就是中間件。

那么問題來了：為什么需要中間件的幫助(代理)，直接去和對應(yīng)的應(yīng)用程序、硬件、操作系統(tǒng)等交互/通信不好嘛?

回答問題前，我們要明確一點：任何中間件必然是為了解決特定領(lǐng)域的某個(些)問題而出現(xiàn)的。

我舉2個例子來幫助大家理解。

1. 數(shù)據(jù)庫中間件

當項目很小的時候，直接使用編程語言下的數(shù)據(jù)庫驅(qū)動操作數(shù)據(jù)庫就可以了，有些開發(fā)會用ORM的方式操作數(shù)據(jù)庫：這是夠用的。

但隨著業(yè)務(wù)發(fā)展，數(shù)據(jù)量和讀寫QPS越來越高，主從模式的MySQL實例壓力越來越大，單純的對服務(wù)器硬件升級已經(jīng)無法滿足生產(chǎn)環(huán)境的需要。在我司不成文的習慣是單表不要超過5千萬條記錄，數(shù)據(jù)庫量大的時候就設(shè)計分庫分表，也就是「分而治之」，把QPS和數(shù)據(jù)量分片限定在一個范圍內(nèi)。

當然還有很多其他相關(guān)的功能，如讀寫分離、路由策略、統(tǒng)計、管理、鑒權(quán)等等。這些是在業(yè)務(wù)邏輯之上的，不應(yīng)該在業(yè)務(wù)代碼中把這部分堆進去，應(yīng)該抽象它們出來作為一個獨立的組件，這就是數(shù)據(jù)庫中間件。

[[271088]]

現(xiàn)在主流的開源數(shù)據(jù)庫中間件有Mycat、MySQL-proxy、Atlas等等，不過現(xiàn)在都不怎么維護了，另外還有Cetus ，作者是tcpcopy的作者，這個項目還在不斷維護，有同學有興趣的可以試試。當然其實各大公司內(nèi)部都有自己的數(shù)據(jù)庫中間件產(chǎn)品，更多的貼近公司的業(yè)務(wù)產(chǎn)品和基礎(chǔ)設(shè)施。

2. Web框架中間件

一般Web框架都支持中間件，Web框架中間件的本質(zhì)是插件系統(tǒng)，是一系列的框架鉤子，在收到請求和返回響應(yīng)這個過程里面去做一些額外的事情。中間件種類很多，舉例一些：

• 響應(yīng)壓縮
• 記錄日志
• 支持會話Session
• CSRF保護
• 驗證/身份鑒別
• 訪問控制
• 資源使用檢查(如內(nèi)存占用)
• 請求指標
• 健康檢查
• 靜態(tài)資源管理 …

這些中間件將業(yè)務(wù)和非業(yè)務(wù)代碼功能進行解耦：

框架里面可能內(nèi)置了一些常用的中間件，也可能只是內(nèi)置中間件支持。你可以配置使用某個(些)，也能方便的自定義中間件

Web視圖中不需要手寫中間件邏輯，按約定好的用法框架會在對應(yīng)的生命周期中按照約定的順序去執(zhí)行這些中間件邏輯

PS：Golang語言中最知名的Web框架Gin支持中間件，而且還官網(wǎng)搞了個叫g(shù)in-gonic/contrib的項目搜集社區(qū)里面的中間件。

消息隊列(Message Queue)

消息隊列就是Message+Queue。其實消息可以說是一個數(shù)據(jù)傳輸單位，它包含了創(chuàng)建時間、通道/主題信息、輸入?yún)?shù)等全部數(shù)據(jù);隊列(Queue)是一種FIFO(先進先出)的數(shù)據(jù)結(jié)構(gòu)，編程語言一般都內(nèi)置(內(nèi)存中的)隊列實現(xiàn)，可以作為進程間通訊(IPC)的方法。使用隊列最常見的場景就是生產(chǎn)者/消費者模式：生產(chǎn)者生產(chǎn)消息放到隊列中，消費者從隊列里面獲取消息消費。

準確的說，消息隊列(以下簡稱MQ**是一種能實現(xiàn)生產(chǎn)者到消費者單向通信的通信模型，而一般大家說MQ是指實現(xiàn)了這個模型的中間件，比如RabbitMQ、RocketMQ、Kafka等。

設(shè)想一個訂單場景，當你付款成功之后要做什么：

• 通知/提醒系統(tǒng)。通知商家有人買了Ta的商品，通知買家你購買成功(相當于確認訂單)。通知/提醒的方式很多，如郵件、短信、App內(nèi)消息等等
• 會員系統(tǒng)。更新用戶的積分、等級等
• 日志系統(tǒng)。訂單這么重要的服務(wù)需要有日志可以用于未來回溯問題
• 推薦系統(tǒng)。更新用戶畫像，重新給用戶推薦他可能感興趣的商品 ..

這就出現(xiàn)了一些問題：

• 響應(yīng)耗時。事實上做的比這要多得多，每一項都需要有開銷，增加響應(yīng)時間。如果這些邏輯是同步執(zhí)行的，用戶要等多久?這種體驗是完全不可以接受的!所以呢，需要一種異步消費的機制
• 過度耦合。本來僅僅是一個訂單系統(tǒng)，結(jié)果上述的那些東西都要堆進來，這就成了一個巨無霸應(yīng)用，未來開發(fā)、維護都是問題
• 錯誤丟失。假如這些后續(xù)的行為中某個(些)服務(wù)正好出現(xiàn)了故障執(zhí)行失敗或者驗證超時，但是付款成功的確認是必須完成的，那么需要有個地方存這些還沒有被正確消費的部分
• 需要組(廣)播。就像上面的訂單場景，付款成功這個消息被發(fā)送給多個子系統(tǒng)，相當于組播。未來如果要新增刪減訂閱源，怎么便捷的實現(xiàn)呢?

當然還有其他的問題：

• 秒殺場景下并發(fā)可能會很高的，非常有可能出現(xiàn)出現(xiàn)遠超現(xiàn)有服務(wù)器處理能力的情況，這就容易把系統(tǒng)搞崩了，如果出現(xiàn)這種問題時把未處理的放進消息隊列，這就達到了「削峰」和「限流」的作用。
• 某些場景下需要有消息的優(yōu)先級 …

而消息中間件就是解決上述問題的，雖然不同的中間件的實現(xiàn)方案不同，但都具備以下特點：

• 分布式。其實消息中間件解決的就是分布式系統(tǒng)之間消息傳遞的問題，消費者可以分布在多臺服務(wù)器上，一方面降低了由于單點故障引起的消息隊列阻塞的風險，另外一方面也非常容易橫向擴展。
• 持久可靠。消息隊列一般會把接收到的消息存儲到本地硬盤上，保證消息不會在未消息前莫名丟失。
• 高性能和高吞吐量。例如RocketMQ有億級消息堆積能力，廣泛應(yīng)用在阿里系的各種高并發(fā)場景下;而Kafka在實時計算、日志采集等場景下算是業(yè)界的標準。

可以說，消息中間件是現(xiàn)在企業(yè)架構(gòu)中不可或缺的組合部分，用了都說好。

消息代理(Message Broker)

消息代理是一種架構(gòu)模式，用于消息驗證、變換、路由。雖然不同的消息中間件架構(gòu)和實現(xiàn)各不相同，但是大部分都實現(xiàn)了Broker：其實就是消息中間件服務(wù)器，它是中間件的核心。

注意:RabbitMQ、Kafka、RocketMQ等都有消息代理，但是注意，不是所有中間件都這么選，例如ZeroMQ，它用了套接字風格的API。

在一些地方其實說消息代理就是指消息中間件，如Python語言知名的分布式任務(wù)隊列框架Celery中就這么稱呼的(所謂的「任務(wù)」其實就是一個包含了任務(wù)全部數(shù)據(jù)的消息)。