相信大家都使用過消息MQ，他可以很好地進行系統(tǒng)解耦，減低變成的復雜度，又可以進行削峰，增加系統(tǒng)在高并發(fā)的穩(wěn)定性。那么使用MQ有哪些注意事項呢?是不是MQ就是萬無一失呢?一條MQ消息從產(chǎn)生到消費，有沒有可能失敗?在哪些環(huán)節(jié)可能失敗，如何處理?

[[330973]]

1.消息生產(chǎn)失敗

一般來說，從生產(chǎn)者到MQ中間件是通過網(wǎng)絡調(diào)用的，是網(wǎng)絡調(diào)用就有可能存在失敗。下面這些原因，都有可能造成MQ生產(chǎn)失敗，例如網(wǎng)絡波動，盡管生產(chǎn)者到MQ服務器之間是內(nèi)網(wǎng)調(diào)用，并不意味著網(wǎng)絡調(diào)用的成功率就是百分之百，內(nèi)網(wǎng)調(diào)用也會遇到網(wǎng)絡波動，造成調(diào)用超時或者失敗。又如調(diào)用的MQ機器瞬間Crash掉，這也是有可能造成調(diào)用失敗的。 面對生產(chǎn)者調(diào)用MQ的失敗，我們是容易比較容易處理的 ， 我們只要簡單地進行重試即可，如果重試2-3次失敗，那么非常有可能是出現(xiàn)大問題，這個時候再重試意義不大，需要進行告警并處理。

2.MQ處理存儲失敗

消息到達消息中間件之后，通常是會被存儲起來的，只有被寫入到磁盤中，消息才是真正地被存儲，不會丟失。但是，大部分MQ中間件并不是收到消息就立馬寫入磁盤的，只是由于磁盤的寫入速度相對于內(nèi)存，現(xiàn)得慢得多得多，所以，像Kafka這樣的消息系統(tǒng)，是會把消息寫到緩沖區(qū)中，異步寫入磁盤，如果機器在中途突然斷電，是有可能會丟失消息的。為了解決這個問題，大部分的MQ都是采用 分布式部署， 消息會在多臺機器上寫入緩存中成功才會返回給業(yè)務方成功，由于多臺機器同時斷電的可能性較低，我們可以認為這是比較低成本又可靠的方案。

3.消費者處理失敗

一般的MQ都有MQ重試機制，如果處理失敗，就會嘗試重復消費這個MQ。這個帶來的問題就是，MQ可能已經(jīng)成功消費了，但是在通知MQ中間件的時候失敗了，這個時候帶來的結果就是消息重復消費。同理，在生產(chǎn)者重試的時候，也會遇到消息重復消費的問題。這個時候，就要求我們盡量把接口設計得有 冪等性 ，這個時候即便是重復消費，也不用擔心什么問題了?；旧献龊眠@三點，我們就能夠大大地提高我們地系統(tǒng)地可用性了!

這里需要關注幾個重點：

1. 冪等不僅僅只是一次(或多次)請求對資源沒有副作用(比如查詢數(shù)據(jù)庫操作，沒有增刪改，因此沒有對數(shù)據(jù)庫有任何影響)。
2. 冪等還包括第一次請求的時候?qū)Y源產(chǎn)生了副作用，但是以后的多次請求都不會再對資源產(chǎn)生副作用。
3. 冪等關注的是以后的多次請求是否對資源產(chǎn)生的副作用，而不關注結果。

冪等性是系統(tǒng)服務對外一種承諾(而不是實現(xiàn))，承諾只要調(diào)用接口成功，外部多次調(diào)用對系統(tǒng)的影響是一致的。聲明為冪等的服務會認為外部調(diào)用失敗是常態(tài)，并且失敗之后必然會有重試。

什么情況下需要冪等

業(yè)務開發(fā)中，經(jīng)常會遇到重復提交的情況，無論是由于網(wǎng)絡問題無法收到請求結果而重新發(fā)起請求，或是前端的操作抖動而造成重復提交情況。 在交易系統(tǒng)，支付系統(tǒng)這種重復提交造成的問題有尤其明顯，比如：

用戶在APP上連續(xù)點擊了多次提交訂單，后臺應該只產(chǎn)生一個訂單;

向支付系統(tǒng)發(fā)起支付請求，由于網(wǎng)絡問題或系統(tǒng)BUG重發(fā)，支付系統(tǒng)應該只扣一次錢。 很顯然，聲明冪等的服務認為，外部調(diào)用者會存在多次調(diào)用的情況，為了防止外部多次調(diào)用對系統(tǒng)數(shù)據(jù)狀態(tài)的發(fā)生多次改變，將服務設計成冪等。

冪等VS防重

上面例子中遇到的問題，只是重復提交的情況，和服務冪等的初衷是不同的。重復提交是在第一次請求已經(jīng)成功的情況下，人為的進行多次操作，導致不滿足冪等要求的服務多次改變狀態(tài)。 而冪等更多使用的情況是第一次請求不知道結果(比如超時)或者失敗的異常情況下，發(fā)起多次請求，目的是多次確認第一次請求成功，卻不會因多次請求而出現(xiàn)多次的狀態(tài)變化。

什么情況下需要保證冪等性

以SQL為例，有下面三種場景，只有第三種場景需要開發(fā)人員使用其他策略保證冪等性：

1. SELECT col1 FROM tab1 WHER col2=2 ，無論執(zhí)行多少次都不會改變狀態(tài)，是天然的冪等。
2. UPDATE tab1 SET col1=1 WHERE col2=2 ，無論執(zhí)行 成功 多少次 狀態(tài) 都是一致的，因此也是冪等操作。
3. UPDATE tab1 SET col1=col1+1 WHERE col2=2 ，每次執(zhí)行的結果都會發(fā)生變化，這種不是冪等的。

為什么要設計冪等性的服務

冪等可以使得客戶端邏輯處理變得簡單，但是卻以服務邏輯變得復雜為代價。 滿足冪等服務的需要在邏輯中至少包含兩點：

1. 首先去查詢上一次的執(zhí)行狀態(tài)，如果沒有則認為是第一次請求
2. 在服務改變狀態(tài)的業(yè)務邏輯前，保證防重復提交的邏輯

冪等的不足

冪等是為了簡化客戶端邏輯處理，卻增加了服務提供者的邏輯和成本，是否有必要，需要根據(jù)具體場景具體分析， 因此除了業(yè)務上的特殊要求外，盡量不提供冪等的接口。

增加了額外控制冪等的業(yè)務邏輯，復雜化了業(yè)務功能;

把并行執(zhí)行的功能改為串行執(zhí)行，降低了執(zhí)行效率。

保證冪等策略

冪等需要通過 唯一的業(yè)務單號 來保證。也就是說相同的業(yè)務單號，認為是同一筆業(yè)務。使用這個唯一的業(yè)務單號來確保，后面多次的相同的業(yè)務單號的處理邏輯和執(zhí)行效果是一致的。 下面以支付為例，在不考慮并發(fā)的情況下，實現(xiàn)冪等很簡單：

①先查詢一下訂單是否已經(jīng)支付過，

②如果已經(jīng)支付過，則返回支付成功;如果沒有支付，進行支付流程，修改訂單狀態(tài)為‘已支付’。

防重復提交策略

上述的保證冪等方案是分成兩步的，第②步依賴第①步的查詢結果，無法保證原子性的。 在高并發(fā)下就會出現(xiàn)下面的情況： 第二次請求在第一次請求第②步訂單狀態(tài)還沒有修改為‘已支付狀態(tài)’的情況下到來。 既然得出了這個結論，余下的問題也就變得簡單：把查詢和變更狀態(tài)操作加鎖，將并行操作改為串行操作。

樂觀鎖

如果只是更新 已有 的數(shù)據(jù)，沒有必要對業(yè)務進行加鎖，設計表結構時使用樂觀鎖，一般通過version來做樂觀鎖，這樣既能保證執(zhí)行效率，又能保證冪等。例如： UPDATE tab1 SET col1=1,version=version+1 WHERE version=#version# 不過， 樂觀鎖存在失效的情況，就是常說的ABA問題，不過如果version版本一直是自增的就不會出現(xiàn)ABA的情況。

防重表

使用訂單號orderNo做為去重表的唯一索引，每次請求都根據(jù)訂單號向去重表中插入一條數(shù)據(jù)。第一次請求查詢訂單支付狀態(tài)，當然訂單沒有支付，進行支付操作，無論成功與否，執(zhí)行完后更新訂單狀態(tài)為成功或失敗，刪除去重表中的數(shù)據(jù)。后續(xù)的訂單因為表中唯一索引而插入失敗，則返回操作失敗，直到第一次的請求完成(成功或失敗)。 可以看出防重表作用是加鎖的功能。

分布式鎖

這里使用的防重表可以使用分布式鎖代替，比如Redis。訂單發(fā)起支付請求，支付系統(tǒng)會去Redis緩存中查詢是否存在該訂單號的Key，如果不存在，則向Redis增加Key為訂單號。查詢訂單支付已經(jīng)支付，如果沒有則進行支付，支付完成后刪除該訂單號的Key。通過Redis做到了分布式鎖，只有這次訂單訂單支付請求完成，下次請求才能進來。 相比去重表，將放并發(fā)做到了緩存中，較為高效。思路相同，同一時間只能完成一次支付請求。

token令牌

這種方式分成兩個階段：申請token階段和支付階段。 第一階段，在進入到提交訂單頁面之前，需要訂單系統(tǒng)根據(jù)用戶信息向支付系統(tǒng)發(fā)起一次申請token的請求，支付系統(tǒng)將token保存到Redis緩存中，為第二階段支付使用。 第二階段，訂單系統(tǒng)拿著申請到的token發(fā)起支付請求，支付系統(tǒng)會檢查Redis中是否存在該token，如果存在，表示第一次發(fā)起支付請求，刪除緩存中token后開始支付邏輯處理;如果緩存中不存在，表示非法請求。 實際上這里的token是一個信物，支付系統(tǒng)根據(jù)token確認，你是你媽的孩子。 不足是需要系統(tǒng)間交互兩次，流程較上述方法復雜。

支付緩沖區(qū)

把訂單的支付請求都快速地接下來，一個快速接單的緩沖管道。后續(xù)使用異步任務處理管道中的數(shù)據(jù)，過濾掉重復的待支付訂單。 優(yōu)點是同步轉(zhuǎn)異步，高吞吐。不足是不能及時地返回支付結果，需要后續(xù)監(jiān)聽支付結果的異步返回。