自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

RocketMQ 如何保證發(fā)送消息不丟失?

開發(fā)
本文分析了 RocketMQ 同步發(fā)送、異步發(fā)送和單向發(fā)送三種方式的原理、優(yōu)缺點以及使用場景,并且分析了每種方式涉及到的核心源碼。

在 RocketMQ 中,有 3種簡單的消息發(fā)送方式:同步發(fā)送、異步發(fā)送和單向發(fā)送。這篇文章,我們將詳細分析這三種發(fā)送方式的原理、優(yōu)缺點、使用場景以及使用該方式是否會丟失數(shù)據(jù)。

本文源碼基于: Apache RocketMQ release-5.2.0

一、同步發(fā)送

1.原理分析

在同步發(fā)送模式下,RocketMQ 默認采用同步刷盤方式,當生產(chǎn)者將消息發(fā)送到 Broker 后,會等待 Broker 的響應(默認超時 5分鐘),Broker 接收消息后,會將其寫入內存緩存,并進行刷盤操作。因此,如果 Broker 響應成功,代表消息一定成功寫入磁盤。

同步發(fā)送主要涉及以下幾個步驟:

  • 創(chuàng)建Producer:創(chuàng)建一個Producer對象;
  • 創(chuàng)建消息:創(chuàng)建一個Message對象,設置Topic、Tag標簽和消息體;
  • 發(fā)送消息:調用DefaultMQProducer的send方法;
  • 等待響應:發(fā)送方會阻塞等待服務器的響應,直到收到確認消息;

如下示例代碼為一個完整的同步發(fā)送流程:

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendCallback;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.SendStatus;
import org.apache.rocketmq.common.message.Message;

public class SyncProducerTest {
  public static void main(String[] args) throws Exception {
    // 1、創(chuàng)建 producer,設置組名為 SyncGroupTest
    DefaultMQProducer producer = new DefaultMQProducer("SyncGroup");
    // 2、指定 NameServer的地址,以獲取 Broker路由地址
    producer.setNamesrvAddr("x.x.x.x:9876");
    // 3、啟動 producer
    producer.start();
    // 4、創(chuàng)建消息,并指定 Topic,Tag和消息體
    Message msg = new Message("SyncTopic", "sync", "SyncMessage".getBytes("UTF-8"));
    // 5、發(fā)送同步消息
    SendResult sendResult = producer.send(msg);
    // 6、通過 sendResult 判斷消息是否成功送達
    System.out.printf("message send result:" + sendResult);
    // 7、關閉 Producer
    producer.shutdown();
  }
}

RocketMQ 的同步發(fā)送主要涉及以下幾個關鍵源碼類和方法:

  • DefaultMQProducer:生產(chǎn)者類,負責發(fā)送消息。
  • MQClientAPIImpl#sendMessage:底層消息發(fā)送實現(xiàn)。
  • NettyRemotingClient#invokeSync:通過 Netty 實現(xiàn)網(wǎng)絡通信。
  • Broker 端的 SendMessageProcessor:處理發(fā)送請求。

源碼參考:org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl#send(Message msg)

2.優(yōu)缺點

優(yōu)點:

  • 簡單易用。
  • 可靠性高,發(fā)送方可以確認消息是否成功發(fā)送,一旦發(fā)送成功,消息就已經(jīng)寫入磁盤,消息不會丟失。

缺點:

  • 延遲較高,需要等待服務器的響應。
  • 吞吐量可能受限于網(wǎng)絡延遲和服務器性能。

3.使用場景

適用于對消息可靠性要求較高的場景,如訂單系統(tǒng)、金融交易、重要的消息通知等。

二、異步發(fā)送

1.原理分析

在異步發(fā)送模式下,RocketMQ 默認采用異步刷盤方式,當生產(chǎn)者發(fā)送消息到 Broker 后,消息寫入內存緩存成功后,Broker 立即返回響應(默認超時 5分鐘),后臺線程再異步將消息批量寫入磁盤。因此,這種方式提高了系統(tǒng)的吞吐量和性能,但在系統(tǒng)崩潰時可能會丟失部分未刷盤的消息。

異步發(fā)送主要涉及以下幾個步驟:

  • 創(chuàng)建Producer:創(chuàng)建一個Producer對象;
  • 創(chuàng)建消息:同樣創(chuàng)建一個Message對象。
  • 發(fā)送消息:調用DefaultMQProducer的send方法,傳遞一個SendCallback回調對象。
  • 處理響應:回調函數(shù)會在消息發(fā)送成功或失敗時被調用。

如下示例代碼為一個完整的異步發(fā)送流程:

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendCallback;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.SendStatus;
import org.apache.rocketmq.common.message.Message;

public class AsyncProducerTest {
  public static void main(String[] args) throws Exception {
    // 1、創(chuàng)建 producer,設置組名為 AsyncGroupTest
    DefaultMQProducer producer = new DefaultMQProducer("AsyncGroup");
    // 2、指定 NameServer的地址,以獲取 Broker路由地址
    producer.setNamesrvAddr("x.x.x.x:9876");
    // 3、啟動 producer
    producer.start();
    // 4、創(chuàng)建消息,并指定Topic,Tag和消息體
    Message msg = new Message("AsyncTopic","async", "AsyncMessage".getBytes("UTF-8"));
    // 5、發(fā)送異步消息,SendCallback是處理異步回調的方法
    producer.send(msg, new SendCallback() {
      @Override
      public void onSuccess(SendResult sendResult) {  // 成功回調
        System.out.println("message send success: " + sendResult);
      }
      @Override
      public void onException(Throwable throwable) {  // 失敗回調
        System.out.println("message send fail: " + throwable);
      }
    });
    // 6、關閉 Producer
    producer.shutdown();
  }
}

RocketMQ 的異步發(fā)送主要涉及以下幾個關鍵源碼類和方法:

  • DefaultMQProducer:生產(chǎn)者類,負責發(fā)送消息。
  • MQClientAPIImpl#sendMessage:底層消息發(fā)送實現(xiàn)。
  • NettyRemotingClient#invokeAsync:通過 Netty 實現(xiàn)網(wǎng)絡通信。
  • Broker 端的 SendMessageProcessor:處理發(fā)送請求。

源碼參考:org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl#send(Message msg, SendCallback sendCallback)

2.優(yōu)缺點

優(yōu)點:

  • 非阻塞,發(fā)送方可以繼續(xù)執(zhí)行其他任務,提高吞吐量。
  • 延遲較低,適用于對響應時間敏感的場景。

缺點:

  • 實現(xiàn)復雜度較高,需要處理異步回調。
  • 可靠性相對降低,需要處理失敗重試等問題。
  • 無法保證發(fā)送出去的數(shù)據(jù)不丟失。

3.使用場景

適用于對響應時間要求較高的場景,如實時數(shù)據(jù)處理、日志采集、消費信息的推送等。

三、單向發(fā)送

1.原理分析

單向(OneWay)發(fā)送是一種只負責發(fā)送消息而不等待任何響應的方式。生產(chǎn)者將消息發(fā)送到 Broker 后(默認超時 5分鐘),不關心消息是否成功到達或被持久化,主要依賴 Broker 進行刷盤操作,單向發(fā)送通常與異步刷盤結合使用,以提高發(fā)送效率。

單向發(fā)送主要涉及以下幾個步驟:

  • 創(chuàng)建Producer:創(chuàng)建一個Producer對象;
  • 創(chuàng)建消息:創(chuàng)建一個Message對象。
  • 發(fā)送消息:調用DefaultMQProducer的sendOneway方法。

如下示例代碼為一個完整的單向發(fā)送流程:

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendCallback;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.SendStatus;
import org.apache.rocketmq.common.message.Message;

public class OneWayProducerTest {
  public static void main(String[] args) throws Exception {
    // 1、創(chuàng)建 producer,設置組名為 OneWayGroupTest
    DefaultMQProducer producer = new DefaultMQProducer("OneWayGroup");
    // 2、指定 NameServer的地址,以獲取 Broker路由地址
    producer.setNamesrvAddr("x.x.x.x:9876");
    // 3、啟動 producer
    producer.start();
    // 4、創(chuàng)建消息,并指定Topic,Tag和消息體
    Message msg = new Message("OneWayTopic","oneway", "OneWayMessage".getBytes("UTF-8"));
    // 5、發(fā)送單向消息
    producer.sendOneway(msg);
    // 6、關閉 Producer
    producer.shutdown();
  }
}

RocketMQ 的單向發(fā)送主要涉及以下幾個關鍵類和方法:

  • DefaultMQProducer:生產(chǎn)者類,負責發(fā)送消息。
  • MQClientAPIImpl#sendMessage:底層消息發(fā)送實現(xiàn)。
  • NettyRemotingClient#invokeOneway:通過 Netty 實現(xiàn)網(wǎng)絡通信。
  • Broker 端的 SendMessageProcessor:處理發(fā)送請求。

源碼參考:org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl#sendOneway(Message msg)

2.優(yōu)缺點

優(yōu)點:

  • 非常高效,延遲最低。
  • 適用于對可靠性要求不高的場景。

缺點:

  • 無法確認消息是否成功發(fā)送。
  • 可靠性最低,消息可能丟失。

3.使用場景

適用于對可靠性要求不高的場景,如日志收集、監(jiān)控數(shù)據(jù)上報等。

三種方式對比

發(fā)送方式

優(yōu)點

缺點

使用場景

同步發(fā)送

可靠性高,簡單易用

延遲較高,吞吐量受限

訂單系統(tǒng)、金融交易、重要的消息通知等

異步發(fā)送

非阻塞,延遲較低

實現(xiàn)復雜度高,可靠性相對降低

實時數(shù)據(jù)處理、日志采集、消費信息的推送等

單向發(fā)送

高效,延遲最低

無法確認消息是否成功發(fā)送,可靠性最低

日志收集、監(jiān)控數(shù)據(jù)上報等

如何選擇?

  • 同步發(fā)送:消息發(fā)送后會等待服務器的響應,整個過程業(yè)務是阻塞等待的,適用于對可靠性要求高的場景,比如 訂單系統(tǒng)、金融交易等。
  • 異步發(fā)送:消息發(fā)送后,不等待服務器響應,而是通過回調函數(shù)處理響應,適用于對響應時間要求高的場景,比如實時數(shù)據(jù)處理、日志采集、消費信息的推送等
  • 單向發(fā)送::單向發(fā)送只負責發(fā)送消息而不等待任何響應的方式,也不需要對發(fā)送的狀態(tài)、結果負責,適用于對可靠性要求不高的場景,比如日志收集、監(jiān)控數(shù)據(jù)上報等。

每種發(fā)送方式都有其適用的場景和優(yōu)缺點,具體如何選擇,一定需要根據(jù)業(yè)務需求進行權衡。

總結

本文分析了 RocketMQ 同步發(fā)送、異步發(fā)送和單向發(fā)送三種方式的原理、優(yōu)缺點以及使用場景,并且分析了每種方式涉及到的核心源碼。

通過上文的介紹可以知道同步發(fā)送方式可以保證消息發(fā)送時不丟,但是性能相對其他兩種方式差一些。

RocketMQ 是一款優(yōu)秀的開源消息中間件,作為 Java程序員,建議多去閱讀它的源碼,吸收其中比較好的代碼思維。

責任編輯:趙寧寧 來源: 猿java
相關推薦

2023-09-13 08:14:57

RocketMQ次數(shù)機制

2021-03-08 10:19:59

MQ消息磁盤

2021-10-22 08:37:13

消息不丟失rocketmq消息隊列

2022-03-31 08:26:44

RocketMQ消息排查

2024-06-18 08:26:22

2024-11-11 07:05:00

Redis哨兵模式主從復制

2024-02-26 08:10:00

Redis數(shù)據(jù)數(shù)據(jù)庫

2021-02-02 11:01:31

RocketMQ消息分布式

2021-08-04 07:47:18

Kafka消息框架

2021-04-27 07:52:18

RocketMQ消息投遞

2023-11-27 13:18:00

Redis數(shù)據(jù)不丟失

2021-09-13 07:23:53

KafkaGo語言

2022-08-26 05:24:04

中間件技術Kafka

2024-01-16 08:24:59

消息隊列KafkaRocketMQ

2019-03-13 09:27:57

宕機Kafka數(shù)據(jù)

2024-02-23 14:53:10

Redis持久化

2021-01-12 08:03:19

Redis數(shù)據(jù)系統(tǒng)

2020-10-26 09:19:11

線程池消息

2021-03-04 06:49:53

RocketMQ事務

2024-01-04 08:31:22

k8sController自定義控制器
點贊
收藏

51CTO技術棧公眾號