如何優(yōu)雅的使用RabbitMQ
RabbitMQ無疑是目前***的消息隊(duì)列之一，對(duì)各種語言環(huán)境的支持也很豐富，作為一個(gè).NET developer有必要學(xué)習(xí)和了解這一工具。消息隊(duì)列的使用場(chǎng)景大概有3種：
1、系統(tǒng)集成，分布式系統(tǒng)的設(shè)計(jì)。各種子系統(tǒng)通過消息來對(duì)接，這種解決方案也逐步發(fā)展成一種架構(gòu)風(fēng)格，即“通過消息傳遞的架構(gòu)”。
2、當(dāng)系統(tǒng)中的同步處理方式嚴(yán)重影響了吞吐量，比如日志記錄。假如需要記錄系統(tǒng)中所有的用戶行為日志，如果通過同步的方式記錄日志勢(shì)必會(huì)影響系統(tǒng)的響應(yīng)速度，當(dāng)我們將日志消息發(fā)送到消息隊(duì)列，記錄日志的子系統(tǒng)就會(huì)通過異步的方式去消費(fèi)日志消息。
3、系統(tǒng)的高可用性，比如電商的秒殺場(chǎng)景。當(dāng)某一時(shí)刻應(yīng)用服務(wù)器或數(shù)據(jù)庫(kù)服務(wù)器收到大量請(qǐng)求，將會(huì)出現(xiàn)系統(tǒng)宕機(jī)。如果能夠?qū)⒄?qǐng)求轉(zhuǎn)發(fā)到消息隊(duì)列，再由服務(wù)器去消費(fèi)這些消息將會(huì)使得請(qǐng)求變得平穩(wěn)，提高系統(tǒng)的可用性。
一、開始使用RabbitMQ
RabbitMQ官網(wǎng)提供了詳細(xì)的安裝步驟，另外官網(wǎng)還提供了RabbitMQ在六種場(chǎng)景的使用教程。其中教程1、3、6將覆蓋99%的使用場(chǎng)景，所以正常來說只需要搞清楚這3個(gè)教程即可快速上手。
二、簡(jiǎn)單分析
我們以官方提供的教程1做個(gè)簡(jiǎn)單梳理：該教程展示了Producer如何向一個(gè)消息隊(duì)列(message queue)發(fā)送一個(gè)消息(message)，消息消費(fèi)者(Consumer)收到該消息后消費(fèi)該消息。
1、producer端：
- var factory = new ConnectionFactory() { HostName = "localhost" };
- using (var connection = factory.CreateConnection())
- {
- while (Console.ReadLine() != null)
- {
- using (var channel = connection.CreateModel())
- {
- //創(chuàng)建一個(gè)名叫"hello"的消息隊(duì)列
- channel.QueueDeclare(queue: "hello",
- durable: false,
- exclusive: false,
- autoDelete: false,
- arguments: null);
- var message = "Hello World!";
- var body = Encoding.UTF8.GetBytes(message);
- //向該消息隊(duì)列發(fā)送消息message
- channel.BasicPublish(exchange: "",
- routingKey: "hello",
- basicProperties: null,
- body: body);
- Console.WriteLine(" [x] Sent {0}", message);
- }
- }
- }
該段代碼非常簡(jiǎn)單，幾乎到了無法精簡(jiǎn)的地步：創(chuàng)建了一個(gè)信道(channel)->創(chuàng)建一個(gè)隊(duì)列->向該隊(duì)列發(fā)送消息。
2、Consumer端：
- var factory = new ConnectionFactory() { HostName = "localhost" };
- using (var connection = factory.CreateConnection())
- {
- using (var channel = connection.CreateModel())
- {
- //創(chuàng)建一個(gè)名為"hello"的隊(duì)列，防止producer端沒有創(chuàng)建該隊(duì)列
- channel.QueueDeclare(queue: "hello",
- durable: false,
- exclusive: false,
- autoDelete: false,
- arguments: null);
- //回調(diào)，當(dāng)consumer收到消息后會(huì)執(zhí)行該函數(shù)
- var consumer = new EventingBasicConsumer(channel);
- consumer.Received += (model, ea) =>
- {
- var body = ea.Body;
- var message = Encoding.UTF8.GetString(body);
- Console.WriteLine(" [x] Received {0}", message);
- };
- //消費(fèi)隊(duì)列"hello"中的消息
- channel.BasicConsume(queue: "hello",
- noAck: true,
- consumer: consumer);
- Console.WriteLine(" Press [enter] to exit.");
- Console.ReadLine();
- }
- }
該段代碼可以理解為：創(chuàng)建信道->創(chuàng)建隊(duì)列->定義回調(diào)函數(shù)->消費(fèi)消息。
該實(shí)例描述了Send/Receive模式，可以簡(jiǎn)單理解為1(producer) VS 1(consumer)的場(chǎng)景；
實(shí)例3則描述了Publish/Subscriber模式，即1(producer) VS 多個(gè)(consumer)；
在以上兩個(gè)示例中，producer只需要發(fā)送消息即可，并不關(guān)心consumer的返回結(jié)果。實(shí)例6則描述了一個(gè)RPC調(diào)用場(chǎng)景，producer發(fā)送消息后還要接收consumer的返回結(jié)果，這一場(chǎng)景看起來跟使用消息隊(duì)列的目的有點(diǎn)相悖。因?yàn)槭褂孟㈥?duì)列的目的之一就是要異步，但是這一場(chǎng)景似乎又將異步變成了同步，不過這一場(chǎng)景也很有用，比如一個(gè)用戶操作產(chǎn)生了一個(gè)消息，應(yīng)用服務(wù)收到該消息后執(zhí)行了一些邏輯并使得數(shù)據(jù)庫(kù)發(fā)生了變化，UI會(huì)一直等待應(yīng)用服務(wù)的返回結(jié)果才刷新頁(yè)面。
三、 發(fā)現(xiàn)抽象
我桌子上放著一本RabbitMQ in Action，另外官網(wǎng)提供的文檔也很詳細(xì)，我感覺在一個(gè)月內(nèi)我就能精通RabbitMQ，到時(shí)候簡(jiǎn)歷上又可以寫上“精通…”，感覺有點(diǎn)小得意呢... ，但是我知道這并不是使用RabbitMQ的***方式。
我們知道合理的抽象可以幫我們隱藏掉一些技術(shù)細(xì)節(jié)，讓我們將重心放在核心業(yè)務(wù)上，比如一個(gè)人問你：“大雁塔如何走？”你的回答可能是“小寨往東，一直走兩站，右手邊”，如果你回答：“右轉(zhuǎn)45度，向前走100米，再轉(zhuǎn)90度…”，對(duì)方就會(huì)迷失在這些細(xì)節(jié)中。
消息隊(duì)列的使用過程中實(shí)際隱藏著一種抽象——服務(wù)總線(Service Bus)。
我們?cè)诨仡^看***個(gè)例子，這個(gè)例子隱含的業(yè)務(wù)是：ClientA發(fā)送一個(gè)指令，ClientB收到該指令后做出反應(yīng)。如果是這樣，我們?yōu)槭裁匆P(guān)心如何創(chuàng)建channel，如何創(chuàng)建一個(gè)queue? 我僅僅是要發(fā)送一個(gè)消息而已。另外這個(gè)例子寫的其實(shí)不夠健壯：
沒有重試機(jī)制：如果ClientB***次沒有執(zhí)行成功如何對(duì)該消息處理？
沒有錯(cuò)誤處理機(jī)制：如果ClientB在重試了N次之后還是異常如何處理該消息？
沒有熔斷機(jī)制；
如何對(duì)ClientA做一個(gè)schedule(計(jì)劃安排），比如定時(shí)發(fā)送等；
沒有消息審計(jì)機(jī)制；
無法對(duì)消息的各個(gè)狀態(tài)做追蹤；
事物處理等。
服務(wù)總線正是這種場(chǎng)景的抽象，并且為我們提供了這些機(jī)制，讓我們趕快來看個(gè)究竟吧。
四、初識(shí)MassTransit
MassTransit是.NET平臺(tái)下的一款開源免費(fèi)的ESB產(chǎn)品，官網(wǎng)：http://masstransit-project.com/，GitHub 700 star，500 Fork，類似的產(chǎn)品還有NServiceBus，之所以要選用MassTransit是因?yàn)樗萅ServiceBus輕量級(jí)，另外在MassTransit開發(fā)之初就選用了RabbitMQ作為消息傳輸組建；同時(shí)我想拿他跟NServiceBus做個(gè)比較，看看他們到底有哪些側(cè)重點(diǎn)。
1、新建控制臺(tái)應(yīng)用程序：Masstransit.RabbitMQ.GreetingClient
使用MassTransit可以從Nuget中安裝：
- Install-Package MassTransit.RabbitMQ
2、創(chuàng)建服務(wù)總線，發(fā)送一個(gè)命令：
- static void Main(string[] args)
- {
- Console.WriteLine("Press 'Enter' to send a message.To exit, Ctrl + C");
- var bus = BusCreator.CreateBus();
- var sendToUri = new Uri($"{RabbitMqConstants.RabbitMqUri}{RabbitMqConstants.GreetingQueue}");
- while (Console.ReadLine()!=null)
- {
- Task.Run(() => SendCommand(bus, sendToUri)).Wait();
- }
- Console.ReadLine();
- }
- private static async void SendCommand(IBusControl bus,Uri sendToUri)
- {
- var endPoint =await bus.GetSendEndpoint(sendToUri);
- var command = new GreetingCommand()
- {
- Id = Guid.NewGuid(),
- DateTime = DateTime.Now
- };
- await endPoint.Send(command);
- Console.WriteLine($"send command:id={command.Id},{command.DateTime}");
- }
這一段代碼隱藏了眾多關(guān)于消息隊(duì)列的細(xì)節(jié)，將我們的注意力集中在發(fā)送消息上，同時(shí)ServiceBus提供的API也更接近業(yè)務(wù)，我們雖然發(fā)送的是一個(gè)消息，但是在這種場(chǎng)景下體現(xiàn)出來是一個(gè)命令，Send(command)這一API描述了我們的意圖。
3、服務(wù)端接收這一命令
新建一個(gè)命令臺(tái)控制程序：Masstransit.RabbitMQ.GreetingServer：
- var bus = BusCreator.CreateBus((cfg, host) =>
- {
- cfg.ReceiveEndpoint(host, RabbitMqConstants.GreetingQueue, e =>
- {
- e.Consumer<GreetingConsumer>();
- });
- });
這一代碼可以理解為服務(wù)端在監(jiān)聽消息，我們?cè)诜?wù)端注冊(cè)了一個(gè)名為“GreetingConsumer”的消費(fèi)者，GreetingConsumer的定義：
- public class GreetingConsumer :IConsumer<GreetingCommand>
- {
- public async Task Consume(ConsumeContext<GreetingCommand> context)
- {
- await Console.Out.WriteLineAsync($"receive greeting commmand: {context.Message.Id},{context.Message.DateTime}");
- }
- }
該consumer可以消費(fèi)類型為GreetingCommand的消息。這一實(shí)例幾乎隱藏了有關(guān)RabbitMQ的技術(shù)細(xì)節(jié)，將代碼中心放在了業(yè)務(wù)中，將這兩個(gè)控制臺(tái)應(yīng)用跑起來試試：
五、實(shí)現(xiàn)Publish/Subscribe模式
發(fā)布/訂閱模式使得基于消息傳遞的軟件架構(gòu)成為可能，這一能力表現(xiàn)為ClientA發(fā)送消息X，ClientB和ClientC都可以訂閱消息X。
1、我們?cè)谏厦娴睦又懈脑煲幌?，?dāng)GreetingConsumer收到GreetingCommand后發(fā)送一個(gè)GreetingEvent：
- var greetingEvent = new GreetingEvent()
- {
- Id = context.Message.Id,
- DateTime = DateTime.Now
- };
- await context.Publish(greetingEvent);
2、新建控制臺(tái)程序Masstransit.RabbitMQ.GreetingEvent.SubscriberA用來訂閱GreetingEvent消息：
- var bus = BusCreator.CreateBus((cfg, host) =>
- {
- cfg.ReceiveEndpoint(host, RabbitMqConstants.GreetingEventSubscriberAQueue, e =>
- {
- e.Consumer<GreetingEventConsumer>();
- });
- });
- bus.Start();
定義GreetingEventConsumer：
- public class GreetingEventConsumer:IConsumer<Greeting.Message.GreetingEvent>
- {
- public async Task Consume(ConsumeContext<Greeting.Message.GreetingEvent> context)
- {
- await Console.Out.WriteLineAsync($"receive greeting event: id {context.Message.Id}");
- }
- }
這一代碼跟Masstransit.RabbitMQ.GreetingServer接受一個(gè)命令幾乎一模一樣，唯一的區(qū)別在于：
在Send/Receive模式中Client首先要獲得對(duì)方(Server)的終結(jié)點(diǎn)(endpoint)，直接向該終結(jié)點(diǎn)發(fā)送命令。Server方監(jiān)聽自己的終結(jié)點(diǎn)并消費(fèi)命令。
而Publish/Subscribe模式中Client publish一個(gè)事件，SubscriberA在自己的終結(jié)點(diǎn)(endpointA)監(jiān)聽事件，SubscriberB在自己的終結(jié)點(diǎn)(endpointB)監(jiān)聽事件。
3、根據(jù)上面的分析再定義一個(gè)Masstransit.RabbitMQ.GreetingEvent.SubscriberB
4、將4個(gè)控制臺(tái)應(yīng)用程序跑起來看看
六、實(shí)現(xiàn)RPC模式
這一模式在Masstransit中被稱作Request/Response模式，通過IRequestClient<IRequest, IResponse> 接口來實(shí)現(xiàn)相關(guān)操作。一個(gè)相關(guān)的例子在官方的github。
結(jié)束語：本篇文章分析了如何使用Masstransit來抽象業(yè)務(wù)，避免直接使用具體的消息隊(duì)列，當(dāng)然本文提到的眾多服務(wù)總線機(jī)制，如“重試、熔斷等”并沒有在該文中出現(xiàn)，需要大家進(jìn)一步去了解該項(xiàng)目。
通過對(duì)Masstransit的一些試用和NServiceBus的對(duì)比，Masstransit在實(shí)際項(xiàng)目中很容易上手并且免費(fèi)，各種API定義的也非常清晰，但是官方的文檔有點(diǎn)過于簡(jiǎn)單，實(shí)際使用中還需要去做深入的研究。作為.NET平臺(tái)下為數(shù)不多的ESB開源產(chǎn)品，其關(guān)注程度還是不夠，期待大家為開源項(xiàng)目做出貢獻(xiàn)。
