RabbitMQ無疑是目前最流行的消息隊列之一,對各種語言環境的支持也很豐富,作爲一個.NET developer有必要學習和了解這一工具。消息隊列的使用場景大概有3種:
1、系統集成,分佈式系統的設計。各種子系統通過消息來對接,這種解決方案也逐步發展成一種架構風格,即“通過消息傳遞的架構”。
2、當系統中的同步處理方式嚴重影響了吞吐量,比如日誌記錄。假如需要記錄系統中所有的用戶行爲日誌,如果通過同步的方式記錄日誌勢必會影響系統的響應速度,當我們將日誌消息發送到消息隊列,記錄日誌的子系統就會通過異步的方式去消費日誌消息。
3、系統的高可用性,比如電商的秒殺場景。當某一時刻應用服務器或數據庫服務器收到大量請求,將會出現系統宕機。如果能夠將請求轉發到消息隊列,再由服務器去消費這些消息將會使得請求變得平穩,提高系統的可用性。
一、開始使用RabbitMQ
RabbitMQ官網提供了詳細的安裝步驟,另外官網還提供了RabbitMQ在六種場景的使用教程。其中教程1、3、6將覆蓋99%的使用場景,所以正常來說只需要搞清楚這3個教程即可快速上手。
二、簡單分析
我們以官方提供的教程1做個簡單梳理:該教程展示了Producer如何向一個消息隊列(message queue)發送一個消息(message),消息消費者(Consumer)收到該消息後消費該消息。
1、producer端:
var factory = new ConnectionFactory() { HostName = "localhost" }; using (var connection = factory.CreateConnection()) { while (Console.ReadLine() != null) { using (var channel = connection.CreateModel()) { //創建一個名叫"hello"的消息隊列 channel.QueueDeclare(queue: "hello", durable: false, exclusive: false, autoDelete: false, arguments: null); var message = "Hello World!"; var body = Encoding.UTF8.GetBytes(message); //向該消息隊列發送消息message channel.BasicPublish(exchange: "", routingKey: "hello", basicProperties: null, body: body); Console.WriteLine(" [x] Sent {0}", message); } } }
該段代碼非常簡單,幾乎到了無法精簡的地步:創建了一個信道(channel)->創建一個隊列->向該隊列發送消息。
2、Consumer端
var factory = new ConnectionFactory() { HostName = "localhost" }; using (var connection = factory.CreateConnection()) { using (var channel = connection.CreateModel()) { //創建一個名爲"hello"的隊列,防止producer端沒有創建該隊列 channel.QueueDeclare(queue: "hello", durable: false, exclusive: false, autoDelete: false, arguments: null); //回調,當consumer收到消息後會執行該函數 var consumer = new EventingBasicConsumer(channel); consumer.Received += (model, ea) => { var body = ea.Body; var message = Encoding.UTF8.GetString(body); Console.WriteLine(" [x] Received {0}", message); }; //消費隊列"hello"中的消息 channel.BasicConsume(queue: "hello", noAck: true, consumer: consumer); Console.WriteLine(" Press [enter] to exit."); Console.ReadLine(); } }
該段代碼可以理解爲:創建信道->創建隊列->定義回調函數->消費消息。
該實例描述了Send/Receive模式,可以簡單理解爲1(producer) VS 1(consumer)的場景;
實例3則描述了Publish/Subscriber模式,即1(producer) VS 多個(consumer);
在以上兩個示例中,producer只需要發送消息即可,並不關心consumer的返回結果。實例6則描述了一個RPC調用場景,producer發送消息後還要接收consumer的返回結果,這一場景看起來跟使用消息隊列的目的有點相悖。因爲使用消息隊列的目的之一就是要異步,但是這一場景似乎又將異步變成了同步,不過這一場景也很有用,比如一個用戶操作產生了一個消息,應用服務收到該消息後執行了一些邏輯並使得數據庫發生了變化,UI會一直等待應用服務的返回結果才刷新頁面。
三、 發現抽象
我桌子上放着一本RabbitMQ in Action,另外官網提供的文檔也很詳細,我感覺在一個月內我就能精通RabbitMQ,到時候簡歷上又可以寫上“精通…”,感覺有點小得意呢... ,但是我知道這並不是使用RabbitMQ的最佳方式。
我們知道合理的抽象可以幫我們隱藏掉一些技術細節,讓我們將重心放在覈心業務上,比如一個人問你:“大雁塔如何走?”你的回答可能是“小寨往東,一直走兩站,右手邊”,如果你回答:“右轉45度,向前走100米,再轉90度…”,對方就會迷失在這些細節中。
消息隊列的使用過程中實際隱藏着一種抽象——服務總線(Service Bus)。
我們在回頭看第一個例子,這個例子隱含的業務是:ClientA發送一個指令,ClientB收到該指令後做出反應。如果是這樣,我們爲什麼要關心如何創建channel,如何創建一個queue? 我僅僅是要發送一個消息而已。另外這個例子寫的其實不夠健壯:
沒有重試機制:如果ClientB第一次沒有執行成功如何對該消息處理?
沒有錯誤處理機制:如果ClientB在重試了N次之後還是異常如何處理該消息?
沒有熔斷機制;
如何對ClientA做一個schedule(計劃安排),比如定時發送等;
沒有消息審計機制;
無法對消息的各個狀態做追蹤;
事物處理等。
服務總線正是這種場景的抽象,並且爲我們提供了這些機制,讓我們趕快來看個究竟吧。
四、初識MassTransit
MassTransit是.NET平臺下的一款開源免費的ESB產品,官網:http://masstransit-project.com/,GitHub 700 star,500 Fork,類似的產品還有NServiceBus,之所以要選用MassTransit是因爲他要比NServiceBus輕量級,另外在MassTransit開發之初就選用了RabbitMQ作爲消息傳輸組建;同時我想拿他跟NServiceBus做個比較,看看他們到底有哪些側重點。
1、新建控制檯應用程序:Masstransit.RabbitMQ.GreetingClient
使用MassTransit可以從Nuget中安裝:
Install-Package MassTransit.RabbitMQ
2、創建服務總線,發送一個命令
static void Main(string[] args) { Console.WriteLine("Press 'Enter' to send a message.To exit, Ctrl + C"); var bus = BusCreator.CreateBus(); var sendToUri = new Uri($"{RabbitMqConstants.RabbitMqUri}{RabbitMqConstants.GreetingQueue}"); while (Console.ReadLine()!=null) { Task.Run(() => SendCommand(bus, sendToUri)).Wait(); } Console.ReadLine(); } private static async void SendCommand(IBusControl bus,Uri sendToUri) { var endPoint =await bus.GetSendEndpoint(sendToUri); var command = new GreetingCommand() { Id = Guid.NewGuid(), DateTime = DateTime.Now }; await endPoint.Send(command); Console.WriteLine($"send command:id={command.Id},{command.DateTime}"); }
這一段代碼隱藏了衆多關於消息隊列的細節,將我們的注意力集中在發送消息上,同時ServiceBus提供的API也更接近業務,我們雖然發送的是一個消息,但是在這種場景下體現出來是一個命令,Send(command)這一API描述了我們的意圖。
3、服務端接收這一命令
新建一個命令臺控制程序:Masstransit.RabbitMQ.GreetingServer
var bus = BusCreator.CreateBus((cfg, host) => { cfg.ReceiveEndpoint(host, RabbitMqConstants.GreetingQueue, e => { e.Consumer<GreetingConsumer>(); }); });
這一代碼可以理解爲服務端在監聽消息,我們在服務端註冊了一個名爲“GreetingConsumer”的消費者,GreetingConsumer的定義:
public class GreetingConsumer :IConsumer<GreetingCommand> { public async Task Consume(ConsumeContext<GreetingCommand> context) { await Console.Out.WriteLineAsync($"receive greeting commmand: {context.Message.Id},{context.Message.DateTime}"); } }
該consumer可以消費類型爲GreetingCommand的消息。這一實例幾乎隱藏了有關RabbitMQ的技術細節,將代碼中心放在了業務中,將這兩個控制檯應用跑起來試試:
五、實現Publish/Subscribe模式
發佈/訂閱模式使得基於消息傳遞的軟件架構成爲可能,這一能力表現爲ClientA發送消息X,ClientB和ClientC都可以訂閱消息X。
1、我們在上面的例子中改造一下,當GreetingConsumer收到GreetingCommand後發送一個GreetingEvent:
var greetingEvent = new GreetingEvent() { Id = context.Message.Id, DateTime = DateTime.Now }; await context.Publish(greetingEvent);
2、新建控制檯程序Masstransit.RabbitMQ.GreetingEvent.SubscriberA用來訂閱GreetingEvent消息:
var bus = BusCreator.CreateBus((cfg, host) => { cfg.ReceiveEndpoint(host, RabbitMqConstants.GreetingEventSubscriberAQueue, e => { e.Consumer<GreetingEventConsumer>(); }); }); bus.Start();
定義GreetingEventConsumer:
public class GreetingEventConsumer:IConsumer<Greeting.Message.GreetingEvent> { public async Task Consume(ConsumeContext<Greeting.Message.GreetingEvent> context) { await Console.Out.WriteLineAsync($"receive greeting event: id {context.Message.Id}"); } }
這一代碼跟Masstransit.RabbitMQ.GreetingServer接受一個命令幾乎一模一樣,唯一的區別在於:
在Send/Receive模式中Client首先要獲得對方(Server)的終結點(endpoint),直接向該終結點發送命令。Server方監聽自己的終結點並消費命令。
而Publish/Subscribe模式中Client publish一個事件,SubscriberA在自己的終結點(endpointA)監聽事件,SubscriberB在自己的終結點(endpointB)監聽事件。
3、根據上面的分析再定義一個Masstransit.RabbitMQ.GreetingEvent.SubscriberB
4、將4個控制檯應用程序跑起來看看
六、實現RPC模式
這一模式在Masstransit中被稱作Request/Response模式,通過IRequestClient<IRequest, IResponse> 接口來實現相關操作。一個相關的例子在官方的github。
結束語:本篇文章分析瞭如何使用Masstransit來抽象業務,避免直接使用具體的消息隊列,當然本文提到的衆多服務總線機制,如“重試、熔斷等”並沒有在該文中出現,需要大家進一步去了解該項目。
通過對Masstransit的一些試用和NServiceBus的對比,Masstransit在實際項目中很容易上手並且免費,各種API定義的也非常清晰,但是官方的文檔有點過於簡單,實際使用中還需要去做深入的研究。作爲.NET平臺下爲數不多的ESB開源產品,其關注程度還是不夠,期待大家爲開源項目做出貢獻。
本文例子提供下載:http://git.oschina.net/richieyangs/RabbitMQ.Practice