如何優雅的使用RabbitMQ

RabbitMQ無疑是目前最流行的消息隊列之一,對各種語言環境的支持也很豐富,作爲一個.NET developer有必要學習和了解這一工具。消息隊列的使用場景大概有3種:

1、系統集成,分佈式系統的設計。各種子系統通過消息來對接,這種解決方案也逐步發展成一種架構風格,即“通過消息傳遞的架構”。

2、當系統中的同步處理方式嚴重影響了吞吐量,比如日誌記錄。假如需要記錄系統中所有的用戶行爲日誌,如果通過同步的方式記錄日誌勢必會影響系統的響應速度,當我們將日誌消息發送到消息隊列,記錄日誌的子系統就會通過異步的方式去消費日誌消息。

3、系統的高可用性,比如電商的秒殺場景。當某一時刻應用服務器或數據庫服務器收到大量請求,將會出現系統宕機。如果能夠將請求轉發到消息隊列,再由服務器去消費這些消息將會使得請求變得平穩,提高系統的可用性。

一、開始使用RabbitMQ

RabbitMQ官網提供了詳細的安裝步驟,另外官網還提供了RabbitMQ在六種場景的使用教程。其中教程1、3、6將覆蓋99%的使用場景,所以正常來說只需要搞清楚這3個教程即可快速上手。

二、簡單分析

我們以官方提供的教程1做個簡單梳理:該教程展示了Producer如何向一個消息隊列(message queue)發送一個消息(message),消息消費者(Consumer)收到該消息後消費該消息。

1、producer端:

           var factory = new ConnectionFactory() { HostName = "localhost" };
            using (var connection = factory.CreateConnection())
            {
                while (Console.ReadLine() != null)
                {
                    using (var channel = connection.CreateModel())
                    {
                        //創建一個名叫"hello"的消息隊列
                        channel.QueueDeclare(queue: "hello",
                            durable: false,
                            exclusive: false,
                            autoDelete: false,
                            arguments: null);

                        var message = "Hello World!";
                        var body = Encoding.UTF8.GetBytes(message);

                        //向該消息隊列發送消息message
                        channel.BasicPublish(exchange: "",
                            routingKey: "hello",
                            basicProperties: null,
                            body: body);
                        Console.WriteLine(" [x] Sent {0}", message);
                    }
                }
            }

該段代碼非常簡單,幾乎到了無法精簡的地步:創建了一個信道(channel)->創建一個隊列->向該隊列發送消息。

2、Consumer端

           var factory = new ConnectionFactory() { HostName = "localhost" };
            using (var connection = factory.CreateConnection())
            {
                using (var channel = connection.CreateModel())
                {
                    //創建一個名爲"hello"的隊列,防止producer端沒有創建該隊列
                    channel.QueueDeclare(queue: "hello",
                                         durable: false,
                                         exclusive: false,
                                         autoDelete: false,
                                         arguments: null);

                    //回調,當consumer收到消息後會執行該函數
                    var consumer = new EventingBasicConsumer(channel);
                    consumer.Received += (model, ea) =>
                    {
                        var body = ea.Body;
                        var message = Encoding.UTF8.GetString(body);
                        Console.WriteLine(" [x] Received {0}", message);
                    };

                    //消費隊列"hello"中的消息
                    channel.BasicConsume(queue: "hello",
                                         noAck: true,
                                         consumer: consumer);

                    Console.WriteLine(" Press [enter] to exit.");
                    Console.ReadLine();
                }
            }

該段代碼可以理解爲:創建信道->創建隊列->定義回調函數->消費消息。

該實例描述了Send/Receive模式,可以簡單理解爲1(producer) VS 1(consumer)的場景;

實例3則描述了Publish/Subscriber模式,即1(producer) VS 多個(consumer);

在以上兩個示例中,producer只需要發送消息即可,並不關心consumer的返回結果。實例6則描述了一個RPC調用場景,producer發送消息後還要接收consumer的返回結果,這一場景看起來跟使用消息隊列的目的有點相悖。因爲使用消息隊列的目的之一就是要異步,但是這一場景似乎又將異步變成了同步,不過這一場景也很有用,比如一個用戶操作產生了一個消息,應用服務收到該消息後執行了一些邏輯並使得數據庫發生了變化,UI會一直等待應用服務的返回結果才刷新頁面。

三、 發現抽象

我桌子上放着一本RabbitMQ in Action,另外官網提供的文檔也很詳細,我感覺在一個月內我就能精通RabbitMQ,到時候簡歷上又可以寫上“精通…”,感覺有點小得意呢... ,但是我知道這並不是使用RabbitMQ的最佳方式。

我們知道合理的抽象可以幫我們隱藏掉一些技術細節,讓我們將重心放在覈心業務上,比如一個人問你:“大雁塔如何走?”你的回答可能是“小寨往東,一直走兩站,右手邊”,如果你回答:“右轉45度,向前走100米,再轉90度…”,對方就會迷失在這些細節中。

消息隊列的使用過程中實際隱藏着一種抽象——服務總線(Service Bus)。

我們在回頭看第一個例子,這個例子隱含的業務是:ClientA發送一個指令,ClientB收到該指令後做出反應。如果是這樣,我們爲什麼要關心如何創建channel,如何創建一個queue? 我僅僅是要發送一個消息而已。另外這個例子寫的其實不夠健壯:

沒有重試機制:如果ClientB第一次沒有執行成功如何對該消息處理?

沒有錯誤處理機制:如果ClientB在重試了N次之後還是異常如何處理該消息?

沒有熔斷機制;

如何對ClientA做一個schedule(計劃安排),比如定時發送等;

沒有消息審計機制;

無法對消息的各個狀態做追蹤;

事物處理等。

服務總線正是這種場景的抽象,並且爲我們提供了這些機制,讓我們趕快來看個究竟吧。

四、初識MassTransit

MassTransit是.NET平臺下的一款開源免費的ESB產品,官網:http://masstransit-project.com/,GitHub 700 star,500 Fork,類似的產品還有NServiceBus,之所以要選用MassTransit是因爲他要比NServiceBus輕量級,另外在MassTransit開發之初就選用了RabbitMQ作爲消息傳輸組建;同時我想拿他跟NServiceBus做個比較,看看他們到底有哪些側重點。

1、新建控制檯應用程序:Masstransit.RabbitMQ.GreetingClient

使用MassTransit可以從Nuget中安裝:

Install-Package MassTransit.RabbitMQ

2、創建服務總線,發送一個命令

        static void Main(string[] args)
        {
            Console.WriteLine("Press 'Enter' to send a message.To exit, Ctrl + C");

            var bus = BusCreator.CreateBus();
            var sendToUri = new Uri($"{RabbitMqConstants.RabbitMqUri}{RabbitMqConstants.GreetingQueue}");

            while (Console.ReadLine()!=null)
            {
                Task.Run(() => SendCommand(bus, sendToUri)).Wait();
            }

            Console.ReadLine();
        }

        private static async void SendCommand(IBusControl bus,Uri sendToUri)
        {
            var endPoint =await bus.GetSendEndpoint(sendToUri);
            var command = new GreetingCommand()
            {
                Id = Guid.NewGuid(),
                DateTime = DateTime.Now
            };

            await endPoint.Send(command);

            Console.WriteLine($"send command:id={command.Id},{command.DateTime}"); 
        }

這一段代碼隱藏了衆多關於消息隊列的細節,將我們的注意力集中在發送消息上,同時ServiceBus提供的API也更接近業務,我們雖然發送的是一個消息,但是在這種場景下體現出來是一個命令,Send(command)這一API描述了我們的意圖。

3、服務端接收這一命令

新建一個命令臺控制程序:Masstransit.RabbitMQ.GreetingServer

            var bus = BusCreator.CreateBus((cfg, host) =>
            {
                cfg.ReceiveEndpoint(host, RabbitMqConstants.GreetingQueue, e =>
                {
                    e.Consumer<GreetingConsumer>();

                });
            });

這一代碼可以理解爲服務端在監聽消息,我們在服務端註冊了一個名爲“GreetingConsumer”的消費者,GreetingConsumer的定義:

    public class GreetingConsumer :IConsumer<GreetingCommand>
    {
        public async Task Consume(ConsumeContext<GreetingCommand> context)
        {

            await Console.Out.WriteLineAsync($"receive greeting commmand: {context.Message.Id},{context.Message.DateTime}");
        }
    }

該consumer可以消費類型爲GreetingCommand的消息。這一實例幾乎隱藏了有關RabbitMQ的技術細節,將代碼中心放在了業務中,將這兩個控制檯應用跑起來試試:

五、實現Publish/Subscribe模式

發佈/訂閱模式使得基於消息傳遞的軟件架構成爲可能,這一能力表現爲ClientA發送消息X,ClientB和ClientC都可以訂閱消息X。

1、我們在上面的例子中改造一下,當GreetingConsumer收到GreetingCommand後發送一個GreetingEvent:

           var greetingEvent = new GreetingEvent()
            {
                Id = context.Message.Id,
                DateTime = DateTime.Now
            };

            await context.Publish(greetingEvent);

2、新建控制檯程序Masstransit.RabbitMQ.GreetingEvent.SubscriberA用來訂閱GreetingEvent消息:

           var bus = BusCreator.CreateBus((cfg, host) =>
            {
                cfg.ReceiveEndpoint(host, RabbitMqConstants.GreetingEventSubscriberAQueue, e =>
                {
                    e.Consumer<GreetingEventConsumer>();
                });
            });

            bus.Start();

定義GreetingEventConsumer:

   public class GreetingEventConsumer:IConsumer<Greeting.Message.GreetingEvent>
    {
        public async Task Consume(ConsumeContext<Greeting.Message.GreetingEvent> context)
        {
            await Console.Out.WriteLineAsync($"receive greeting event: id {context.Message.Id}");
        }
    }

這一代碼跟Masstransit.RabbitMQ.GreetingServer接受一個命令幾乎一模一樣,唯一的區別在於:

在Send/Receive模式中Client首先要獲得對方(Server)的終結點(endpoint),直接向該終結點發送命令。Server方監聽自己的終結點並消費命令。

而Publish/Subscribe模式中Client publish一個事件,SubscriberA在自己的終結點(endpointA)監聽事件,SubscriberB在自己的終結點(endpointB)監聽事件。

3、根據上面的分析再定義一個Masstransit.RabbitMQ.GreetingEvent.SubscriberB

4、將4個控制檯應用程序跑起來看看

六、實現RPC模式

這一模式在Masstransit中被稱作Request/Response模式,通過IRequestClient<IRequest, IResponse> 接口來實現相關操作。一個相關的例子在官方的github

 

結束語:本篇文章分析瞭如何使用Masstransit來抽象業務,避免直接使用具體的消息隊列,當然本文提到的衆多服務總線機制,如“重試、熔斷等”並沒有在該文中出現,需要大家進一步去了解該項目。

通過對Masstransit的一些試用和NServiceBus的對比,Masstransit在實際項目中很容易上手並且免費,各種API定義的也非常清晰,但是官方的文檔有點過於簡單,實際使用中還需要去做深入的研究。作爲.NET平臺下爲數不多的ESB開源產品,其關注程度還是不夠,期待大家爲開源項目做出貢獻。

 

本文例子提供下載:http://git.oschina.net/richieyangs/RabbitMQ.Practice

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章