一、MQ用途
主要有3點：解耦、異步、削峯（限流）。
大致圖形如下，其實就是在服務與服務之間增加了一箇中間件，可以實現上面的三種用途。
解耦：我們看到，服務A強依賴服務B和C，當服務B或者C掛掉後，會直接導致服務A的不可用，這顯然不是我們所期望的。比如服務的最後一步是記錄日誌，但是該服務掛了，雖然日誌服務和主流服務沒有必然的業務聯繫，但是因爲代碼的耦合性過高，直接導致整個服務響應失敗。
異步：假如服務A本身執行只需要10ms，服務B需要5ms，服務C（日誌服務）需要1s。同樣的，一個和業務本身無關的服務過長的響應時間導致了整體服務的響應超時。
削峯：假如由於服務C只是記錄日誌的，服務器配置較低，1s只能處理2000條數據，但是高峯時段，每秒的請求高達10萬筆，過高的請求會導致服務器崩潰。
可以看到，其實上面所講的三種情況，都很類似，連起來可以這麼理解。高峯時段導致服務C運行越來越慢，產生了“異步”所說的問題，如果長時間沒解決，可能會導致“解耦”所說的情況，即服務掛掉。
在增加了MQ以後，我們可以在服務A執行完核心業務後，將後續處理的業務數據打入消息隊列中，然後就可以返回成功。然後日誌服務從消息隊列中取到對應的消息進行處理即可。這樣就實現了“解耦”和“異步”。在高峯時段，所有的數據都會打入消息隊列中，而日誌服務只需要按照自己的消費水平（2000條/s）取數據就好，保證了服務的平滑穩定。
二、MQ選型
主流的MQ有4種，ActiveMQ、RabbitMQ、RocketMQ和Kafka。不過ActiveMQ雖然框架成熟、曾經是MQ中的王牌，但是現在官方的維護頻率越來越低，國內各大公司已經很少才用了，再加上吞吐量不高（比kafka低一個數量級），存在消息丟失的情況，所以現在新項目很少會採用了。
RabbitMQ是用ErLang語言開發的，性能上是最好的，但是由於ErLang語言不是主流語言，二次開發難度較高，很多想要根據實際情況進行二次開發的公司很少採用。不過如果只是簡單使用的話，還是不錯的，畢竟它的延時是最少的；並且RabbitMQ有一個最大的好處是它具有可視化界面，操作維護很方便。
RocketMQ是阿里開源的產品，經過了很多高併發項目的考驗（如雙十一），性能上是有保證的。純Java編寫，維護性高。我理解的它和kafka最大的不同有兩點，一是它支持事務；二是集羣結構不一致，它沒有主從切換，當leader掛掉後，存在一定的感知時間，然後切換到follower上。
kafka的特點就是高吞吐量，一般配合大數據類的系統來進行實時數據計算、日誌採集，在日誌收集領域是事實上的標準。
另外，springCloud全家桶中，有一個springCloudStream消息驅動框架，該框架很好的封裝了MQ操作的相關API，減輕了開發者在MQ方面的代碼量，不過該框架只封裝了RabbitMQ和kafka這兩種MQ。
綜上，如果需要對MQ傳輸提供事務支持或者解決高併發下的業務解耦，建議採用RocketMQ，微服務框架是dubbo的話，應該也建議用RocketMQ（這個沒測過，個人猜測，畢竟都是阿里的產品）。如果是要做日誌收集等工作，建議採用kafka。中小型公司使用springCloud全家桶開發的項目中，建議採用RabbitMQ（或者kafka）。
以上是查資料總結的，由於我平時都是使用的kafka，所以後面都以kafka爲例了。
三、重複消費
重複消費在MQ中是一個重點問題，該問題是如何產生的？
kafka中有一個消息偏移量offset，每當消費者消費完一條消息時，執行commit，會將offset+1。如果一條消息在消費完以後尚未commit offset，突發宕機，會讓zookeeper認爲該條消息沒有被消費。導致消費者重啓後重復消費之前的數據。
如何避免？
避免重複消費的問題，與同一個服務被多次調用的問題類似，就是如何解決服務的冪等性。大致有如下幾個方案：
1、利用數據庫的唯一性約束。
2、將數據存入redis中，利用redis天然的冪等性，然後再將數據從redis同步到數據庫中
3、生產者發消息時增加一個唯一id（比如UUID），消費者消費成功後將該UUID存入redis中，每次消費前先查看該UUID是否存在。
四、消息丟失
消息丟失同樣也是MQ中是一個重點問題。由於系統中存在生產者、消費者和MQ本身三個組件，所以需要從這三個方面分別討論。
MQ本身丟失：由於kafka的集羣是leader/follower模式，leader先接受消息後，再同步給follower，如果leader接收到消息後發生宕機，沒來得及同步數據給follower，這時依靠選舉機制產生了新的leader，但是它已經永遠的失去了這條消息。爲了避免這種情況發生，就需要修改kafka的配置，利用kafka自身的特性來解決。
首先給topic設置replication.factor參數：這個值必須大於1，要求每個partition必須有至少2個副本。
然後在kafka服務端設置min.insync.replicas參數：這個值必須大於1，這個是要求一個leader至少感知到有至少一個follower還跟自己保持聯繫，沒掉隊，這樣才能確保leader掛了還有一個follower。
然後在producer端設置acks=all：這個是要求每條數據，必須是寫入所有replica之後，才能認爲是寫成功了
最後在producer端設置retries=MAX（很大很大很大的一個值，無限次重試的意思）：這個是要求一旦寫入失敗，就無限重試，卡在這裏了。
這樣配置以後，就可以保證只有所有的副本數據都同步成功後，才認爲消息發送成功，避免了leader掛掉的情況。
消費者丟失：kafka有一個自動提交機制，每次接受到消息後自動提交offset。如果消息還未處理就掛掉了，但zk卻已經接收到消費成功的通知，顯然不合理，所以要避免使用kafka的自動提交，改爲手動提交。
生產者丟失：顯然，如果配置了acks=all以後，生產者是不會發生消息丟失的。
另外，查資料發現RabbitMQ和kafka的消息丟失情況不同，這裏補充一個RabbitMQ的處理方式。
MQ本身丟失：由於RabbitMQ沒有集羣配置，所以只能依靠持久化到本地的方式來進行備份。如果接收到消息還沒來得及備份就掛掉了，就會導致消息丟失。不過這個概率很低。如果發生了，可以利用生產者丟失的方式處理，見下。
消費者丟失：產生原因不說了。可以採用RabbitMQ提供的ack機制，即關閉RabbitMQ自動ack，然後通過api來調用就行，在確認處理完消息後，手動提交ack通知MQ。
生產者丟失：可能存在的問題就是生產者發送消息後，網絡傳輸有問題導致了數據丟失。爲了避免這種情況，一般會開啓事務機制，保證數據一致性，但是事務機制由於是同步的，會造成系統性能下降，所以可以借鑑分佈式事務的理念，即confirm機制。生產者發送消息後，開啓異步接受MQ的反饋，收到後，默認消息發送成功，超時後觸發消息重發機制。
五、如何確保消息順序消費。
這個很簡單，只要保證每個消費者或者每個處理線程都對應一個隊列即可。
六、消息積壓如何處理。
畢竟流量高峯的時間存在不長，只要最初規劃MQ的空間時考慮到流量高峯的容量，一般是不會出現積壓的，除非由於代碼bug或者消費者宕機。
這時爲了快速處理積壓的消息，我們除了修正bug和重啓服務器以外，還需要有提前定好的應急方案，即臨時擴容消費者，增加消費者處理速度。並且不能設置消息的TTL，保證消息一直存在。
實在沒辦法了的終極解決方案，就是拋棄部分消息，然後過了高峯以後，依靠日誌等方式人肉維護。。。
最後，說一個我之前的公司，爲了避免重複消費和消息丟失的解決方案，就是在生產者發送消息前和消費者接收消息後，在本地記錄一條數據，然後定時對比兩者的差異，來確保這兩個問題不會發生。同樣該方案也可用於處理積壓，完全可以拋棄消息，最後依靠生產者記錄的數據進行維護。這種方式比較適合業務分離狀態的，如購物場景，只要保證用戶下單成功即可，後續的出庫，贈加積分，贈送優惠券等功能稍緩緩也不礙事，但是如果是時效性較高的業務，比如商品查詢，可能商品描述、商品價格、商品圖片都是不同的服務在處理，如果一個服務不能正常返回，那這個業務就無法正常開展。這種情況，就建議採用限流策略了。