一、好久不見
現在是2019年6月12日，距離上一次更新足有一個余月。
這一個多月以來，甚是忙碌。沒有時間寫作，寫博客，寫程序。雖然有很多不確定的因素，但最能確定的是，她永遠離開我了。爲了停止悲痛，我忙到深夜，可每每想起她的一切，還是會想哭。
程序員不需要感性，用理性的頭腦才能寫好程序。
我端午請假回了趟家，雖說家是避風的港灣，可不是所有的悲痛幾天時間就可以忘卻。
回到自己家中，一切還是沒變。既然回不去，就往前看。
從今天開始，每晚十點，直播程序編寫。做以前想做卻不敢做的事。
二、背景
由於項目中用到了kafka作爲消息中間件，要從遠程的kafka服務器去消費topic，前前後後搞了好幾天。做一下記錄。
三、什麼是kafka
Apache Kafka是一個開源消息系統，由Scala寫成，是一個分佈式消息隊列：生產者、消費者的功能，Kafka對消息保存時根據Topic進行歸類，發送消息者稱爲Producer,消息接受者稱爲Consumer,此外kafka集羣由多個kafka實例組成，每個實例(server)稱爲broker。
四、Kafka核心組件
Topic：消息根據Topic進行歸類，可以理解爲一個隊裏。
Producer：消息生產者，就是向kafka broker發消息的客戶端。
Consumer：消息消費者，向kafka broker取消息的客戶端。
broker：每個kafka實例(server)，一臺kafka服務器就是一個broker，一個集羣由多個broker組成，一個broker可以容納多個topic。
Zookeeper：依賴集羣保存meta信息。
五、Kafka消息有序性
1、生產者是一個獨立的集羣，和kafka的broker集羣，消費者集羣沒有太直接的干係。比如flume就可以作爲生產者，內部調用kafka的客戶端代碼，確保把收集的數據發到kafka集羣中。
2、如何保證kafka全局消息有序？
比如，有100條有序數據，生產者發送到kafka集羣，kafka的分片有4個，可能的情況就是一個分片保存0-25，一個保存25-50......這樣消息在kafka中存儲是局部有序了。嚴格說，kafka是無法保證全局消息有序的，沒有這個機制，只能局部有序。
但是如果只有一個分片和一個消息的生產者，那麼就相當於消息全局有序了。如果有多個消息生產者，就算只有一個分片，如果這些生產者的消息都發給這個分片，那kafka中的消息連局部有序都沒有辦法了。
六、消費者組
Consumer Group（CG）：這是kafka用來實現一個topic消息的廣播（發給所有的consumer）和單播（發給任意一個consumer）的手段。一個topic可以有多個CG。topic的消息會複製（不是真的複製，是概念上的）到所有的CG，但每個partion只會把消息發給該CG中的一個consumer。如果需要實現廣播，只要每個consumer有一個獨立的CG就可以了。要實現單播只要所有的consumer在同一個CG。用CG還可以將consumer進行自由的分組而不需要多次發送消息到不同的topic。
Partition：爲了實現擴展性，一個非常大的topic可以分佈到多個broker（即服務器）上，一個topic可以分爲多個partition，每個partition是一個有序的隊列。partition中的每條消息都會被分配一個有序的id（offset）。kafka只保證按一個partition中的順序將消息發給consumer，不保證一個topic的整體（多個partition間）的順序。
Offset：kafka的存儲文件都是按照offset.kafka來命名，用offset做名字的好處是方便查找。例如你想找位於2049的位置，只要找到2048.kafka的文件即可。當然the first offset就是00000000000.kafka。
每個group中可以有多個consumer，每個consumer屬於一個consumer group；通常情況下，一個group中會包含多個consumer，這樣不僅可以提高topic中消息的併發消費能力，而且還能提高"故障容錯"性，如果group中的某個consumer失效那麼其消費的partitions將會有其他consumer自動接管。
對於Topic中的一條特定的消息，只會被訂閱此Topic的每個group中的其中一個consumer消費，此消息不會發送給一個group的多個consumer；那麼一個group中所有的consumer將會交錯的消費整個Topic，每個group中consumer消息消費互相獨立，我們可以認爲一個group是一個"訂閱"者。
在kafka中,一個partition中的消息只會被group中的一個consumer消費(同一時刻)；一個Topic中的每個partions，只會被一個"訂閱者"中的一個consumer消費，不過一個consumer可以同時消費多個partitions中的消息。
kafka的設計原理決定,對於一個topic，同一個group中不能有多於partitions個數的consumer同時消費，否則將意味着某些consumer將無法得到消息。kafka只能保證一個partition中的消息被某個consumer消費時是順序的；事實上，從Topic角度來說,當有多個partitions時,消息仍不是全局有序的。
七、Producer客戶端負責消息的分發
kafka集羣中的任何一個broker都可以向producer提供metadata信息,這些metadata中包含"集羣中存活的servers列表"/"partitions leader列表"等信息；
當producer獲取到metadata信息之後, producer將會和Topic下所有partition leader保持socket連接；
消息由producer直接通過socket發送到broker，中間不會經過任何"路由層"，事實上，消息被路由到哪個partition上由producer客戶端決定；比如可以採用"random""key-hash""輪詢"等,如果一個topic中有多個partitions,那麼在producer端實現"消息均衡分發"是必要的。
在producer端的配置文件中,開發者可以指定partition路由的方式。
Producer消息發送的應答機制設置發送數據是否需要服務端的反饋,有三個值0,1,-1
0:producer不會等待broker發送ack
1:當leader接收到消息之後發送ack
-1:當所有的follower都同步消息成功後發送ack
request.required.acks=0
八、kafka的安裝和部署
（kafka在window有很多的不兼容，建議在Linux上進行搭建）
參考文章：
https://www.cnblogs.com/justuntil/p/8033792.html
九、消費者如何消費kafka的topic
採用spring結合kafka的註解式開發是比較高效的做法，但是有很多的小細節需要注意。
參考文章：
https://blog.csdn.net/u010906369/article/details/74978595