一、Kafka是什麼
在流式計算中，Kafka一般用來緩存數據，Storm通過消費Kafka的數據進行計算。
Apache Kafka是一個開源消息系統，由Scala寫成。
Kafka是一個分佈式消息隊列：生產者、消費者的功能。它提供了類似於JMS的特性，但是在設計實現上完全不同，此外它並不是JMS規範的實現。
Kafka對消息保存時根據Topic進行歸類，發送消息者稱爲Producer,消息接受者稱爲Consumer,此外kafka集羣由多個kafka實例組成，每個實例(server)稱爲broker。
題外話：無論是kafka集羣，還是producer和consumer都依賴於zookeeper集羣保存一些meta信息，來保證系統可用性。
二、Kafka核心組件
Topic：消息根據Topic進行歸類，可以理解爲一個隊裏。
Producer：消息生產者，就是向kafka broker發消息的客戶端。
Consumer：消息消費者，向kafka broker取消息的客戶端。
broker：每個kafka實例(server)，一臺kafka服務器就是一個broker，一個集羣由多個broker組成，一個broker可以容納多個topic。
Zookeeper：依賴集羣保存meta信息。
三、Kafka消息有序性
生產者是一個獨立的集羣，和kafka的broker集羣，消費者集羣沒有太直接的干係。比如flume就可以作爲生產者，內部調用kafka的客戶端代碼，確保把收集的數據發到kafka集羣中。
如何保證kafka全局消息有序？
比如，有100條有序數據，生產者發送到kafka集羣，kafka的分片有4個，可能的情況就是一個分片保存0-25，一個保存25-50......這樣消息在kafka中存儲是局部有序了。嚴格說，kafka是無法保證全局消息有序的，沒有這個機制，只能局部有序。
但是如果只有一個分片和一個消息的生產者，那麼就相當於消息全局有序了。如果有多個消息生產者，就算只有一個分片，如果這些生產者的消息都發給這個分片，那kafka中的消息連局部有序都沒有辦法了。
四、消費者組
Consumer Group（CG）：這是kafka用來實現一個topic消息的廣播（發給所有的consumer）和單播（發給任意一個consumer）的手段。一個topic可以有多個CG。topic的消息會複製（不是真的複製，是概念上的）到所有的CG，但每個partion只會把消息發給該CG中的一個consumer。如果需要實現廣播，只要每個consumer有一個獨立的CG就可以了。要實現單播只要所有的consumer在同一個CG。用CG還可以將consumer進行自由的分組而不需要多次發送消息到不同的topic。
Partition：爲了實現擴展性，一個非常大的topic可以分佈到多個broker（即服務器）上，一個topic可以分爲多個partition，每個partition是一個有序的隊列。partition中的每條消息都會被分配一個有序的id（offset）。kafka只保證按一個partition中的順序將消息發給consumer，不保證一個topic的整體（多個partition間）的順序。
Offset：kafka的存儲文件都是按照offset.kafka來命名，用offset做名字的好處是方便查找。例如你想找位於2049的位置，只要找到2048.kafka的文件即可。當然the first offset就是00000000000.kafka。
每個group中可以有多個consumer，每個consumer屬於一個consumer group；通常情況下，一個group中會包含多個consumer，這樣不僅可以提高topic中消息的併發消費能力，而且還能提高"故障容錯"性，如果group中的某個consumer失效那麼其消費的partitions將會有其他consumer自動接管。
對於Topic中的一條特定的消息，只會被訂閱此Topic的每個group中的其中一個consumer消費，此消息不會發送給一個group的多個consumer；那麼一個group中所有的consumer將會交錯的消費整個Topic，每個group中consumer消息消費互相獨立，我們可以認爲一個group是一個"訂閱"者。
在kafka中,一個partition中的消息只會被group中的一個consumer消費(同一時刻)；一個Topic中的每個partions，只會被一個"訂閱者"中的一個consumer消費，不過一個consumer可以同時消費多個partitions中的消息。
kafka的設計原理決定,對於一個topic，同一個group中不能有多於partitions個數的consumer同時消費，否則將意味着某些consumer將無法得到消息。kafka只能保證一個partition中的消息被某個consumer消費時是順序的；事實上，從Topic角度來說,當有多個partitions時,消息仍不是全局有序的。
四、Producer客戶端負責消息的分發
kafka集羣中的任何一個broker都可以向producer提供metadata信息,這些metadata中包含"集羣中存活的servers列表"/"partitions leader列表"等信息；
當producer獲取到metadata信息之後, producer將會和Topic下所有partition leader保持socket連接；
消息由producer直接通過socket發送到broker，中間不會經過任何"路由層"，事實上，消息被路由到哪個partition上由producer客戶端決定；比如可以採用"random""key-hash""輪詢"等,如果一個topic中有多個partitions,那麼在producer端實現"消息均衡分發"是必要的。
在producer端的配置文件中,開發者可以指定partition路由的方式。
Producer消息發送的應答機制設置發送數據是否需要服務端的反饋,有三個值0,1,-1
- 0:producer不會等待broker發送ack
- 1:當leader接收到消息之後發送ack
- -1:當所有的follower都同步消息成功後發送ack
request.required.acks=0