kafka 總體介紹
消息隊列應用場景
異步解耦、廣播發布訂閱、 流量削鋒 。
kafka企業使用方式
1.kafka topic 管理平臺。包含topic 註冊 管理，topic 消息結構體定義及其修改（topic 消息結構 定義爲avro 結構。方便接入到大數據hive 裏面。消息可以持久化到hbase中，最終可以通過ksql 查詢）。
2.topic 消息監控。生成和消費情況監控hook等。
kafka 架構和功能介紹
角色分爲集羣、broker、 生產者、消費者、topic、消費組、消費者、pation。集羣管理通過zk 管理。關係組織爲一個集羣由多個broker（實際物理節點）組成。每個borker 包含多個pation（消息隊列 物理文件）。每個pation 有3個副本（可靠性）。一個kafka 集羣有多個topic， 一個topic（邏輯消息隊列） 可以有多個pation（表示一個實際物理隊列），一個topic 有多個生產者和消費組，每個消費組相當於一個訂閱者有自己消費offset。每個消費組可以有多個消費者，多個消費者在多個pation中負載均衡的消費消息，每個pation最多隻有一個消費組中一個消費者消費。集羣管理由zk 管理。生產者保證消息最多被傳輸一次，因爲每條消息都有一個消息id。
一些問題
1.如何增加吞吐量
增加pation、增加生產者和消費者。
2.如何保證不重複消費
消息重複有個能是生產者生產重複。消費者根據應用自己保證，保證消費完後做offset commit。
3.提高消費速度
批量消費、自動commit，注意自己保證消息不丟。
4.生產者如何保證消費者已經消費
