kafka：分佈式消息系統，由linkedin使用scala編寫，用於活動流以及運營數據處理管道的基礎支持，具有高水平擴展和高吞吐量的優勢。
作爲數據管道或者消息系統來使用
與其他幾種mq的對比：
組成部分概述：
一些概念：
topic：類似於新聞板塊中的體育，財經，娛樂之類的分類概念，實際業務中通常是一個業務對應一個主題。
分區(partition):一個topic中消息數據被分爲多個分區(partition),分區是kafka中消息消費的最小單位，一個分區可以看作爲一個FIFO的隊列。
大致的架構圖如下：
副本備份是從0.8版本開始的新功能，保證了該系統中數據的高可靠性，防止某一個broker宕機，造成系統數據丟失不可用。
zookeeper提供分佈式狀態管理，分佈式配置管理以及分佈式鎖管理等。
zk集羣要求奇數數量的機器，因爲本身要求集羣中必須存活半數以上的機器來維持服務的正常運轉。
zk配置文件的重點：
一、配置集羣機器的快照數據地址。
二、配置事務日誌數據的地址。
三、配置所有集羣機器的通訊接口以及選舉接口。
四、配置的id寫入到快照數據目錄下面的myid文件中。
五、可以使用crontab -e生成定時任務來調用zkCleanup.sh腳本定時清除歷史日誌。