kafka基本介紹
Storm與Kafka
Kafka是一種高吞吐的分佈式發佈訂閱消息系統。
基於zookeeper協調。常用於網站日誌收集，消息服務等
主要應用場景是:日誌收集系統和消息系統。
消息系統介紹:
一個消息系統負責將數據從一個應用傳遞到另外一個應用，應用只需關注於數據，無需關注數據在兩個或多個應用間是如何傳遞的。分佈式消息傳遞基於可靠的消息隊列，在客戶端應用和消息系統之間異步傳遞消息。有兩種主要的消息傳遞模式:點對點傳遞模式、發佈-訂閱模式。大部分的消息系統選用發佈訂閱模式。Kafka就是一種發佈-訂閱模式。
Kafka相關術語介紹
Broke: Kafka集羣包含一個或多個服務器，這種服務器被稱爲broker
Topic: 每條發佈到Kafka集羣的消息都有一個類別，這個類別被稱爲Topic。(物理上不同Topic的消息分開存儲，邏輯上一個Topic的消息雖然保存於一個或多個broker上，但用戶只需要制定消息的Topic即可生產或消費數據而不必關心數據存於何處)
Partition: Partition是物理 上的概念，每個Topic包含一個或多 個Partition
Producer: 負責發佈消息到Kafka broker
Consumer: 消息消費者，向Kafka broker讀取消息的客戶端。
Consumer Group: 每個Consumer屬於一個特定的Consumer Group。 (可爲每個Consumer指定group name,若不指定group name則屬於默認的group)