介紹
Kafka是一個分佈式的、可分區的、可複製的消息系統。它提供了普通消息系統的功能，但具有自己獨特的設計。這個獨特的設計是什麼樣的呢？
首先讓我們看幾個基本的消息系統術語：
Kafka將消息以topic爲單位進行歸納。
將向Kafka topic發佈消息的程序成爲producers.
將預訂topics並消費消息的程序成爲consumer.
Kafka以集羣的方式運行，可以由一個或多個服務組成，每個服務叫做一個broker.
producers通過網絡將消息發送到Kafka集羣，集羣向消費者提供消息，如下圖所示：
客戶端和服務端通過TCP協議通信。Kafka提供了Java客戶端，並且對多種語言都提供了支持。
Topics 和Logs
先來看一下Kafka提供的一個抽象概念:topic.
一個topic是對一組消息的歸納。對每個topic，Kafka 對它的日誌進行了分區，如下圖所示：
每個分區都由一系列有序的、不可變的消息組成，這些消息被連續的追加到分區中。分區中的每個消息都有一個連續的序列號叫做offset,用來在分區中唯一的標識這個消息。
在一個可配置的時間段內，Kafka集羣保留所有發佈的消息，不管這些消息有沒有被消費。比如，如果消息的保存策略被設置爲2天，那麼在一個消 息被髮布的兩天時間內，它都是可以被消費的。之後它將被丟棄以釋放空間。Kafka的性能是和數據量無關的常量級的，所以保留太多的數據並不是問題。
實際上每個consumer唯一需要維護的數據是消息在日誌中的位置，也就是offset.這個offset有consumer來維護：一般情 況下隨着consumer不斷的讀取消息，這offset的值不斷增加，但其實consumer可以以任意的順序讀取消息，比如它可以將offset設置 成爲一箇舊的值來重讀之前的消息。
以上特點的結合，使Kafka consumers非常的輕量級：它們可以在不對集羣和其他consumer造成影響的情況下讀取消息。你可以使用命令行來"tail"消息而不會對其他正在消費消息的consumer造成影響。
將日誌分區可以達到以下目的：首先這使得每個日誌的數量不會太大，可以在單個服務上保存。另外每個分區可以單獨發佈和消費，爲併發操作topic提供了一種可能。
分佈式
每個分區在Kafka集羣的若干服務中都有副本，這樣這些持有副本的服務可以共同處理數據和請求，副本數量是可以配置的。副本使Kafka具備了容錯能力。
每個分區都由一個服務器作爲“leader”，零或若干服務器作爲“followers”,leader負責處理消息的讀和 寫，followers則去複製leader.如果leader down了，followers中的一臺則會自動成爲leader。集羣中的每個服務都會同時扮演兩個角色：作爲它所持有的一部分分區的leader，同 時作爲其他分區的followers，這樣集羣就會據有較好的負載均衡。
Producers
Producer將消息發佈到它指定的topic中,並負責決定發佈到哪個分區。通常簡單的由負載均衡機制隨機選擇分區，但也可以通過特定的分區函數選擇分區。使用的更多的是第二種。
Consumers
發佈消息通常有兩種模式：隊列模式和發佈-訂閱模式。隊列模式中，consumers可以同時從服務端讀取消息，每個消息只被其中一個consumer讀到；發佈-訂閱模式中消息被廣播到所有的consumer中。
Consumers可以加入一個consumer 組，共同競爭一個topic，topic中的消息將被分發到組中的一個成員中。同一組中的consumer可以在不同的程序中，也可以在不同的機器上。如果所有的consumer都在一個組中，這就成爲了傳統的隊列模式，在各consumer中實現負載均衡。
如果所有的consumer都不在不同的組中，這就成爲了發佈-訂閱模式，所有的消息都被分發到所有的consumer中。
更常見的是，每個topic都有若干數量的consumer組，每個組都是一個邏輯上的“訂閱者”，爲了容錯和更好的穩定性，每個組由若干consumer組成。這其實就是一個發佈-訂閱模式，只不過訂閱者是個組而不是單個consumer。
由兩個機器組成的集羣擁有4個分區 (P0-P3) 2個consumer組. A組有兩個consumerB組有4個
相比傳統的消息系統，Kafka可以很好的保證有序性。
傳統的隊列在服務器上保存有序的消息，如果多個consumers同時從這個服務器消費消息，服務器就會以消息存儲的順序向consumer分 發消息。雖然服務器按順序發佈消息，但是消息是被異步的分發到各consumer上，所以當消息到達時可能已經失去了原來的順序，這意味着併發消費將導致 順序錯亂。爲了避免故障，這樣的消息系統通常使用“專用consumer”的概念，其實就是隻允許一個消費者消費消息，當然這就意味着失去了併發性。
在這方面Kafka做的更好，通過分區的概念，Kafka可以在多個consumer組併發的情況下提供較好的有序性和負載均衡。將每個分區分 只分發給一個consumer組，這樣一個分區就只被這個組的一個consumer消費，就可以順序的消費這個分區的消息。因爲有多個分區，依然可以在多 個consumer組之間進行負載均衡。注意consumer組的數量不能多於分區的數量，也就是有多少分區就允許多少併發消費。
Kafka只能保證一個分區之內消息的有序性，在不同的分區之間是不可以的，這已經可以滿足大部分應用的需求。如果需要topic中所有消息的有序性，那就只能讓這個topic只有一個分區，當然也就只有一個consumer組消費它。
更多詳細源碼參考來源：原文出處原文出處請查閱這裏 歡迎大家一起學習研究相關技術，源碼獲取請加求求（企鵝）: 2042849237