原创 Kafka學習之broker配置(0.8.1版)
broker.id 默認值：無 每一個broker都有一個唯一的id，這是一個非負整數，這個id就是broker的"名字"，這樣就允許broker遷移到別的機器而不會影響消費者。你可以選擇任意一個數字，只要它是唯一的。 log.d
2020-06-20 07:23:59
原创 Kafka學習之Replication tools之List Topic Tool
原文鏈接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool 此工具能幹啥? 此工具列
2020-06-20 06:24:40
1
原创 Kafka學習之Replication tools之Preferred Replica Leader Election Tool
原文鏈接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElec
2020-06-20 06:24:40
1
原创 ZooKeeper學習之配置【6】日誌配置
ZooKeeper使用SLF4J(the Simple Logging Facade for Java)作爲日誌的抽象層，默認使用Log4J來做實際的日誌工作。使用2層日誌抽象看起來真是夠嗆，這裏簡要的說明如何來配置Log4J。儘管Lo
2020-06-20 06:24:40
原创 ZooKeeper學習之配置【2】存儲配置
本文涵蓋了更多的高級配置，包括了standalone模式和ensemble模式。不設置它們也能讓ZooKeeper工作得很好，但是其中的一些應該需要好好配置一些(比如dataLogDir)。 preAllocSize 爲每個事務日誌
2020-02-22 00:17:42
原创 ZooKeeper學習之運維工具zkweb
這是淘寶上的開源項目，地址：http://code.taobao.org/p/zkweb/wiki/index/ 這是一個Java寫的web應用程序，可以通過瀏覽器查看，管理ZooKeep上的數據，可以方便管理。 此外還有一些其他的
2020-02-22 00:17:29
原创 ZooKeeper學習之Observer模式及其配置
除了leader和follow模式之外，還有第三種模式：observer模式。observer和follower在一些方面是一樣的。詳細點來講，他們都向leader提交proposal。但與follower不同，observer不參與投
2020-02-22 00:17:29
原创 Kafka學習之Replication tools之controlled shutdown
原文地址：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-1.ControlledShutdown control
2020-02-22 00:17:29
原创 ZooKeeper學習之client connect string的管理
如果我們要寫一個ZooKeeper的client程序，那麼有一個相關的配置：connect string，它通常以用逗號分隔的host:port對來表示。host可以用一個IP地址或hostname來表示。使用一個hostname提供了
2020-02-22 00:17:29
原创 ZooKeeper學習之文件系統的佈局和格式
本文來談談快照文件，事務日誌文件在文件系統中是如何存放的。 寫事務日誌是事務處理的關鍵步驟，所以高度建議在一個獨立的磁盤上存儲。快照不需要在獨立的磁盤存儲，因爲它們是由一個後臺線程以懶漢式的(lazily)方式產生的。 存儲快照的路
2020-02-22 00:17:29
原创 ZooKeeper學習之配置【3】網絡配置
下面這些配置對client與server之間的連接和超時時間進行了限制。 globalOutstandingLimit 這個配置指定了等待處理的最大請求數量的限制(zookeeper.globalOutstandingLimit)。
2020-02-22 00:17:29
原创 ZooKeeper學習之配置【1】基本配置
ZooKeeper的設計對開發人員來說很友好，但同時也對運維人員友好。當集羣越來越大時，管理操作也便得複雜起來，穩妥的管理也變得重要起來。ZooKeeper應該是一個標準的分佈式系統組件，一個運維團隊可以輕鬆的學習並管理它。雖說ZooK
2020-02-22 00:17:29
原创 ZooKeeper學習之配置【4】集羣配置
當配置一個集羣時，我們需要爲每一個server配置好時間相關的參數，並指定一個server列表，這樣server之間就能彼此連接並檢測失敗。這些配置必須在所有server中保持一致。 initLimit 此值的作用是一個follow
2020-02-22 00:17:29
原创 ZooKeeper學習之配置【7】ensemble配置
quorum這個概念深深嵌入了ZooKeeper的設計中，尤其是當處理請求和在replicate模式中進行選舉leader時尤爲相關。如果ZooKeeper的各個server的quorum起來(up)時，ensemble才能繼續(mak
2020-02-22 00:17:29
原创 Kafka學習之consumer配置(0.8.1版)
group.id 默認值：無 唯一的指明瞭consumer的group的名字，group名一樣的進程屬於同一個consumer group。 zookeeper.connect 默認值：無 指定了ZooKeeper的connect
2020-02-22 00:17:29