Kafka&Zookeeper筆記（一）

1. 導言

1.1 概念

特性

1. 高吞吐，低延遲
2. 可擴展，集羣支持熱擴展
3. 持久性、可靠性：可持久化到磁盤
4. 容錯性：允許集羣節點失敗
5. 高併發，支持數千客端同時讀寫

使用場景

6. 日誌收集
7. 消息系統，解耦、緩存消息
8. 用戶活動跟蹤，活動數據，實時運營指標等，提供給數據倉庫做實時監控分析，數據離線分析等等
9. 流式處理：spark streaming和storm

架構圖

1.2 ZooKeeper

簡介

• zk作爲分佈式協調系統輔助kafka實現集羣化
• zk主要用於統一命名服務（應用/服務統一命名）、統一配置管理（配置文件同步）、實時監控服務器動態上下線

下載

zk官網下載地址

$ wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz
$ tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz

安裝&啓動

1. 修改配置文件

[root@zookeeper/conf]$ mv zoo_sample.cfg zoo.cfg

• dataDir: 自定義的data文件夾地址
• tickTime: 心跳時間(ms)
• initLimit: 啓動時心跳延遲次數（tickTime * initLimit 爲啓動時死亡判定時間）
• syncLimit: 連接後心跳延遲次數 (tickTime * syncLimit 爲連接後死亡判定時間)
• clientPort: 客戶段端口號，即監聽端口號
• maxClientCnxns: 最大連接數

2. 基礎啓動

[root@zookeeper/bin]$ ./zkServer.sh start
startZooKeeper JMX enabled by default
Using config: /root/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[root@zookeeper/bin]$ jps
19867 Jps
19823 QuorumPeerMain

[root@zookeeper/bin]$ ./zkCli.sh

[root@zookeeper/bin]$ ./zkServer.sh stop

內部原理

1. 半數機制:集羣中半數以上機器存活，集羣可用，所以zk適合安裝奇數臺服務器。
2. Zookeeper雖然在配置文件中沒有指定Master和Slave,但是Zk在工作時只有一個節點爲Leader，其他爲Follower,Leader是通過內部選舉機制臨時產生的（節點都會先選自己，發現自己票數不超過半數就投給id號比自己大的臨近節點，知道出現票數過半的節點立刻成爲Leader）。

節點類型

• 持久（Persistent):客戶端和服務端斷開連接後，創建的節點不刪除
  • 持久化目錄節點
  • 持久化順序編號目錄節點（編號單調遞增，可以給客戶端判斷事件發生順序）
• 短暫（Ephemeral): 客戶端和服務端斷開連接後，創建的節點自己刪除
  • 臨時目錄節點
  • 臨時順序編號目錄節點（編號單調遞增，可以給客戶端判斷事件發生順序）

分佈式部署

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/opt/zookeeper1/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

## Metrics Providers
#
# https://prometheus.io Metrics Exporter
#metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
#metricsProvider.httpPort=7000
#metricsProvider.exportJvmInfo=true
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890
# 集羣配置server.myid=ip:Leader服務器交換信息的端口:Leader掛後進行選舉的端口
# 僞集羣部署
# myid需要在dataDir文件夾中新建myid文件，其中寫入id

配置好後即可逐個啓動。
狀態查看：

[root@Wolfans ~]$ ./zookeeper1/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /root/zookeeper1/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
[root@Wolfans ~]$ ./zookeeper2/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /root/zookeeper2/bin/../conf/zoo.cfg
Client port found: 2182. Client address: localhost.
Mode: leader
[root@Wolfans ~]$ ./zookeeper3/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /root/zookeeper3/bin/../conf/zoo.cfg
Client port found: 2183. Client address: localhost.
Mode: follower

集羣啓動和關閉可以寫shell腳本，更加便捷。

客戶端命令行

ZooKeeper -server host:port -client-configuration properties-file cmd args
	addWatch [-m mode] path # optional mode is one of [PERSISTENT, PERSISTENT_RECURSIVE] - default is PERSISTENT_RECURSIVE
	addauth scheme auth
	close 
	config [-c] [-w] [-s]
	connect host:port
	create [-s] [-e] [-c] [-t ttl] path [data] [acl]
	delete [-v version] path
	deleteall path [-b batch size]
	delquota [-n|-b] path
	get [-s] [-w] path
	getAcl [-s] path
	getAllChildrenNumber path
	getEphemerals path
	history 
	listquota path
	ls [-s] [-w] [-R] path
	printwatches on|off
	quit 
	reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]
	redo cmdno
	removewatches path [-c|-d|-a] [-l]
	set [-s] [-v version] path data
	setAcl [-s] [-v version] [-R] path acl
	setquota -n|-b val path
	stat [-w] path
	sync path
	version 

節點stat結構體

[shuguo] #znode節點
cZxid = 0x100000002 #創建節點的事務zxid
每次修改zk狀態都會收到一個zxid形式的時間戳，也就是Zk事務ID。
事務ID是ZooKeeper中所有修改的總的次序。每個修改都有唯一的zxid，如果zxid1小於zxid2，那麼zxid1在zxid2之前發生。
ctime = Fri Jun 26 01:51:41 CST 2020 #被創建的毫秒數
mZxid = 0x100000002 #最後更新的事務zxid
mtime = Fri Jun 26 01:51:41 CST 2020 #最後修改的毫秒數
pZxid = 0x100000003 #最後更新的子節點zxid
cversion = 1 #子節點變化號，子節點修改次數
dataVersion = 0 #數據變化號
aclVersion = 0 #訪問控制列表的變化號
ephemeralOwner = 0x0 #如果是臨時節點，這個是znode擁有者的session id。如果不是臨時節點則是0。
dataLength = 0 #znode數據長度
numChildren = 1 #znode子節點數量

監聽器原理（重點）

（1）首先要有一個main（）線程
（2）在main（）線程中創建Zookeeper客戶端，這是就會創建兩個線程，一個負責網絡連接通訊（connect），一個負責監聽(listener).
（3）通過connect線程將註冊的監聽事件發送給zookeeper。
（4）在Zookeeper的監聽器列表中將註冊的監聽事件添加到列表中。
（5）Zookeeper監聽到有數據或路徑的變化，就會將這個消息發送給listener線程。
（6）listener線程內部調用了Process()方法。

寫數據流程

zk通過zab協議保持數據一致性，–>zab協議。

Java集成zk

jar包：

org.apache.zookeeper