Zookeeper 實戰

4.1 分佈式安裝部署

(0)集羣規劃
    在 hadoop102、hadoop103 和 hadoop104 三個節點上部署 Zookeeper。
(1)解壓安裝
    1)解壓 zookeeper 安裝包到/opt/module/目錄下

[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

    2)在/opt/module/zookeeper-3.4.10/這個目錄下創建 zkData

mkdir -p zkData

    3)重命名/opt/module/zookeeper-3.4.10/conf 這個目錄下的 zoo_sample.cfg 爲 zoo.cfg

mv zoo_sample.cfg zoo.cfg

(2)配置 zoo.cfg 文件
    1)具體配置

dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

    2)配置參數解讀
        Server.A=B:C:D。
            A 是一個數字,表示這個是第幾號服務器;(唯一的,不能重複)
            B 是這個服務器的 ip 地址;
            C 是這個服務器與集羣中的 Leader 服務器交換信息的端口;
            D 是萬一集羣中的 Leader 服務器掛了,需要一個端口來重新進行選舉,選出一個新的Leader,而這個端口就是用來執行選舉時服務器相互通信的端口。
    集羣模式下配置一個文件myid,這個文件在dataDir目錄下,這個文件裏面有一個數據就是 A 的值,Zookeeper 啓動時讀取此文件,拿到裏面的數據與 zoo.cfg 裏面的配置信息比較從而判斷到底是哪個 server。
(3)集羣操作
    1)在/opt/module/zookeeper-3.4.10/zkData 目錄下創建一個 myid 的文件

touch myid

    添加 myid 文件,注意一定要在 linux 裏面創建,在 notepad++裏面很可能亂碼
    2)編輯 myid 文件

vi myid

    在文件中添加與 server 對應的編號:如 2
    分發的103和104上,將zookeeper配置分發。

xsync zookeeper-3.4.10/

    3)拷貝配置好的 zookeeper 到其他機器上

scp -r zookeeper-3.4.10/ [email protected]:/opt/app/
scp -r zookeeper-3.4.10/ [email protected]:/opt/app/

    並分別修改 myid 文件中內容爲 3、4
    4)分別啓動 zookeeper

[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start

    5)查看狀態

[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower

4.2 客戶端命令行操作

在這裏插入圖片描述
1)啓動客戶端

[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh

2)顯示所有操作命令

[zk: localhost:2181(CONNECTED) 1] help

3)查看當前 znode 中所包含的內容

[zk: localhost:2181(CONNECTED) 0] ls /

[zookeeper]
4)查看當前節點數據並能看到更新次數等數據

[zk: localhost:2181(CONNECTED) 1] ls2 /

[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
5)創建普通節點

[zk: localhost:2181(CONNECTED) 2] create /app1 "hello app1"

Created /app1

[zk: localhost:2181(CONNECTED) 4] create /app1/server101 "192.168.1.101"

Created /app1/server101
6)獲得節點的值

[zk: localhost:2181(CONNECTED) 6] get /app1

hello app1
cZxid = 0x20000000a
ctime = Mon Jul 17 16:08:35 CST 2017
mZxid = 0x20000000a
mtime = Mon Jul 17 16:08:35 CST 2017
pZxid = 0x20000000b
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 10
numChildren = 1

[zk: localhost:2181(CONNECTED) 8] get /app1/server101

192.168.1.101
cZxid = 0x20000000b
ctime = Mon Jul 17 16:11:04 CST 2017
mZxid = 0x20000000b
mtime = Mon Jul 17 16:11:04 CST 2017
pZxid = 0x20000000b
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 13
numChildren = 0
7)創建短暫節點

[zk: localhost:2181(CONNECTED) 9] create -e /app-emphemeral 8888

(1)在當前客戶端是能查看到的

[zk: localhost:2181(CONNECTED) 10] ls /

[app1, app-emphemeral, zookeeper]
(2)退出當前客戶端然後再重啓客戶端

[zk: localhost:2181(CONNECTED) 12] quit

[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh
(3)再次查看根目錄下短暫節點已經刪除

[zk: localhost:2181(CONNECTED) 0] ls /

[app1, zookeeper]
8)創建帶序號的節點
(1)先創建一個普通的根節點 app2

[zk: localhost:2181(CONNECTED) 11] create /app2 "app2"

(2)創建帶序號的節點

[zk: localhost:2181(CONNECTED) 13] create -s /app2/aa 888

Created /app2/aa0000000000

[zk: localhost:2181(CONNECTED) 14] create -s /app2/bb 888

Created /app2/bb0000000001

[zk: localhost:2181(CONNECTED) 15] create -s /app2/cc 888

Created /app2/cc0000000002
如果原節點下有 1 個節點,則再排序時從 1 開始,以此類推。

[zk: localhost:2181(CONNECTED) 16] create -s /app1/aa 888

Created /app1/aa0000000001
9)修改節點數據值

[zk: localhost:2181(CONNECTED) 2] set /app1 999

10)節點的值變化監聽
(1)在 104 主機上註冊監聽/app1 節點數據變化

[zk: localhost:2181(CONNECTED) 26] get /app1 watch

(2)在 103 主機上修改/app1 節點的數據

[zk: localhost:2181(CONNECTED) 5] set /app1 777

(3)觀察 104 主機收到數據變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/app1
11)節點的子節點變化監聽(路徑變化)

(1)在 104 主機上註冊監聽/app1 節點的子節點變化

[zk: localhost:2181(CONNECTED) 1] ls /app1 watch
[aa0000000001, server101]
(2)在 103 主機/app1 節點上創建子節點

[zk: localhost:2181(CONNECTED) 6] create /app1/bb 666

Created /app1/bb
(3)觀察 104 主機收到子節點變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/app1
12)刪除節點

[zk: localhost:2181(CONNECTED) 4] delete /app1/bb

13)遞歸 刪除節點

[zk: localhost:2181(CONNECTED) 7] rmr /app2

14)查看節點狀態

[zk: localhost:2181(CONNECTED) 12] stat /app1

cZxid = 0x20000000a
ctime = Mon Jul 17 16:08:35 CST 2017
mZxid = 0x200000018
mtime = Mon Jul 17 16:54:38 CST 2017
pZxid = 0x20000001c
cversion = 4
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 2

4.3 API 應用

4.3.1 Eclipse 環境搭建

(1)創建一個工程
(2)解壓 zookeeper-3.4.10.tar.gz 文件
(3 ) 拷 貝 zookeeper-3.4.10.jar 、 jline-0.9.94.jar 、 log4j-1.2.16.jar 、 netty-3.10.5.Final.jar 、slf4j-api-1.6.1.jar、slf4j-log4j12-1.6.1.jar 到工程的 lib 目錄。並 build 一下,導入工程。
(4)拷貝 log4j.properties 文件到項目根目錄

4.3.2 創建 ZooKeeper

private static String connectString ="hadoop102:2181,hadoop103:2181,hadoop104:2181";
	private static int sessionTimeout = 2000;
	private ZooKeeper zkClient = null;
	@Before
	public void init() throws Exception {
	zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
		@Override
		public void process(WatchedEvent event) {
// 收到事件通知後的回調函數(用戶的業務邏輯)
			System.out.println(event.getType() + "--" + event.getPath());
// 再次啓動監聽
			try {
				zkClient.getChildren("/", true);
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
	});
}

4.3.3 創建子節點

	// 創建子節點
	@Test
	public void create() throws Exception {
		// 數據的增刪改查
		// 參數 1:要創建的節點的路徑; 參數 2:節點數據 ; 參數 3:節點權限 ;參數 4:節點的類型
		String  nodeCreated  =  zkClient.create("/eclipse",  "hello  zk".getBytes(),
		Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);
	}

4.3.4 獲取子節點並監聽

	// 獲取子節點
	@Test
	public void getChildren() throws Exception {
		List<String> children = zkClient.getChildren("/", true);
		for (String child : children) {
			System.out.println(child);
		}
		// 延時阻塞
		Thread.sleep(Long.MAX_VALUE);
	}

4.3.5 判斷 znode

	// 判斷 znode 是否存在
	@Test
	public void exist() throws Exception {
		Stat stat = zkClient.exists("/eclipse", false);
		System.out.println(stat == null ? "not exist" : "exist");
	}

4.4 案例實戰

4.4.1 監聽服務器節點動態上下線案例

(1)需求:某分佈式系統中,主節點可以有多臺,可以動態上下線,任意一臺客戶端都能實時感知到主節點服務器的上下線
(2)需求分析
在這裏插入圖片描述
(3)具體實現:
0)現在集羣上創建/servers 節點

[zk: localhost:2181(CONNECTED) 10] create /servers "servers"

Created /servers
(1)服務器端代碼

public class DistributeServer {
	private  static  String  connectString  =  "hadoop102:2181,hadoop103:2181,hadoop104:2181";
	private static int sessionTimeout = 2000;
	private ZooKeeper zk = null;
	private String parentNode = "/servers";
// 創建到 zk 的客戶端連接
	public void getConnect() throws IOException{
		zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			@Override
			public void process(WatchedEvent event) {
			}
		});
	}
	// 註冊服務器
	public void registServer(String hostname) throws Exception{
		String  create  =  zk.create(parentNode  +  "/server",  hostname.getBytes(),Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
		System.out.println(hostname +" is noline "+ create);
	}
// 業務功能
	public void business(String hostname) throws Exception{
		System.out.println(hostname+" is working ...");
		Thread.sleep(Long.MAX_VALUE);
	}
	public static void main(String[] args) throws Exception {
// 獲取 zk 連接
		DistributeServer server = new DistributeServer();
		server.getConnect();
// 利用 zk 連接註冊服務器信息
		server.registServer(args[0]);
// 啓動業務功能
		server.business(args[0]);
	}
}

(2)客戶端代碼

package com.atguigu.zkcase;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
public class DistributeClient {
	private  static  String  connectString  = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
	private static int sessionTimeout = 2000;
	private ZooKeeper zk = null;
	private String parentNode = "/servers";
	private volatile ArrayList<String> serversList = new ArrayList<>();
// 創建到 zk 的客戶端連接
	public void getConnect() throws IOException {
		zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			@Override
			public void process(WatchedEvent event) {
// 再次啓動監聽
				try {
					getServerList();
				} catch (Exception e) {
					e.printStackTrace();
				}
			}
		});
	}
	//
	public void getServerList() throws Exception {
		// 獲取服務器子節點信息,並且對父節點進行監聽
		List<String> children = zk.getChildren(parentNode, true);
		ArrayList<String> servers = new ArrayList<>();
		for (String child : children) {
			byte[] data = zk.getData(parentNode + "/" + child, false, null);
			servers.add(new String(data));
		}
// 把 servers 賦值給成員 serverList,已提供給各業務線程使用
		serversList = servers;
		System.out.println(serversList);
	}
// 業務功能
	public void business() throws Exception {
		System.out.println("client is working ...");
		Thread.sleep(Long.MAX_VALUE);
	}
	public static void main(String[] args) throws Exception {
// 獲取 zk 連接
		DistributeClient client = new DistributeClient();
		client.getConnect();
// 獲取 servers 的子節點信息,從中獲取服務器信息列表
		client.getServerList();
// 業務進程啓動
		client.business();
	}
}
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章