4.1 分佈式安裝部署
(0)集羣規劃
在 hadoop102、hadoop103 和 hadoop104 三個節點上部署 Zookeeper。
(1)解壓安裝
1)解壓 zookeeper 安裝包到/opt/module/目錄下
[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
2)在/opt/module/zookeeper-3.4.10/這個目錄下創建 zkData
mkdir -p zkData
3)重命名/opt/module/zookeeper-3.4.10/conf 這個目錄下的 zoo_sample.cfg 爲 zoo.cfg
mv zoo_sample.cfg zoo.cfg
(2)配置 zoo.cfg 文件
1)具體配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
2)配置參數解讀
Server.A=B:C:D。
A 是一個數字,表示這個是第幾號服務器;(唯一的,不能重複)
B 是這個服務器的 ip 地址;
C 是這個服務器與集羣中的 Leader 服務器交換信息的端口;
D 是萬一集羣中的 Leader 服務器掛了,需要一個端口來重新進行選舉,選出一個新的Leader,而這個端口就是用來執行選舉時服務器相互通信的端口。
集羣模式下配置一個文件myid,這個文件在dataDir目錄下,這個文件裏面有一個數據就是 A 的值,Zookeeper 啓動時讀取此文件,拿到裏面的數據與 zoo.cfg 裏面的配置信息比較從而判斷到底是哪個 server。
(3)集羣操作
1)在/opt/module/zookeeper-3.4.10/zkData 目錄下創建一個 myid 的文件
touch myid
添加 myid 文件,注意一定要在 linux 裏面創建,在 notepad++裏面很可能亂碼
2)編輯 myid 文件
vi myid
在文件中添加與 server 對應的編號:如 2
分發的103和104上,將zookeeper配置分發。
xsync zookeeper-3.4.10/
3)拷貝配置好的 zookeeper 到其他機器上
scp -r zookeeper-3.4.10/ [email protected]:/opt/app/
scp -r zookeeper-3.4.10/ [email protected]:/opt/app/
並分別修改 myid 文件中內容爲 3、4
4)分別啓動 zookeeper
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start
5)查看狀態
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
4.2 客戶端命令行操作
1)啓動客戶端
[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh
2)顯示所有操作命令
[zk: localhost:2181(CONNECTED) 1] help
3)查看當前 znode 中所包含的內容
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
4)查看當前節點數據並能看到更新次數等數據
[zk: localhost:2181(CONNECTED) 1] ls2 /
[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
5)創建普通節點
[zk: localhost:2181(CONNECTED) 2] create /app1 "hello app1"
Created /app1
[zk: localhost:2181(CONNECTED) 4] create /app1/server101 "192.168.1.101"
Created /app1/server101
6)獲得節點的值
[zk: localhost:2181(CONNECTED) 6] get /app1
hello app1
cZxid = 0x20000000a
ctime = Mon Jul 17 16:08:35 CST 2017
mZxid = 0x20000000a
mtime = Mon Jul 17 16:08:35 CST 2017
pZxid = 0x20000000b
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 10
numChildren = 1
[zk: localhost:2181(CONNECTED) 8] get /app1/server101
192.168.1.101
cZxid = 0x20000000b
ctime = Mon Jul 17 16:11:04 CST 2017
mZxid = 0x20000000b
mtime = Mon Jul 17 16:11:04 CST 2017
pZxid = 0x20000000b
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 13
numChildren = 0
7)創建短暫節點
[zk: localhost:2181(CONNECTED) 9] create -e /app-emphemeral 8888
(1)在當前客戶端是能查看到的
[zk: localhost:2181(CONNECTED) 10] ls /
[app1, app-emphemeral, zookeeper]
(2)退出當前客戶端然後再重啓客戶端
[zk: localhost:2181(CONNECTED) 12] quit
[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh
(3)再次查看根目錄下短暫節點已經刪除
[zk: localhost:2181(CONNECTED) 0] ls /
[app1, zookeeper]
8)創建帶序號的節點
(1)先創建一個普通的根節點 app2
[zk: localhost:2181(CONNECTED) 11] create /app2 "app2"
(2)創建帶序號的節點
[zk: localhost:2181(CONNECTED) 13] create -s /app2/aa 888
Created /app2/aa0000000000
[zk: localhost:2181(CONNECTED) 14] create -s /app2/bb 888
Created /app2/bb0000000001
[zk: localhost:2181(CONNECTED) 15] create -s /app2/cc 888
Created /app2/cc0000000002
如果原節點下有 1 個節點,則再排序時從 1 開始,以此類推。
[zk: localhost:2181(CONNECTED) 16] create -s /app1/aa 888
Created /app1/aa0000000001
9)修改節點數據值
[zk: localhost:2181(CONNECTED) 2] set /app1 999
10)節點的值變化監聽
(1)在 104 主機上註冊監聽/app1 節點數據變化
[zk: localhost:2181(CONNECTED) 26] get /app1 watch
(2)在 103 主機上修改/app1 節點的數據
[zk: localhost:2181(CONNECTED) 5] set /app1 777
(3)觀察 104 主機收到數據變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/app1
11)節點的子節點變化監聽(路徑變化)
(1)在 104 主機上註冊監聽/app1 節點的子節點變化
[zk: localhost:2181(CONNECTED) 1] ls /app1 watch
[aa0000000001, server101]
(2)在 103 主機/app1 節點上創建子節點
[zk: localhost:2181(CONNECTED) 6] create /app1/bb 666
Created /app1/bb
(3)觀察 104 主機收到子節點變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/app1
12)刪除節點
[zk: localhost:2181(CONNECTED) 4] delete /app1/bb
13)遞歸 刪除節點
[zk: localhost:2181(CONNECTED) 7] rmr /app2
14)查看節點狀態
[zk: localhost:2181(CONNECTED) 12] stat /app1
cZxid = 0x20000000a
ctime = Mon Jul 17 16:08:35 CST 2017
mZxid = 0x200000018
mtime = Mon Jul 17 16:54:38 CST 2017
pZxid = 0x20000001c
cversion = 4
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 2
4.3 API 應用
4.3.1 Eclipse 環境搭建
(1)創建一個工程
(2)解壓 zookeeper-3.4.10.tar.gz 文件
(3 ) 拷 貝 zookeeper-3.4.10.jar 、 jline-0.9.94.jar 、 log4j-1.2.16.jar 、 netty-3.10.5.Final.jar 、slf4j-api-1.6.1.jar、slf4j-log4j12-1.6.1.jar 到工程的 lib 目錄。並 build 一下,導入工程。
(4)拷貝 log4j.properties 文件到項目根目錄
4.3.2 創建 ZooKeeper
private static String connectString ="hadoop102:2181,hadoop103:2181,hadoop104:2181";
private static int sessionTimeout = 2000;
private ZooKeeper zkClient = null;
@Before
public void init() throws Exception {
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到事件通知後的回調函數(用戶的業務邏輯)
System.out.println(event.getType() + "--" + event.getPath());
// 再次啓動監聽
try {
zkClient.getChildren("/", true);
} catch (Exception e) {
e.printStackTrace();
}
}
});
}
4.3.3 創建子節點
// 創建子節點
@Test
public void create() throws Exception {
// 數據的增刪改查
// 參數 1:要創建的節點的路徑; 參數 2:節點數據 ; 參數 3:節點權限 ;參數 4:節點的類型
String nodeCreated = zkClient.create("/eclipse", "hello zk".getBytes(),
Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);
}
4.3.4 獲取子節點並監聽
// 獲取子節點
@Test
public void getChildren() throws Exception {
List<String> children = zkClient.getChildren("/", true);
for (String child : children) {
System.out.println(child);
}
// 延時阻塞
Thread.sleep(Long.MAX_VALUE);
}
4.3.5 判斷 znode
// 判斷 znode 是否存在
@Test
public void exist() throws Exception {
Stat stat = zkClient.exists("/eclipse", false);
System.out.println(stat == null ? "not exist" : "exist");
}
4.4 案例實戰
4.4.1 監聽服務器節點動態上下線案例
(1)需求:某分佈式系統中,主節點可以有多臺,可以動態上下線,任意一臺客戶端都能實時感知到主節點服務器的上下線
(2)需求分析
(3)具體實現:
0)現在集羣上創建/servers 節點
[zk: localhost:2181(CONNECTED) 10] create /servers "servers"
Created /servers
(1)服務器端代碼
public class DistributeServer {
private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
private static int sessionTimeout = 2000;
private ZooKeeper zk = null;
private String parentNode = "/servers";
// 創建到 zk 的客戶端連接
public void getConnect() throws IOException{
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
}
});
}
// 註冊服務器
public void registServer(String hostname) throws Exception{
String create = zk.create(parentNode + "/server", hostname.getBytes(),Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(hostname +" is noline "+ create);
}
// 業務功能
public void business(String hostname) throws Exception{
System.out.println(hostname+" is working ...");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
// 獲取 zk 連接
DistributeServer server = new DistributeServer();
server.getConnect();
// 利用 zk 連接註冊服務器信息
server.registServer(args[0]);
// 啓動業務功能
server.business(args[0]);
}
}
(2)客戶端代碼
package com.atguigu.zkcase;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
public class DistributeClient {
private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
private static int sessionTimeout = 2000;
private ZooKeeper zk = null;
private String parentNode = "/servers";
private volatile ArrayList<String> serversList = new ArrayList<>();
// 創建到 zk 的客戶端連接
public void getConnect() throws IOException {
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 再次啓動監聽
try {
getServerList();
} catch (Exception e) {
e.printStackTrace();
}
}
});
}
//
public void getServerList() throws Exception {
// 獲取服務器子節點信息,並且對父節點進行監聽
List<String> children = zk.getChildren(parentNode, true);
ArrayList<String> servers = new ArrayList<>();
for (String child : children) {
byte[] data = zk.getData(parentNode + "/" + child, false, null);
servers.add(new String(data));
}
// 把 servers 賦值給成員 serverList,已提供給各業務線程使用
serversList = servers;
System.out.println(serversList);
}
// 業務功能
public void business() throws Exception {
System.out.println("client is working ...");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
// 獲取 zk 連接
DistributeClient client = new DistributeClient();
client.getConnect();
// 獲取 servers 的子節點信息,從中獲取服務器信息列表
client.getServerList();
// 業務進程啓動
client.business();
}
}