Hadoop+Zookeeper高可用

基本概念：

ZooKeeper是一個分佈式的，開放源碼的分佈式應用程序協調服務，是Google的Chubby一個開源的實現，是Hadoop和Hbase的重要組件。它是一個爲分佈式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分佈式同步、組服務等。
ZooKeeper的目標就是封裝好複雜易出錯的關鍵服務，將簡單易用的接口和性能高效、功能穩定的系統提供給用戶。
ZooKeeper包含一個簡單的原語集，[1]提供Java和C的接口。
ZooKeeper代碼版本中，提供了分佈式獨享鎖、選舉、隊列的接口，代碼在zookeeper-3.4.3\src\recipes。其中分佈鎖和隊列有Java和C兩個版本，選舉只有Java版本
ZooKeeper是以Fast Paxos算法爲基礎的，Paxos 算法存在活鎖的問題，即當有多個proposer交錯提交時，有可能互相排斥導致沒有一個proposer能提交成功，而Fast Paxos作了一些優化，通過選舉產生一個leader (領導者)，只有leader才能提交proposer，具體算法可見Fast Paxos。因此，要想弄懂ZooKeeper首先得對Fast Paxos有所瞭解。
ZooKeeper的基本運轉流程：
1、選舉Leader。
2、同步數據。
3、選舉Leader過程中算法有很多，但要達到的選舉標準是一致的。
4、Leader要具有最高的執行ID，類似root權限。
5、集羣中大多數的機器得到響應並接受選出的Leader

實驗環境：

主機名	ip	角色
server1	172.25.19.1	namenode，DFSZKFailoverController（zookeeper故障切換主機，zk）
server2	172.25.19.2	JournalNode（jn） QuorumPeerMain DataNode （dn）
server3	172.25.19.3	JournalNode（jn） QuorumPeerMain DataNode （dn）
server4	172.25.19.4	JournalNode（jn） QuorumPeerMain DataNode （dn）
server5	172.25.19.5	namenode，DFSZKFailoverController（zookeeper故障切換主機，zk）

部署步驟：
在瀏覽器中查看，有兩個datanode

1.將之前的服務關閉，清理數據
先停掉管理進程，再停掉分佈式文件系統，最後刪除數據目錄下的內容
（server1-server4上都執行）
server1:

[hadoop@server1 hadoop]$ sbin/stop-yarn.sh
Stopping nodemanagers
Stopping resourcemanager
[hadoop@server1 hadoop]$ sbin/stop-dfs.sh
Stopping namenodes on [server1]
Stopping datanodes
Stopping secondary namenodes [server1]
[hadoop@server1 hadoop]$ jps
16273 Jps
[hadoop@server1 hadoop]$ 

[hadoop@server1 hadoop]$ rm -fr /tmp/*

server2:

server3:

2.解壓安裝包，編輯文件，添加節點信息（必須是奇數個節點）

注意:123 只的是zk節點的id，在zk節點上的文件中id和這裏要一致
2888是主從機之間的通信端口,3888做選舉，選舉端口

[hadoop@server2 ~]$ ls
[hadoop@server2 ~]$ tar zxf zookeeper-3.4.9.tar.gz 
[hadoop@server2 ~]$ ls
[hadoop@server2 ~]$ cd zookeeper-3.4.9
[hadoop@server2 zookeeper-3.4.9]$ cd conf
[hadoop@server2 conf]$ cp zoo_sample.cfg zoo.cfg
[hadoop@server2 conf]$ vim zoo.cfg 
server.1=172.25.19.2:2888:3888
server.2=172.25.19.3:2888:3888
server.3=172.25.19.4:2888:3888

3.創建一個新的虛擬機server4和server5配置nfs和hadoop

[root@server4 ~]# useradd -u 1000 hadoop
[root@server4 ~]# yum install -y nfs-utils
[root@server4 ~]# showmount -e server1
Export list for server1:
/home/hadoop *
[root@server4 ~]# mount 172.25.19.1:/home/hadoop/ /home/hadoop/
[root@server4 ~]# su - hadoop

server5同理，但是不需要做下面編輯配置文件的步驟

數據是同步的
（1）編輯worker文件

[hadoop@server4 ~]$ vim  hadoop/etc/hadoop/workers 
[hadoop@server4 ~]$ cat  hadoop/etc/hadoop/workers 
172.25.19.2
172.25.19.3
172.25.19.4

（2）修改存儲節點的數量，編輯hdfs-site.xml文件

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

4.在三個節點（server2，server3，server4）配置相同
創建/tmp/zookeeper目錄，並在目錄中創建一個myid文件，寫入一個唯一的數字，取值範圍在1-255之間，並且myid中的數字要與zoo.cfg 文件中定義的數字一致，如：server.1對應的是172.25.19.2，也就是說server2的myid文件中寫入的是1，其他以此類推

[hadoop@server2 ~]$ mkdir /tmp/zookeeper
[hadoop@server2 ~]$ echo 1 > /tmp/zookeeper/myid
[hadoop@server2 ~]$ ls /tmp/zookeeper/
myid
[hadoop@server2 ~]$ cat /tmp/zookeeper/myid 
1

[hadoop@server3 ~]$ mkdir /tmp/zookeeper
[hadoop@server3 ~]$ echo 2 > /tmp/zookeeper/myid

[hadoop@server4 ~]$ mkdir /tmp/zookeeper
[hadoop@server4 ~]$ echo 3 > /tmp/zookeeper/myid

5.開啓服務（此處要注意命令執行時的路徑必須是zookeeper-3.4.9/）

[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[hadoop@server3 ~]$ cd zookeeper-3.4.9
[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh start

[hadoop@server4 ~]$ cd zookeeper-3.4.9
[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh start

查看狀態

[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower    ##從

[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: leader      ##主

[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg  
Mode: follower    ##從

6.server2連接 zookeeper，進入zookeeper命令行

[hadoop@server2 zookeeper-3.4.9]$ cd bin
[hadoop@server2 bin]$ ls
[hadoop@server2 bin]$ pwd
/home/hadoop/zookeeper-3.4.9/bin
[hadoop@server2 bin]$ ./zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /zookeeper
[quota]
[zk: localhost:2181(CONNECTED) 2] ls /zookeeper/quota
[]
[zk: localhost:2181(CONNECTED) 3] get /zookeeper/quota

cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0
[zk: localhost:2181(CONNECTED) 4]

7.配置hadoop（server1上）

[hadoop@server1 ~]$ cd hadoop
[hadoop@server1 hadoop]$ cd etc/hadoop/

（1）編輯core-site.xml 文件，指定hdfs的namenode爲masters
直接指定1不合理，做一個影射 http：//masters

[hadoop@server1 hadoop]$ vim core-site.xml 

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://masters</value>  //namenode作爲masters，名字是自定義的
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>172.25.19.2:2181,172.25.19.3:2181,172.25.19.4:2181</value>
        </property>
</configuration>

（2）編輯hdfs-site.xml文件
這個文件中指定的名字一定要和剛纔的文件中指定的映射一致

[hadoop@server1 hadoop]$ vim hdfs-site.xml
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>    //datanode存儲節點的個數
        </property>

        <property>
                <name>dfs.nameservices</name>
                <value>masters</value>    //指定 hdfs的 nameservices爲 masters，和 core-site.xml 文件中的設置保持一 致
        </property>

        <property>
                <name>dfs.ha.namenodes.masters</name>
                <value>h1,h2</value>  // masters 下面有兩個 namenode 節點，分別是 h1 和 h2 （名稱可自定義） 
        </property>

        <property>
                <name>dfs.namenode.rpc-address.masters.h1</name>
                <value>172.25.19.1:9000</value>     // 指定 h1 節點的 rpc 通信地址 
        </property>

	<property>
                <name>dfs.namenode.http-address.masters.h1</name>
                <value>172.25.19.1:9870</value>   //指定 h1 節點的 http 通信地址 
        </property>

        <property>
                <name>dfs.namenode.rpc-address.masters.h2</name>
                <value>172.25.19.5:9000</value>  //指定 h2 節點的 rpc 通信地址 
        </property>

        <property>
                <name>dfs.namenode.http-address.masters.h2</name>
                <value>172.25.19.5:9870</value>指定 h2 節點的 http通信地址 
        </property>

        <property>
                <name>dfs.namenode.shared.edits.dir</name>  //指定 NameNode 元數據在 JournalNode 上的存放位置
                <value>qjournal://172.25.19.2:8485;172.25.19.3:8485;172.25.19.4:8485/masters</value>
        </property>

        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/tmp/journaldata</value>   //指定 JournalNode 在本地磁盤存放數據的位置 
        </property>

        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>   //開啓 NameNode 失敗自動切換 
        </property>
        
        <property>
                <name>dfs.client.failover.proxy.provider.masters</name>  // 配置失敗自動切換實現方式 
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        
        <property>
                <name>dfs.ha.fencing.methods</name>  //配置隔離機制方法，每個機制佔用一行
                <value>
                sshfence
                shell(/bin/true)
                </value>
        </property>
        
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/home/hadoop/.ssh/id_rsa</value>   // 使用 sshfence 隔離機制時需要 ssh 免密碼 
        </property>
        
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>   // 配置 sshfence 隔離機制超時時間 
        </property>
</configuration>

8.免密測試將所有的yes都刷掉

[hadoop@server1 hadoop]$ ssh server5
[hadoop@server1 hadoop]$ ssh 172.25.19.5
[hadoop@server1 hadoop]$ ssh 172.25.19.4
[hadoop@server1 hadoop]$ ssh server4

9.在集羣中啓動jn
注意：一定要按照順序啓動，在啓動hdfs之前必須啓動jn，首次初始化jn要手動開啓
server2：

[hadoop@server2 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server2 hadoop]$ jps
13188 JournalNode
13206 Jps
12846 QuorumPeerMain

server3：

[hadoop@server3 ~]$ cd hadoop
[hadoop@server3 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server3 hadoop]$ jps
12818 QuorumPeerMain
12953 JournalNode
12971 Jps

server4：

[hadoop@server4 ~]$ cd hadoop
[hadoop@server4 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server4 hadoop]$ jps
11899 Jps
11885 JournalNode
11758 QuorumPeerMain

10.srver1初始化

[hadoop@server1 hadoop]$ bin/hdfs namenode -format

（1）將/tmp/hadoop-hadoop/複製給server5的/tmp目錄下，Namenode 數據默認存放在/tmp,爲了讓h1和h2數據一致需要把數據拷貝到 h2

[hadoop@server1 hadoop]$ scp -r /tmp/hadoop-hadoop/ 172.25.19.5:/tmp
VERSION                                   100%  215     0.2KB/s   00:00    
seen_txid                                 100%    2     0.0KB/s   00:00    
fsimage_0000000000000000000.md5           100%   62     0.1KB/s   00:00    
fsimage_0000000000000000000               100%  391     0.4KB/s   00:00

（2）格式化 zookeeper（只需要再server1上做）

[hadoop@server1 hadoop]$ bin/hdfs zkfc -formatZK

（3）啓動 hdfs 集羣（只需要在server1上做）

[hadoop@server1 hadoop]$ sbin/start-dfs.sh
Starting namenodes on [server1 server5]
Starting datanodes
Starting journal nodes [172.25.19.2 172.25.19.3 172.25.19.4]
172.25.19.3: journalnode is running as process 12953.  Stop it first.
172.25.19.2: journalnode is running as process 13188.  Stop it first.
172.25.19.4: journalnode is running as process 11885.  Stop it first.
Starting ZK Failover Controllers on NN hosts [server1 server5]

（4）查看每個節點狀態
server1:

[hadoop@server1 hadoop]$ jps
17002 DFSZKFailoverController
16653 NameNode
17053 Jps

server5

[hadoop@server5 ~]$ jps
12128 Jps
12033 DFSZKFailoverController
11971 NameNode

server2:

[hadoop@server2 hadoop]$ jps
13314 DataNode
13188 JournalNode
13430 Jps
12846 QuorumPeerMain

server3:

[hadoop@server3 hadoop]$ jps
12818 QuorumPeerMain
13078 DataNode
12953 JournalNode
13195 Jps

server4:

[hadoop@server4 hadoop]$ jps
12055 DataNode
11885 JournalNode
12173 Jps
11758 QuorumPeerMain

11.瀏覽器中訪問172.25.19.1:9870
可以看到server1的狀態是active

訪問172.25.19.5:9870
可以看到server5的是standby

12.測試單點故障
（1）殺死server1的namenode進程

[hadoop@server1 hadoop]$ kill -9 16653

（2）瀏覽器中刷新，server5接管爲active，server1訪問不到

（3）重新開啓server1的namenode：

[hadoop@server1 hadoop]$ sbin/hadoop-daemon.sh start namenode
WARNING: Use of this script to start HDFS daemons is deprecated.
WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

namenode服務起來了

[hadoop@server1 hadoop]$ jps
17002 DFSZKFailoverController
17162 NameNode
17243 Jps

（4）瀏覽器中查看172.25.19.1:9870
server1是standby

補充：
1.整個集羣在關閉的時候正常關閉就可以，但是啓動之前必須先啓動zk集羣
2.在部署的過程中如果集羣出現問題一定要先關閉服務，然後再進行修改，修改後重啓服務即可
3.所有的額配置文件中都不要出現漢字，否則會出現問題
4.server1的namenode關閉時，仍然可以上傳文件，並且上傳的文件在瀏覽器重視可以查看到的（這一步這裏就不再演示）

Hadoop+Zookeeper高可用

985 碩士程序員，空窗 4 個月沒有 Offer！

一文搞懂 Spring 循環依賴

賽博鬥地主——使用大語言模型扮演Agent智能體玩牌類遊戲。

VScode右鍵打開(添加到右鍵)

HAproxy實現負載均衡及常見配置（訪問控制、日誌查看自動刷新時間、動靜分離和讀寫分離）

MFS分佈式文件系統的配置

LVS 常見問題

Hadoop的三種模式（單機模式，僞分佈式，完全分佈式）以及集羣的搭建

Hadoop+yarn高可用

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結